4个Shell小技巧，帮你提高机器学习生产效率
这些技巧更重要的是让你的思维从琐碎小事中解脱出来。
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
在机器学习的实践过程中，用好Shell能帮你很多节省时间。
最近，有位来自ETHZ的学生分享了一些Shell小技巧。对程序员来说，这些技巧更重要的是让你的思维从琐碎小事中解脱出来，大大提高了工作效率。
下面就是他分享的4个tips。由于本文中涉及到的shell脚本过多，你可以去文末地址中查看所有脚本的源代码。
抓取远程文件
当你在远程服务器上监视程序运行时，如果想把一个远程文件抓取到本地查看，通常你会怎么做？
记下文件路径，打开终端，用rsync之类的工具同步到本地，再到文件浏览器中查看。
实际上不必这么麻烦。只需要事先写好几个shell脚本，就可以避免重复的机械劳动。
在这里强烈推荐iTerm 2，它比Mac自带的终端要强大得多，可以指定某个触发关键词执行某个相应的命令。
iTerm 2下载地址：https://www.iterm2.com/
先在远程服务器上设置一个脚本t。当我们输入r awesome_video.mp4时，它会搜索awesome_video.mp4文件所在路径，并连同主机名以字符串rtransfer <host> <path>的形式打印出来。
rtransfer作为iTerm2的触发关键词，解析出主机和路径，然后调用另一个本地脚本t2。脚本t2将这个视频文件传输到临时目录，然后在该目录中打开Finder。
使用iTerm 2触发关键词功能调用脚本，可以大大提升效率，而你要做的只是在前期花费时间定制脚本。
远程访问TensorBoard
除了抓取远程文件，另一个让人痛苦的是访问远程服务器上的TensorBoard实例。你可以设置SSH端口转发，但是哪个端口对应哪个服务器？它们都在Docker容器中。
ngrok可以让你把访问本地端口变成访问URL，比如输入ngrok http 6006后，它会为你生成一个URL网址http://683acac3.ngrok.io，你可以在这个地址中查看TensorBoard实例。
结合脚本n，以更快的速度启动ngrok，然后用脚本tb打开Web浏览器，启动TensorBoard，在十秒内就能从运行目录转到显示图形。
ngrok有个缺点是它一次只能允许一个会话，因此在使用前需要杀死上一个ngork进程。如果你忘记在另外一台服务器上杀死ngrok，可能会比较麻烦。
ngrok下载地址：https://ngrok.com/
用tbplot代替TensorBoard绘图
对于运行大量metrics的情形，我们需要等待较长时间让TensorBoard加载所有图形。如果使用tbplot脚本，速度会快很多，并且能直接生成图像文件。
tbplot实际上调用的是Matplotlib，缺点是目前只能生成标量图。
tbplot下载地址：https://github.com/mrahtz/tbplot
自动化崩溃监测
运行代码时，最耗费精力的事情就是是担心遇到了错误并崩溃，因此需要不断检查他们的运行情况。
当程序出现问题时，通过警报自动监控可以缓解这种担忧。一般可以把警报发送到邮箱中，为了避免这么麻烦，可以使用sqs-alerts，它依靠AWS AWS Simple Queue服务存储和接收消息。
在每台远程机器上，使用cron运行一个脚本，监控日志并在检测到运行中断时向队列发送消息。然后在本地机器上运行一个服务来监控队列，并在收到消息时弹出警报。
sqs-alerts下载地址：https://github.com/mrahtz/sqs-alerts
最后，本文使用的所有shell脚本都可以在以下地址中找到：
https://github.com/mrahtz/dotfiles/tree/master/.local/bin
- 脑机接口走向现实，11张PPT看懂中国脑机接口产业现状｜量子位智库2021-08-10
- 张朝阳开课手推E=mc²，李永乐现场狂做笔记2022-03-11
- 阿里数学竞赛可以报名了！奖金增加到400万元，题目面向大众公开征集2022-03-14
- 英伟达遭黑客最后通牒：今天必须开源GPU驱动，否则公布1TB机密数据2022-03-05
相关阅读
