8亿参数，刷新ImageNet纪录：何恺明团队开源最强ResNeXt预训练模型
ImageNet已经成了微调用的小数据集……
栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
来自Facebook何恺明团队，比以往都强大ResNeXt预训练模型开源了。
它叫ResNeXt WSL，有超过8亿个参数，用Instagram上面的9.4亿张图做了 (弱监督预训练) ，用ImageNet做了微调。
注：WSL是弱监督学习，不是Windows里面的Linux。
ImageNet测试中，它的 (32×48d) 分类准确率达到85.4% (Top-1) ，打破了从前的纪录。
LeCun大佬作为公司首席AI科学家，转推了开源的喜讯，而后众人奔走相告，赞数已经超过1600。
评论区涌起了难以置信的声音：
拿ImageNet做微调？？我头一次听说，在更大的预训练集面前，ImageNet成了微调用的小语料库。9.4亿张图？谁能做完这么多计算？
所以现在好了，你并不需要做这样大大大量的计算，可以直接从预训练的模型开始。
更好的是，开源的不止这一个模型。
究竟是有多强大
预警：先交代一下历史，后面是最新的成绩。
ResNeXt，其实诞生在2016年。
它的前辈是2015年发表的ResNet (残差网络) ，用“shortcut”这种能跳过一些层的连接方式，解决了梯度消失问题，训练几百上千层的网络不是梦。
ResNet在图像分类、目标检测、定位、分割等等项目上完胜各路对手，拿下当年CVPR最佳论文，震动了学界和工业界。
后来，作为ResNet的一个高能进化版，ResNeXt在宽度和深度之外，引入了“基数(Cardinality) ”的概念。在网络不加深不加宽的情况下，就能提升准确率，还能减少超参数的数量。
一个101层的ResNeXt，准确率已媲美200层的ResNet。于是，它也中选了CVPR。
而这一次，ResNeXt WSL系列是在当年的基础上，又探索了弱监督 (Weakly Supervised Learning) 的可能性：
Instagram图片，没有经过特别的标注，只带着用户自己加的话题标签 (#) ，就当做预训练的数据集了。
经过9.4亿张图的预训练，再拿ImageNet去微调，四个ResNeXt模型的考试成绩如下：
团队说，比起直接用ImageNet训练，加上弱监督的预训练步骤，分类准确率有明显的提升。
其中，32×48d的准确率 (Top-1) 刷新了ImageNet的纪录。
弱监督可行，今后AI就可以在更大规模的数据集上训练/预训练了。
一行代码可调用
现在，四个预训练模型都已经开源。加载只需：
import torch
model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x8d_wsl')
# or
# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x16d_wsl')
# or
# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x32d_wsl')
# or
#model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x48d_wsl')
model.eval()说不定你已经看出来了，所有模型都已加入不久前刚发布的PyTorch Hub豪华彩蛋。所以，一小段代码便可以轻松调用。
只有一点需要注意：这次开源的模型，要求所有输入图像，都用相同的方式归一化(Normalization) 。
具体示例，可以从文下传送门前往主页观摩。
One More Thing
在这样鸡冻人心的日子里，总有些小伙伴的关注点和其他人不一样：
他们用Instagram啊，我以后是不是要把所有的图都做个对抗样本，再发状态？(以达到欺骗AI的目的)
AI啊，你相信我，这真是一只长臂猿。(误)
ResNeXt主页：
https://pytorch.org/hub/facebookresearch_WSL-Images_resnext/
GitHub项目：
https://github.com/facebookresearch/WSL-Images/blob/master/hubconf.py
Colab Demo：
https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/facebookresearch_WSL-Images_resnext.ipynb
ECCV论文：
https://arxiv.org/abs/1805.00932
— 完 —
- 马云正式卸任后，阿里巴巴开盘跌0.87%2019-09-10
- AI独角兽云知声，已完成一期科创板IPO辅导2019-10-17
- 亚马逊在华拓展云计算团队，挑战阿里巴巴和腾讯2019-10-16
- IDC：今年上半年中国公有云服务市场规模达54.2亿美元2019-11-07
相关阅读
