年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩
还能做通用目标检测
Vary-toy团队 投稿
量子位 | 公众号 QbitAI
一款名为Vary-toy的“年轻人的第一个多模态大模型”来了!
模型大小不到2B,消费级显卡可训练,GTX1080ti、8G的老显卡轻松运行。
想将一份文档图片转换成Markdown格式?以往需要文本识别、布局检测和排序、公式表格处理、文本清洗等多个步骤。
现在只需一句话命令:
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/30cc729067e50675031debc4d78d4ea6.gif)
无论中英文,图片中的大段文字都能分分钟提取出来:
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/9288a1e65446a9a94877e13e8cb7ecb0.png)
对一张图做对象检测,还是能给出具体坐标的那种:
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/e130375970b235ac08a515ffb8111ba9.png)
这项研究由来自旷视、国科大、华中大的研究人员共同提出。
据介绍,Vary-toy虽小,但却几乎涵盖了目前LVLM(大型视觉语言模型)主流研究中的所有能力:文档OCR识别(Document OCR)、视觉定位(Visual Grounding)、图像描述(Image Caption)、视觉问答(VQA)。
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/7fb9e6f79d60b93883d9f4a20240b286.png)
现在,Vary-toy代码和模型均已开源,并有在线demo可试玩。
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/0273288d3eee0761546832cfd8ac37c9.png)
网友一边表示感兴趣,一边关注点在于旧·GTX1080,心情belike:
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/4d8bd980428ff939db02670cd99f855b.png)
“缩小版”Vary
其实,早在去年12月Vary团队就发布了Vary的首项研究成果“Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models”。
研究人员指出CLIP视觉词表在密集感知能力上的不足,并用一种简单有效的扩充词表方案给出了一种全新的OCR范式。
Vary发布后得到广泛关注,目前Github 1.2k+ star,但也有不少人因为资源受限运行不了。
考虑到目前开源得很好且性能出色的“小”VLM比较少,于是该团队又新发布了号称是“年轻人的第一个多模大模型”的Vary-toy。
与Vary相比,Vary-toy除了小之外,也训练了更强的视觉词表,新的词表不再将模型局限于文档级OCR,而是给出了一个更加通用和全面的视觉词表,其不仅能做文档级OCR,还能做通用视觉目标检测。
那这究竟是如何做到的?
Vary-toy的模型结构和训练流程如下图所示,总的来说,训练共分两个阶段。
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/1a66cd591adc0653138046f580e61eab.png)
首先在第一阶段,使用Vary-tiny+结构,预训练出一个相比原版Vary更好的视觉词表,新的视觉词表解决了原Vary只用它做文档级OCR的网络容量浪费问题、以及没有充分利用到SAM预训练优势的问题。
然后在第二阶段中,将第一阶段中训好的视觉词表merge到最终结构进行multi-task training/SFT。
众所周知,一个好的数据配比对于产生一个能力全面的VLM是至关重要的。
因此在预训练阶段,Vary-toy使用了5种任务类型的数据构建对话,数据配比和示例prompt如下图所示:
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/004441cf951116cb394d6055c01b4a8e.png)
而在SFT阶段,只使用了LLaVA-80K数据。更多的技术细节,可以查看Vary-toy的技术报告。
实验测试结果
Vary-toy在DocVQA、ChartQA、RefCOCO、MMVet四个基准测试的得分如下:
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/a6f42e8bc91cfb2ddc933a9f8ade4e5c.png)
Vary-toy在DocVQA上可以达到 65.6%的ANLS,在ChartQA上达到59.1%的准确率,RefCOCO88.1%的准确率:
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/d1433089a0e547dceae64142fd29f395.png)
MMVet上可以达到29%准确率,无论是从基准测试评分上还是可视化效果上,不到2B的Vary-toy甚至能和一些流行的7B模型的性能一较高下。
![年轻人的第一个多模态大模型,1080Ti轻松运行,已开源在线可玩](/wp-content/uploads/replace/e23e4f0019bfd0bf80ddb6e2f4386ef1.png)
项目链接:
[1]https://arxiv.org/abs/2401.12503
[2]https://varytoy.github.io/
- 科技大会顶流们,上海都要包圆了啊2024-09-04
- 开源大模型新王干翻GPT-4o,新技术可纠正自己幻觉,数学99.2分刷爆测试集2024-09-06
- 三星高管剧透GPT-5:3-5万亿参数,7000块B100训练2024-09-05
- Ilya新公司融资10亿美元!被曝估值50亿美元,公司现仅有10人2024-09-04