从小样本学习到AIGC，创新奇智持续探索AI工业视觉落地实践

量子位的朋友们 2023-03-24 18:05:21 来源：量子位

“AI 已经来到从 1.0 迈入 2.0 的拐点。ChatGPT快速普及将进一步引爆 AI 2.0 商业化。 AI 2.0 将是提升 21 世纪整体社会生产力最为重要的赋能技术，是绝对不能错过的一次革命。”

数天前，创新工场董事长兼CEO、创新奇智董事长李开复发表主题为“AI 1.0 到 AI 2.0 的新机遇”演讲。他认为 AI 1.0 是以卷积神经网络（CNN）模型为核心的计算机视觉技术，拉开 AI 感知智能时代的序幕，但AI 1.0 也遇到了瓶颈，大多数行业想利用 AI，需要花费巨大的成本来收集和标注数据。AI 2.0 的巨大跃迁在于克服了 AI 1.0 单领域、多模型的限制，可以用无需人工标注的超级海量数据去训练一个具有跨领域知识的基础大模型，通过微调等方式适配和执行五花八门的任务，应用于 AIGC 各类场景。

创新奇智是诞生于AI1.0时代专注“AI+制造”的企业级AI产品及解决方案供应商，在工业视觉领域研发了很多突破性技术，尤其在小样本学习领域形成自己的技术特色。进入AI2.0时代，创新奇智基于小样本学习技术和 AI数据生成技术，通过对已有样本的学习，源源不断地产生新样本，从而大幅提升了工业领域样本信息不足情况下模型的精度。

在工业视觉领域，训练样本不足一直是制约人工智能算法应用的瓶颈之一。一方面，工业生产是一个多因素耦和的复杂过程，生产中的任何异常都会影响产品质量，而且生产过程的复杂性也将导致产品缺陷种类繁多，缺陷的表现形态也千差万别。另一方面，随着产线自动化的提升，生产中出现缺陷品的概率大幅降低，从而导致在工业视觉领域，要收集到充足的缺陷样品非常耗时。

据创新奇智CTO张发恩介绍，针对样本不足问题，业界常用的解决方法有两类，一类是研究小样本学习算法，通过从大量可用数据中学习到的普遍规律，再利用学习到的数据，使用少量目标场景的数据进行学习，完成到新场景的迁移。另一类方法是数据生成，利用算法产生数据来扩充训练样本。创新奇智将基础算法与行业场景相结合，进行技术突破和创新，从多个维度解决工业视觉中样本不足的问题。

小样本学习，AI工业视觉落地的必由之路

海通国际分析师曾指出，小样本学习相当符合人类的思维推理模式，是实现类人人工智能的必由之路。小样本学习算法的性价比最优，不需要大量数据的标注准备，极大降低了数据标注、算力以及AI 交付的工程化成本，对AI 应用普惠化起到了至关重要的作用。工业视觉检测是小样本学习的典型应用场景。

创新奇智深入小样本学习算法的研究，打造涵盖数据标注、算法应用到跨领域迁移的全系列小样本学习算法，建立AI工业视觉领域的技术领先优势。

工业视觉领域的数据标注，一般需要比较强的领域知识，标注成本高，周期长。标注数据的不足，增加了人工智能模型的训练难度，延长了训练周期。针对这一问题，创新奇智提出基于反标签学习的半监督图像分类算法[1]，设计反标签学习模块，通过给无标签图像数据标注反标签并进行学习的方式，可以高质量地利用无标签图像进行学习，降低了工业领域人工智能算法应用对标注数据的依赖，缩短算法研发周期，节约了算法开发成本。

反标签学习流程示意图

工业视觉领域的算法应用，不光训练样本少，识别的粒度往往还要求比较细，可谓是巧妇难为无米之炊。如何在有限的训练数据中实现细小且有辨识度的部件级模式，一直是困扰算法工程师的一个难题。创新奇智提出基于双注意力机制的少样本学习[2]，使用两个注意力流分别得到部件级别的关键信息和全局聚合信息，不仅对细粒度图像识别提供了新的部件级信息，也补充了对细粒度图像识别有用的微妙全局信息。

基于双注意力机制的少样本细粒度图像识别框架

工业视觉面临的另外一个问题是产品批次更换频繁。例如汽车零部件制造、消费电子设备等行业，产品会周期性更换批次，更换批次后，都会导致测试样本与训练样本存在较大的差异，因此如何基于少样本快速进行跨领域迁移也是影响工业视觉实际应用的重要难题。针对这一问题，创新奇智提出基于原型的分类器学习方法[3]，通过从单品示例中获取每个物品集合类别的原型表示，弥合训练数据与测试数据间的领域差异。该算法可以应用有批量产品检测需求的场景，加快检测算法的适配，提升检测准确率。

基于原型的分类器学习方法

从小样本学习到AIGC，创新奇智打造AInnoGC布局AI2.0时代

如果说小样本学习是“删繁就简”，对模型和学习方式进行改进，使其适应小样本训练；那么样本生成就是“推陈出新”，通过已有样本，学习生成模型，从而可以源源不断产生新样本。

2022年底，OpenAI推出的ChatGPT证明了内容生成（AIGC）的巨大潜力，创新奇智在小样本学习的基础上，进一步聚合以往在内容生成领域的研发成果，将图像生成与工业场景的独特需求相结合，打造面向工业视觉的AICG算法。

与一般性的图像生成主要表现为图像上较为宏观的语义改变不同，工业视觉缺陷主要体现为样本图像上细微的局部缺陷纹理变化，语义信息低。此外，生成的缺陷纹理不仅要有自然的主观视觉感受，还需要是物理上真实的，缺陷的形态要符合样本本身的物理和光学特性。传统的图像生成算法一般只能做到视觉真实，无法兼顾物理真实。针对这一问题，创新奇智结合将物理模型融入AIGC模型的构建，提出基于光学成像模拟的光照生成模型和基于双阶段引导的缺陷生成模型，从而可以模拟样本在不同光照状态下的缺陷图像。

创新奇智的光照生成模型分为两个部分：第一部分为分解网络，将图像中的光照信息与表示内容的语义信息相分离，通过在自研的材质光影数据库上进行训练，我们会获得不同材质的样本在不同光照条件下的光照原型。第二部分是重光照网络，通过将对应的光照原型与样本的语义信息相融合，可以获得样本在不同光照条件下的图像。

基于双阶段引导的缺陷生层模型，分别使用基于专家知识的文本引导生成局部缺陷，而后再以第一阶段生成的局部缺陷图作为引导，将缺陷融合到样本的指定区域。两阶段缺陷样本生成模型逐步聚焦局部缺陷样例和全局图像融合，可以有效地兼顾工业视觉领域缺陷样本生成的物理真实和视觉真实的要求。

基于AInnoGC的缺陷样本生成框架

结合上述两个模型，创新奇智可以生成样本在不同光照条件下的缺陷图像，从而可以有效地扩充训练样本库，解决工业视觉领域缺陷样本不足的问题，提升工业预训练大模型的训练效果。

基于上述研发成果，创新奇智研发面向行业的AIGC解决方案-AInnoGC。AInnoGC使用模块化设计，服务于制造领域的多个场景，实现先进人工智能基础设施和多元化业务场景的融合拓展，让AI更好地赋能制造行业。

附录： 创新奇智已有算法成果对应论文。

[1] X. S. Wei, H. Y. Xu, F. Zhang, et al., An Embarrassingly Simple Approach to Semi-Supervised Few-Shot Learning, NeuralIPS, 2022)

[2] S.L. Xu, F. Zhang, X.S. Wei et al. Dual Attention Networks for few-shot fine-grained recognition, AAAI Conference on Artificial Intelligence(AAAI‘22)

[3] Automatic Check-Out via Prototype-based Classifier Learning from Single-Product Exemplars

— 完 —