加速AI推理，探索英特尔® 至强® 可扩展处理器OCR应用落地方面实践

大萌萌 2023-06-30 20:28:26 来源：量子位

利用AI加速企业业务的自动化进程，推动业务流程的数智化重塑或升级，已经成为企业提升工作效率、助力商业创新的重要方式。在此过程中，由AI赋能的智能光学字符识别 (OCR) 应用发挥着日益重要的价值。

随着人工智能技术的发展，由AI赋能的OCR已经在金融、政府、制造、互联网、医疗等行业的单据识别、信息流入、图片翻译、车牌识别等场景得到广泛应用，帮助企业有效地释放人力资源，提升工作效率，为广泛的数智化应用提供基础能力支撑。

部署智能OCR应用能为企业业务及AI应用布局带来哪些回报？

用友算法工程专家宋祺、亚信科技产品运营专家吕莹、东软集团医疗保障事业部产品发展部部长黄小卫、英特尔人工智能软件架构师桂晟、虎博科技创始人&CEO陈烨，围绕《从OCR起步推进企业AI应用落地》这一主题进行了精彩的分享。

AI 赋能 OCR，助推企业增效降本

随着当前大语言模型的发展，OCR技术将会成为大语言模型应用的一个重要入口和前置的输入来源。OCR本身是个很大的市场，其算法和程序需要部署在很多地方，可能是公有云、私有云，或者是边缘的本地服务器，甚至是一些终端设备上。

有非常多的软件开发商和算法供应商参与其中，厂商们通常需要一个更有成本优势、硬件适配性更广的解决方案。

总体看来，用户有如下亟待解决的两个问题：

一是要解决使用GPU带来的高成本和难部署问题；二是要提高 CPU 的计算性能。

为此，用友、亚信、东软选择与英特尔合作，借助英特尔® 至强® 可扩展处理器的强大性能和内置AI加速器提升OCR应用性能，赋能客户加速数智化转型。

优化OCR应用性能，充分释放CPU计算潜能

用友算法工程专家宋祺分享了《英特尔AI加速技术在用友OCR场景的应用》。

为了兼顾GPU利用率和调用峰值服务的可用性，在月末报销量大、服务调用都集中时，用友采用了一套异构处理器的服务架构，即利用搭载了OpenVINO™️ 工具套件的英特尔® 至强® 可扩展处理器将高峰期的数据分流。仅需增加两台16核的CPU服务器，即可满足峰值，使峰值时的GPU使用数量降低了50%。

经过OpenVINO™️ 工具套件优化的算法服务，响应时间降低到3秒以内，使得在切换整个处理架构时不会影响整体的业务响应时间和对应的时延，对用户是无感知的。

亚信科技产品运营专家吕莹介绍到：亚信科技机器人流程自动化平台（AISWare AIRPA）是通过模拟并增强人类与计算机的交互过程，实现工作流程自动化的平台。其在RPA功能的基础上，提供了强大的智能OCR支持。

在智能OCR应用中，亚信科技通过第四代至强® 可扩展处理器和英特尔® AMX支持实现从FP32到INT8/BF16的量化，从而在可接受的精度损失下，增加吞吐量并加速推理。

从结果上来看，相比传统人工方式，成本降到至1/5到1/9之间，而且效率还提升约5-10倍。

东软自研的OCR识别算法是基于深度学习主流技术实现的，能够在复杂的背景下识别出不同医院、不同格式的票据、处方、发票、费用清单、明细等票据信息。在英特尔® 至强® 可扩展服务器和OpenVINO™️ 环境下，它能够获得更高的识别准确率和更快的识别速度。

并且东软在方案设计的阶段就和英特尔公司合作，采用不同代际的至强® 可扩展处理器的服务器来进行整体算法性能的验证。最终实验结果表明，在第四代英特尔® 至强® 可扩展处理器上采用OpenVINO™️ 进行模型推理加速将大幅提升OCR的识别性能。

这些OCR应用的成功应用，都少不了英特尔软硬件产品的加持。

英特尔人工智能软件架构师桂晟表示，随着英特尔® 至强® 可扩展处理器的演进，单个CPU的核心数量不断增加，从第一代的最多28核增长到第四代的最高60核，核心数量的增多带来了更加强大的算力。

除此之外，英特尔还在CPU指令集方面专门为人工智能应用进行了很多优化，例如英特尔® AMX。英特尔® AMX 针对广泛的硬件和软件优化，通过提供矩阵类型的运算，显著增加了人工智能应用程序的每时钟指令数 (IPC)，在AMX加速引擎的助力下，至强® 可扩展处理器不仅能用来做推理，还能用来处理一些机器学习训练的工作负载。

大模型技术驱动下，OCR 未来路在何方

大模型技术会为 OCR 及相关应用带来哪些新的变革？将如何为各行各业赋能？在本场研讨会的最后，虎博科技创始人&CEO陈烨围绕《大模型落地应用思考，展望OCR及相关应用的新技术发展》进行了详细的分享。

谈到智能 OCR，陈烨表示其产品的关键点主要有两个：一是知识库建立要准，要真正把文件理解好，把它转化成知识库和大模型能够理解的形式；二就是大模型。

而虎博科技的定位就是给大家提供一个基础模型，使用户可以基于基础模型迅速打造出自己领域里的大语言模型和应用。

陈烨认为这整个旅程才刚刚开始，虎博科技很期待和大家、生态伙伴、开发者、应用者，一起来见证接下来人工智能NLP大语言模型令人兴奋的、繁荣的几十年。

如果您对本文涉及的基于英特尔® 至强® 可扩展处理器对及英特尔® AMX如何显著提升OCR推理性能的技术细节感兴趣，如果您也想了解虎博科技在大模型落地应用思考，英特尔《至强实战课》之《从OCR起步推进企业AI应用落地》将为您带来更加全面且详细的真人讲解，欢迎大家扫描海报中的二维码注册收看；

点击“阅读原文”也可以了解更多英特尔® AMX对OCR多场景应用的性能提升。

*本文系量子位获授权刊载，观点仅为作者所有。

原文链接：
https://www.intel.cn/content/www/cn/zh/artificial-intelligence/amx-boost-ai-inference-performance.html?cid=soc&source=Wechat&article_id=4850