非夕打造通用智能机器人大脑，让机器人不再“知易行难”

您的机器人管家已就位

想象下，在一个平凡的早晨，你从睡梦中醒来，走进餐厅，看到你的机器人管家正在为你准备早餐：它熟练地将吐司放进烤吐司机中，又拧开盖子，倒好了一杯牛奶。用不了几分钟，一份营养的早餐就端到了你的餐桌前。

看上去是不是很酷，科技感十足。

然而，想要实现这样美好平静的早晨，机器人和人工智能领域还有很长的路要走。

稍加解释你就能明白为什么——简单的一次早餐准备，实际上却包含着许多操作和判断。

以烤吐司为例：需要先将烤吐司机的插头插入电源——夹起吐司——将吐司置入机器的凹槽——按下按钮——待信号声音响起时，将吐司夹出——放入盘中。

人在进行这一系列动作时，只需大脑发出指令，进行手眼配合就能轻而易举的完成操作；但要换机器人来执行的话，想要驱动每个不同的动作，背后需要用各种不同算法来实现指令。更麻烦的是，如果吐司的大小、薄厚改变了，或者更换了新型号的烤吐司机，就需要构建新的模型、做新的调试。

在现实的生产、生活中，就存在着大量非结构化的场景中本质相似但细节不同的任务，却鲜有通用性的机器人和人工智能技术能真正发挥作用并有效落地。

因此，Flexiv非夕科技的穹知NOEMA系统（以下简称“穹知”）应需而生。

Flexiv非夕科技是面向全球的通用智能机器人公司，专注于研发、生产集工业级力控、计算机视觉和人工智能技术于一体的自适应机器人产品，为不同行业的客户提供基于非夕机器人系统的整体、创新性的解决方案和服务。

非夕核心创始团队来自斯坦福大学机器人和人工智能实验室，在机器人和AI领域有深厚的学术积累和技术经验，并于2020年年底完成超1亿美金B轮融资，是全球通用智能机器人领域单轮融资额最高的公司。

通用智能机器人大脑——穹知NOEMA系统

△穹知NOEMA系统

所以，穹知NOEMA系统具体是怎么一回事？

2020年，非夕科技首席AI科学家卢策吾教授和CEO王世全博士曾于中国工程院院刊Engineering联合发表了评论文章《通用智能本体》。其中，对于现阶段人工智能及智能设备应用中出现的“供需矛盾”进行了描述：已有的大部分智能设备通常只能通过设计相应算法完成特定任务，例如洗碗机、扫地机器人、工业领域里的自动化喷涂、焊接、组装等，远不能达到人们对智能的期望和对任务自适应的需求。

因此，毕业于斯坦福大学顶尖科学实验室的非夕科技联合创始人们认为，行业内急需一个框架式的智能系统，去指引人工智能技术在机器人端的技术演进和应用发展。

本着推动科技更加“以人为本”的目标，非夕自主研发并推出了穹知NOEMA AI系统。该系统是是面向全行业的云-边-端协同一体的通用智能机器人大脑，它能够基于机器人的多信息感知进行AI算法研究和应用产品开发，进而指导机器人完成复杂任务。

△穹知NOEMA系统完整介绍链接：

https://v.qq.com/x/page/a3251krhuyb.html

据非夕AI团队介绍，穹知系统具备三点核心技术特征：

1. 对视觉、力觉、听觉、触觉等信号进行主动、被动的全感知能力。以烤吐司为例，穹知系统可以看到并明确凹槽的位置（视觉）、根据力觉反馈判断是否完全将吐司置入（力觉）、听见提示音作出反应（听觉）等，同时它也可以主动感知周围的物理环境信息。

2. 可直接指导操作的知识引擎。正如人的大脑存储着海量信息一样，穹知系统的知识引擎涵盖了成千上万条知识，能直接指导操作，比如“听到提示音即意味着将吐司取出”；在生活情景中甚至可以包括更私人化的信息，如“用户的早餐偏好是吐司加鸡蛋”。

3. 内置先进的编程框架和AI算法，可以面向概念及元操作流，基于任务编程。也就是说，穹知系统内的算法以基础概念和最小动作基元为单位。例如在烤吐司的一系列动作中，可以分解出“抓取”、“插入”、“夹取”、“置入”、“按压”等动作基元，由此训练单个动作算法并存储，从而方便系统扩展和后续调用。

穹知系统如何工作？

穹知NOEMA系统复用了通用智能本体的结构，由五大模块构成：任务编译器、感知模块、知识引擎、执行模块、以及中央处理器。

△通用智能本体架构

其中，任务编译器是用户向穹知系统布置任务的统一界面，用户在简单易用的编译器上可以使用统一的“语言”获得元操作流的生成。

感知模块负责接受外界视觉、听觉、力觉信号，同时解析环境中的视觉、听觉、力觉等语义。

在统一协议下，用户可以对物体和物体操作进行知识编辑，从而对知识库进行扩展，形成具有知识可迁移性的知识引擎。

执行模块由穹知系统所驱动的移动平台和操作平台组成，负责完成基本动作单元与操作，一般包括自适应机器人、末端工具、穹知边缘计算设备等。

中央处理器是整个系统中的中心计算模块，负责根据模块间关系和需求进行整体调用，包括但不限于支持任务编译器解析任务、读取感知模块信号、调用知识引擎做出综合决策、向执行模块发出指令等等。

正如前文所述，通用的插装自动化需要精细的手眼配合能力来适应操作对象的不一致性和多样性，克服来自环境的干扰和不确定。通过使用穹知NOEMA系统，AI开发者、机器人工程师可以自主训练出一套通用性较强的插拔算法，从而指引机器人终端的柔性操作。

以烤吐司所涉及到的一个核心动作基元——插拔（插电源插头/将吐司放入凹槽）为例，可以更清楚地阐述穹知系统如何工作。

△NOEMA系统任务编译器

首先，任务编译器会以人机交互体验友好的终端界面、或面向专业开发者的编程平台的形式呈现，使用者可通过文字、语音等方式输入任务，如“将插头A在不被损坏的基础上灵巧地插入插座B中”。编译器接收任务后，随即将复杂的任务解析为基础的元操作，如：插头/插入/插座，同时也一并解析出任务背后可能涉及的其他元操作，如：抓取/识别/探测/有无干扰等。

△环境/对象信息识别

在解析出元操作流后，感知模块会搭配执行模块（深度相机/传感器等）对插头的位姿及周围场景信息进行采集和解析，并匹配知识引擎对信息进行识别和标注，如：（物体信息）USB/矩形/长宽高；（环境信息）平置/无晃动等。

与此同时，知识引擎根据任务解析器给出的元操作类型，自主搜索并选取可能相关的知识素材，如可用算法、相似任务的视觉识别模型和插拔模型、训练推荐参数、预训练模型参数及运算方案等，从而指引机器学习和持续迭代。

△穹知驱动的力觉插拔学习

随后，穹知系统将根据感知模块所提供的物体及环境信息，对从知识引擎中所选取的模型、参数等进行差异化配置，配置完成后在云端进行模型训练，并持续使用执行模块采集到的新信息帮助训练。训练过程中，用户可以在系统UI中实时看到可视化的成果反馈，从而了解训练效率、是否达到理想效果、出现的问题等。

训练完成后，新的柔性插拔方案会自动优化，并通过云端部署至执行模块。机器人工程师使用自适应机器人搭配算法方案进行调试和现场部署，由此就能实现一个AI驱动的柔性智能插装自动化应用。

何为“通用智能机器人“？

实际上，只是拥有了穹知这样的“大脑”，还不算是一个完整的通用智能机器人。

非夕专注研发及生产的仿人化通用智能机器人，具有高精度、高响应的力控技术，全新的硬件框架，和建立在完整感知能力基础上的“层级式智能”——即机器人和人类一样，同时有“大脑”和“小脑”，分别应对不同的任务。

△人类擦窗操作

人类在掌握和运用技能时，通常都需要大小脑的配合，比如擦窗户时，我们会先识别窗户的边界，然后手拿湿布在玻璃上一边来回移动，一边往玻璃上施加一定的力以保证可以擦掉污渍；同时要用眼睛确认哪里已经擦过、哪里还没有擦到。在这个过程中，对玻璃和污渍的识别是人类有意识的调用，而对手臂移动和施力的控制则更多是已经存在于“潜意识”中的能力，不需要大脑过度思考就可以下意识地实施。

△层级式智能架构

通用智能机器人的“仿人性”正是要做到如此：由“大脑”来识别、思考、判断哪块玻璃需要擦、怎么擦，由“小脑”潜意识般地控制手臂进行基础运动。也就是说，穹知NOEMA系统作为高层智能负责认识、理解、规划等复杂任务，其下的中层智能负责编码各种基础运动的不同序列，而机器人的力控、抗干扰等性能作为底层智能，帮助手臂自动解决误差适应和调整等基础任务。“大小脑”相互独立，同时顶层的穹知系统对底层起到指导、调节的作用。

△穹知系统可以实现机器人能力的快速迁移

身为通用智能机器人“大脑”，穹知系统本身也具有强大的迁移能力，在保证本身准确率、成功率和作业效率的同时，有较高的通用性；因此，它的综合学习成本会随着时间不断下降。

举例而言，通用工业插拔力反馈学习模型可用于多种类型的插头，系统可以持续进行自我学习，直至适应新插头的时间缩短，如由几秒加速至几毫秒；另一方面，通用视觉模型在相似应用下的训练和优化也会不断加快。因此，在穹知系统的帮助下，未来的机器人可以通插烤吐司机电源插头的基础上，很快自主学会插其他形状的插头、插硬盘、将USB插入电脑、将吐司放入凹槽等等操作，一个能为你完成许多不同事情的机器人管家也就指日可待了。

△穹知系统已经集成了许多领先算法

目前，穹知系统已经集成了许多领先算法，例如复杂姿态估算、点云语义分割、单样本学习、通用物体抓取、力感知融合、力觉反馈学习、人体分析等，为机器人在制造业、医疗、农业、服务业、家用等各个领域中发挥价值提供了更多可能性。

非夕科技表示，接下来将有序推进穹知系统的细化和迭代，并推进通用智能机器人的研究社区生态的形成；未来会将部分开发平台开源，以供AI开发者们使用，从而促进群体智能的快速发展。穹知系统广义上的目标用户不局限于AI算法开发者和机器人工程师——正如互联网图片处理产品将“修图”这一操作简化到大众都可以使用一样，随着AI技术的发展和工具的迭代，非夕科技希望未来的AI爱好者们稍加学习，也可以通过穹知系统进行简易的人工智能算法开发和应用。