燧原科技发布云端AI推理卡云燧i20，基于自研AI芯片“邃思”打造

萧箫 2021-12-08 17:54:52 来源：量子位

较第一代浮点算力提升1.8倍，整型算力提升3.6倍

萧箫发自凹非寺
量子位报道 | 公众号 QbitAI

时隔5个月，燧原科技又推出了第二代云端人工智能推理加速卡“云燧i20”。

没错，继今年7月发布云端人工智能训练加速卡“云燧T20”之后，燧原科技又推出的全新一代针对云端推理场景的AI加速产品。

燧原科技CEO赵立东表示：

当前，我国芯片产业正处于激烈的成长与蜕变时代。

燧原科技以“做大芯片，拼硬科技”为时代使命，基于原始创新的软硬件架构，正在不断加速技术创新与产品迭代。性能赶超业内旗舰GPU的云燧i20，正是我们的关键成果之一。”

“云燧i20”长啥样？

对比第一代推理产品，云燧i20将浮点算力提升到1.8倍，整型算力提升到3.6倍。

作为第二代云端AI推理加速卡，云燧i20存储带宽高达819 GB/s，同时支持从FP32、TF32、FP16、BF16到INT8的计算精度。

其中，单精度FP32峰值算力达到32 TFLOPS，单精度张量TF32峰值算力达到128 TFLOPS，整型INT8峰值算力达到256 TOPS。

据燧原科技表示，随着神经网络的参数越来越多，数据带宽需求也越来越高，因此兼顾高带宽和低延迟变得至关重要。

此外，燧原科技从性能、开发效率和模型覆盖面上，对“驭算TopsRider”软件栈进行了升级。

其一，通过引入通用高层图优化和大规模算子融合技术，充分释放了大容量片内存储和高带宽存储的利用率，将模型平均性能提升3.5倍，硬件算力利用率平均提升2倍；

其二，通过升级的编程模型以及算子自动分片、自动生成技术，自定义算子开发效率翻倍，模型迁移成本大大降低；

其三，驭算增强了对动态性的支持，使云燧i20在检测、语音识别、语义理解等场景更具竞争力。

基于虚拟化和多实例加速技术，云燧i20能够实现单卡多用户，同时支持6个业务互不干扰、安全隔离运行。

此外，燧原科技发布的新一代“邃思”AI推理芯片，采用第二代高性能计算核心和数据引擎，由12nm工艺打造，通过架构升级来提高单位面积的晶体管效率。

目前，燧原科技的云端AI推理产品，已经在互联网、金融、政务等多家客户的商业落地。

其中，之江实验室发展合作部副部长吴丽娟表示：

之江实验室今年3月与燧原科技成立联合研究中心，围绕人工智能应用场景，共同开发具有标杆性的技术解决方案，构建开源开放的创新生态系统。

目前，燧原科技的第一代人工智能训练产品“云燧T11”正在之江实验室搭建千卡高性能计算的液冷集群，打造符合国家碳中和政策导向的低碳绿色数据中心。