译心发布第一个日文大模型评测平台JaLE

3月13日，北京译心公司发布了第一个日文大模型评测平台JaLE.ai。

JaLE（Japanese Language Evaluation），是译心针对日本商业应用对于大型语言模型的需求，推出的日文自然语言评测基准。通过多个的自然语言处理任务及大量标注数据集，为日文大模型的商业应用提供量化评测。

译心——源于心，会于言。译心是大语言模型领域的技术创新公司，为海外商业客户提供基于大语言模型的在线客户服务和销售分析SaaS服务。

大语言模型即LLM（Large Language Model）。日本对大型语言模型的研发投入与中美相比差距很大，日文训练数据集和中英文相比数量很少，目前只有部分研发机构发布了基于T5-base和GPT2的十亿级参数的模型。基于大型语言模型的在线客户服务和销售分析服务研发还处于起步阶段。而日本老龄化严重，人口负增长，品牌线上销售和客服的需求不断增大。日本云基础设施和SaaS服务近几年处于暴涨期，日本企业长期使用美国软件和互联网产品，本土AI和软件研发受到严重抑制。而美国SaaS公司日文数据少，本地服务差，无法和互联网巨头一样靠垄断平台进入日本市场。

针对日文领域大规模预训练模型和数据严重不足的问题，译心基于日本市场客户需求持续收集数据，推出了JaLE.ai，进行大规模通用和带标注任务数据集共享，推动学术界和工业界在不同商业应用领域的模型分享和数据评测。

据了解，JaLE与其他类似GLUE的评测平台相比，具有如下特点：

1、在通用语言理解的基础上，重点提供基于商业应用场景的任务和数据集；

2、除自然语言理解任务外，逐步增加自然语言生成任务，并提供系统性量化评测；

3、除数据集之外，平台将提供已在大量通用语料和数十个日文自然语言理解任务上进行训练的大模型，并持续进行模型优化。

未来JaLE.ai将结合学术界的最新研究成果，推动日文自然语言理解任务的标准化评测和模型共享，并为自然语言生成任务提供更多符合人类评价标准的量化评估指标。

译心核心技术团队毕业于清华大学、北京大学、中科院计算所、美国马萨诸塞大学等顶级研发机构，在信息检索和自然语言处理领域的平均研发时间超十年。译心几位联合创始人自2019年起一直在大型语言模型领域进行工程化实践，致力于为海外商业客户提供基于大模型的自然对话和销售分析SaaS服务。

译心创始人兼CEO刘斌先生本科毕业于清华大学自动化系，2003年硕士毕业于中国科学院计算所，同年赴美国马萨诸塞大学攻读计算机科学博士。彼时互联网行业风起云涌，刘斌毅然退学回国，于2004年创立了易查手机搜索。易查作为中国移动互联网第一个手机搜索引擎的缔造者，为上亿中国手机用户提供搜索产品及服务。易查于2006年进军日本市场，成为日本最大的移动运营商DoCoMo的搜索服务提供商，为超5000万i-mode用户提供官方推荐的手机搜索服务。易查日本服务数千家在线广告客户，年收入过2500万美元，深谙用户内容需求和客户营销需求。