浩鲸科技鲸智BI大模型发布，从算法炫技到价值落地

一水 2024-09-21 19:46:39 来源：量子位

国内行业大模型的“江湖风云”，如今已悄然从纯算法网络PK转向了“实战派”较量。这不再是单一的技术炫技场，而是看谁能在现实世界中大展拳脚，舞出最炫的“应用落地”舞步，从真正意义上实现提效，创造出实实在在的社会价值。

9月20日，浩鲸科技·鲸智大模型发布会在云栖大会举行，其中，BI大模型受到行业广泛关注。据了解，基于鲸智BI大模型构建的鲸智ChatBI工具在中国信通院可信AI评估中，跨越四大智能领域门槛，通过20项能力测试，成为首批首个通过基于大模型的商业智能系统评估的产品，评级达业内最高4+级，彰显其综合能力与智能技术的领先地位。

浩鲸科技数据智能首席专家吴名朝在发布会现场称，BI场景拥抱大模型过程中，在知识构建、问数准确、模型泛化等层面其实还存在很多技术挑战。

BI大模型落地仍存在诸多挑战

随着数字化转型的持续推进，企业面临数据量与业务复杂度双重增长的挑战。数据架构需升级以支持高效决策，并应对跨部门、跨流程、跨系统的复杂数据分析需求，这要求分析人员具备高阶数据分析能力，提供整合的数据分析、商业智能及机器学习解决方案，确保各类数据需求获得统一、流畅的体验。

传统的解决方法是建立端到端的Text2SQL模型，通过语义理解用户的数据请求，通过模型翻译成可执行的SQL语句输出所需数据。然而，这一方式虽有所成效，却也暴露出显著局限：

• 问法多样，容错性小：面对用户多样化的、口语化的数据需求，端到端的Text2SQL模型在架构层面略显单薄；
• 知识点多，逻辑复杂：大量的BI知识分散在报表，指标元数据，视图和脚本中，关系断裂，知识缺失。

为解决上述问题，浩鲸科技积极探索大模型技术与数据分析工程化的深度融合。通过结合大模型强大的自然语言理解能力和BI领域多年的经验积累，实现对话式的数据查询与快速分析，降低用户获取数据、理解数据的门槛。用户只需简单表述其需求，系统便能迅速生成专业且美观的数据图表。

据吴名朝介绍，浩鲸科技鲸智ChatBI围绕“取数、看数、用数”全分析流程，打造智能意图识别、智能图表生成、智能数据推荐、智能数据洞察等能力，帮助用户建设易用的数据分析“副驾”，让企业用户可以像聊天一样只需一句话提问，即可轻松地获取所需的数据分析结果，无需编写复杂的查询语句。

技术实现：标准化数据管理，规范数据入口是第一步

从BI大模型的技术实现上看，基于语义理解的SQL生成任务需要精准理解用户查询的指标和相关维度。为了增强问数服务层的数据精度与效能，浩鲸科技的BI大模型团队聚焦于构建一套全面的BI知识数据管理体系。

该体系深刻涵盖了业务术语、同义词汇、原子术语、关键指标、多维数据以及库表模型等核心要素的精细化管理。这一举措旨在通过深化行业知识的嵌入，弥补基础大模型在垂直行业的知识短板，以及促进上下文间精确而紧密的互联，为大数据分析与用户决策提供更加坚实的信息基石。

通过整理并优化行业专属术语库，确保每一个业务概念都能得到准确表达。同时，建立同义词语数据管理系统，以解决自然语言处理中的语义模糊问题，使模型能够灵活应对多样化的语言表述。此外，针对关键性能指标和多维度数据的精细化管理，浩鲸科技构建了一套高效的指标与维度数据管理体系，助力用户深入挖掘数据价值，发现潜在趋势与规律。

更为关键的是，通过库表模型数据管理的实施，为大模型注入了强大的结构化数据支持，这不仅增强了模型对于复杂数据关系的理解能力，还赋予了其基于先验知识的推理与推断能力。这一过程实现了知识数据与大模型的深度融合与相互促进，使得机器能够更加精准地把握人类语言的深层含义，并在实际应用中展现出更高的精准度与鲁棒性。

智能化知识识别和召回，解决多指标查询难题

在BI问数的业务分析过程中，经常需要精确判断用户提及的指标是否涉及多个。面对用户描述模糊、意图表达不够明确的情况，特别是当提问中包含了复杂的多主语、多层定语等结构时，通常需要先将这些提问细致拆解，随后进行准确的识别与合理的组合，以确保能够准确捕捉到用户实际想要分析的所有指标。处理用户查询时识别和处理多指标的难点主要体现在以下几个方面：

• 自然语言的不确定性和模糊性：用户往往会用自然语言模糊表达问题，可能并未明确指出多个指标或条件。这种情况下，需要通过语言理解技术来推断用户潜在的意图，并识别出其中涉及的多个主语、谓语或定语成分。
• 多指标的拆解与组合：当用户的查询涉及多个指标时，需要将这些指标进行拆解，并分别识别出它们的意义。这一过程要求智能分析系统具备良好的句法分析能力和上下文理解能力，以便确定不同成分间的关系，然后将这些指标重新组合成搜索条件进行查询。

与许多开源方案相比，浩鲸科技鲸智BI大模型进一步采用了知识召回模块和轻度弱化Text2SQL的整体架构。旨在通过构建一系列高精度、高容错的RAG组件，降低大模型在垂直领域下实现复杂场景的难度，并最大程度地优化了Text2SQL的幻觉问题：

• 术语识别模块：根据术语构建的专有词典进行专有术语分词并对存在连接词的短语进行句子拆分。
• 语义解析模块：构建针对查询时间（时间标准化），行政区域，组织，排序条件，展示图表，查询目标，对比时间，统计函数（数学运算），数值条件（百分比，金额，身高，体重）等场景化的实体识别任务模块，挖掘用户提问中的关键信息点。
• 术语召回模块：用户语义语句中关键实体的查询和召回，与元数据进行关联匹配并实现一系列召回增强操作。
• 转换融合模块：对召回的多组信息进行特定策略融合，对query进行改写并形成提供大模型推理的标准信息。

虚拟视图构建BI大模型全新范式

在BI问数的实践中，查询信息数据往往分布在多个维度表中，每个维度表都包含了描述数据的不同统计粒度或特有属性。

浩鲸科技首创融合虚拟视图技术，基于BI问数场景独有的数据分布特性，通过智能化方法整合查询过程中涉及的各类字段，包括但不限于维度字段、业务指标、度量值以及查询条件等，构建出一系列针对特定查询需求的临时视图作为大模型推理基础依据。

这种“按需构建”的视图策略，使大模型推理信息中仅包含查询所必需的字段，不仅大幅减少了数据处理过程中的冗余信息，还提高了大模型执行效率和精确度。

浩鲸科技BI大模型聚焦于为特定业务领域量身打造并优化SQL生成模型，通过深度融合行业特定的数据库架构（包括库表结构）、业务逻辑中的语义信息、以及庞大的数据量等核心要素，旨在输出针对该行业最为适配且高效的SQL查询语句。与广泛应用的Text2SQL模型形成鲜明对比，此方案巧妙地借助了大型预训练模型对复杂行业语言模式的强大理解能力，并进一步利用精细化的业务数据资源进行微调，从而显著提升模型在捕捉并转化业务需求为精确SQL语句方面的能力，成功将行业相关用语的SQL正确转换率推高至92%的卓越水平。

这一创新不仅代表了自然语言处理与BI数据库查询优化领域的深度融合与技术创新，更预示着在实际应用中，它能够极大地提升业务系统的数据处理效率与准确性，为企业级用户带来前所未有的数据洞察能力与业务决策支持，无疑是技术与应用双重价值并重的典范。

在发布会的最后，吴名朝表示，“BI大模型要完美的融入场景，还有很长的路要走，但我们愿意与行业伙伴、技术伙伴携手共进，克服更多复杂场景下的应用难题”。