腾讯云发布自研大数据高性能计算引擎Meson，性能最高提升6倍

大萌萌 2024-07-04 15:47:28 来源：量子位

7月4日消息，腾讯云发布全新自研大数据高性能计算引擎Meson。通过软硬一体加速和智能技术的综合应用，该引擎能显著为AI等场景下的大数据任务提供更优的计算性能，并节省更多计算资源。比如，在数据湖场景下，Meson能够助力单个数据查询分析提速6倍，在微信读书“AI问书”项目中，Meson助力大数据任务节省了9成的资源消耗。

目前，Meson 已登陆腾讯云数据湖、搜索分析服务、云数据仓库三大业务线，作为统一的计算加速底座，为企业大数据业务提供加速服务。

在大数据领域，数据存储和计算是至关重要的核心环节，针对计算和存储的性能提升一直是大数据技术攻坚的核心任务。其中，针对计算环节，业内分别有硬件与软件两个主流方向。但随着 AI 时代下数据计算场景越来越多样，单一方向的加速性能瓶颈凸显。

腾讯云大数据高性能计算引擎Meson在多个方面作出加速优化：包括软件层的向量化计算、JIT Compilation 等一系列软件加速工程，硬件层的GPU 及 FPGA 加速。此外，Meson 基于智能查询优化、负载智能预测等智能技术，让大数据分析可以根据过往的经验，自动调整处理策略，使得数据处理更加高效。

海量数据的处理与分析率先体验到Meson带来的性能提升。以存储海量数据的数据湖而言，腾讯云基于Meson 实现了完全兼容Spark 的向量化计算能力，能在处理大规模数据时发挥更高的性能。特别是在基准TPC-DS 数据测试中，数据湖Meson 引擎获得了超过2.27倍的性能提升，单个数据查询分析任务最高可达6.2倍的性能提升。

在搜索分析的高频需求中，腾讯云 Elasticsearch Service （简称ES）结合Meson解决方案，成为全球首个支持GPU加速的ES服务，显著提高了ES向量生成和向量检索的效率。微信读书“AI问书”的背后正是利用了腾讯云 ES 和 Meson 技术。

该方案成本从原来的纯内存400台64G机器大幅下降到仅需30台，同时大幅降低了运维成本。除此之外，云知、安灯、乐享等腾讯内部业务系统，也都基于腾讯云ES 实现了高效的信息检索与生成。

对于企业级数据仓库TCHouse 来说，Meson 就像一位高效的仓库管理员，通过采用查询优化技术、向量化计算模式及AI智能资源调度等技术手段，TCHouse 可大幅提升海量数据分析的效率和质量，为企业提供高效、实时、低成本的数据分析解决方案。

截止目前，腾讯云大数据已持续为超1000家中大型客户构建国产大数据平台，涵盖能源、制造、电力等多个领域，如国家电网、中国商飞、三一重工、陕西建工等各行业头部客户，其中多项解决方案获得工信部、数博会等行业认可，数据量年增长速度超过90%。