腾讯云发布自研大数据高性能计算引擎Meson,性能最高提升6倍

7月4日消息,腾讯云发布全新自研大数据高性能计算引擎Meson。通过软硬一体加速和智能技术的综合应用,该引擎能显著为AI等场景下的大数据任务提供更优的计算性能,并节省更多计算资源。比如,在数据湖场景下,Meson能够助力单个数据查询分析提速6倍,在微信读书“AI问书”项目中,Meson助力大数据任务节省了9成的资源消耗。

目前,Meson 已登陆腾讯云数据湖、搜索分析服务、云数据仓库三大业务线,作为统一的计算加速底座,为企业大数据业务提供加速服务。

在大数据领域,数据存储和计算是至关重要的核心环节,针对计算和存储的性能提升一直是大数据技术攻坚的核心任务。其中,针对计算环节,业内分别有硬件与软件两个主流方向。但随着 AI 时代下数据计算场景越来越多样,单一方向的加速性能瓶颈凸显。

腾讯云大数据高性能计算引擎Meson在多个方面作出加速优化:包括软件层的向量化计算、JIT Compilation 等一系列软件加速工程,硬件层的GPU 及 FPGA 加速。此外,Meson 基于智能查询优化、负载智能预测等智能技术,让大数据分析可以根据过往的经验,自动调整处理策略,使得数据处理更加高效。

海量数据的处理与分析率先体验到Meson带来的性能提升。以存储海量数据的数据湖而言,腾讯云基于Meson 实现了完全兼容Spark 的向量化计算能力,能在处理大规模数据时发挥更高的性能。特别是在基准TPC-DS 数据测试中,数据湖Meson 引擎获得了超过2.27倍的性能提升,单个数据查询分析任务最高可达6.2倍的性能提升。

在搜索分析的高频需求中,腾讯云 Elasticsearch Service (简称ES)结合Meson解决方案,成为全球首个支持GPU加速的ES服务,显著提高了ES向量生成和向量检索的效率。微信读书“AI问书”的背后正是利用了腾讯云 ES 和 Meson 技术。

该方案成本从原来的纯内存400台64G机器大幅下降到仅需30台,同时大幅降低了运维成本。除此之外,云知、安灯、乐享等腾讯内部业务系统,也都基于腾讯云ES 实现了高效的信息检索与生成。

对于企业级数据仓库TCHouse 来说,Meson 就像一位高效的仓库管理员,通过采用查询优化技术、向量化计算模式及AI智能资源调度等技术手段,TCHouse 可大幅提升海量数据分析的效率和质量,为企业提供高效、实时、低成本的数据分析解决方案。

截止目前,腾讯云大数据已持续为超1000家中大型客户构建国产大数据平台,涵盖能源、制造、电力等多个领域,如国家电网、中国商飞、三一重工、陕西建工等各行业头部客户,其中多项解决方案获得工信部、数博会等行业认可,数据量年增长速度超过90%。

版权所有,未经授权不得以任何形式转载及使用,违者必究。