如何低成本高效率搭建数据中台？这家宝马数据服务商有话说

大萌萌 2019-09-04 12:52:33 来源：量子位

允中 发自 凹非寺

量子位 编辑 | 公众号 QbitAI

编者按：

ABC 时代（人工智能、大数据和云计算），数据已成为企业最为重要的基础性战略资源之一。

如何将企业的业务流程、工艺经验等至关重要的无形资产实现电子化、数据化以及可视化将是决定企业数字化转型是否成功的关键。

当企业的整体计算资源达到一定级别后，自建机房和私有云反而会是成本更低的方案。

如何跨越搭建私有云的技术门槛、降低高额的成本、简化冗长的搭建周期等等，成为了各大企业面临的难题和挑战。

近日，业界领先的赋能“智慧商业”的数据智能技术提供商 nEqual 恩亿科 就对外分享了低成本、高效率搭建数据中台核心架构的经验。

在数据和技术赋能方面，nEqual恩亿科 成绩斐然，已为宝洁、宝马、Intel、广汽菲克、雀巢、上海家化等近70%的世界知名品牌提供数据服务。

所以具体心得，值得参考。

以下为全文：

All in Cloud，但不应该 All in Public Cloud。只有将60%计算资源分配在私有云，以低成本承担核心计算资源，其余40%使用公有云的弹性扩展，才是最省钱和高效的数据中台资源分配。

为了助力企业打造数据中台的 PaaS，实现低成本，高可靠，高性能的根基，nEqual恩亿科投入大量研发资源，构建了“AI 一体柜”——私有化 PaaS 一键部署的混合云解决方案。

这个方案的核心目的，是为企业提供稳定、高效且快速的数据处理平台一键部署服务，并能与上层 DMP、CDP、CEM、CRM、BI 和知识图谱等数据中台业务应用无缝集成。

更直接来说，其价值就是让每一个品牌都有能力自建私有化PaaS，低成本私有化 DMP/CDP/CEM 等数据应用。

大数据环境搭建存在诸多困难

目前的大数据环境搭建过程中，面临诸多挑战，如：机器众多，不同组件版本的兼容性问题严重，开源软件 bug 多，可复制性低，出错成本高。

同时，环境搭建需求也日益复杂，如：如何在最少时间内完成超过1000台服务器的 Hadoop 生态搭建，包括 Hive、Hbase、Flume、Kafka、Spark 等。如果要对以上集群进行 Hadoop 版本升级，如何花费时间最少且出错率最低。集群上的其他服务（ES, Redis, MySQL 等），如何集中式管理？

现有大数据环境部署方案，存在诸多弊端或隐患。当前方案以手工方式结合工具方案为主，主要问题如：Hadoop 环境与其他系统无法同步部署；部署周期长，业务复杂后，难以继续升级；后期运维难度大，问题排查主要依赖经验；另外，难以快速复制，私有化部署小型系统的代价高。

nEqual AI 一体柜：让大数据环境搭建简单直接

nEqual AI 一体柜是一款支持一键自动安装多个主流大数据系统工具并搭建定制化大数据平台的平台级系统产品。

它平衡现有工具方案的便利与手工方案的灵活可定制，支持 Hadoop，Hbase，Redis，Flume，Spark，Kafka，Flink 等几乎全部主流大数据系统和私有云平台的自动化安装，客户可根据实际需求，灵活选择需要的系统，一键自动安装后实现定制化大数据平台的搭建。

△nEqual AI 一体柜 安装过程截图

对于企业而言，解决方案具有以下5个方面针对性改进：

1. 打造企业数据中台的核心技术能力，不仅降低平台搭建技术门槛，同时大幅降低成本。我们利用集群化存储和容器技术，搭建企业私有化 PaaS，并在其上搭建多个主流大数据系统工具实现定制化大数据平台的搭建，以及内置自均衡技术，可自动实现系统平台的动态扩容，让企业私域数据管理与业务中台的搭建变得“平民化”。同时，AI 一体柜 可以根据实际数据量和使用情况，灵活调整系统状态，在保证系统高效运行的同时，最大效率地优化系统使用率，大大降低平台的使用成本，让原本千万级别的国际数据系统搭建成本降低至百万级别内。
2. 提供 AI 建模和模型训练平台，内置多个通用的模型算法和基础算法，以供数据科学家快速获取模型参数。内建 AI 建模处理平台，提供数据接入，数据集成、数据探索、特征工程、模型训练、模型验证等数据科学家工作环境，提供基于异构计算的模型训练加速，提高经典机器学习、深度学习等算法模型的计算速度。并且针对模型训练和数据结果提供详细测量和调优工具，方便结合不同业务环境进行算法工作。
3. 与nEqual全套产品解决方案无缝集成，并支持自动搭建其他开源 SaaS 软件，实现以最小成本完成各类系统搭建。基于 nEqual 在营销领域超过10年的产品技术积累，AI 一体柜 与包括 DMP、CDP、CEM、serving 等数据营销系统在内的系统级产品无缝集成，并支持轻量级一键私有化部署到企业自有机房。在极大降低了系统开发和维护成本的同时，完善、标准的私有化方案能够有效降低开发时间，用最小的成本快速助力业务发展。同时提供基于当前环境的其他 SaaS 软件的自动搭建安装，企业可以根据自己业务需求，自主选择需要的 SaaS 产品，如：CMS、CRM、BI 等开源产品。
4. 同时支持私有化 PaaS 和混合异构云，让企业牢牢掌握核心数据，并享用公有云低成本、高拓展性的服务。针对混合云的需求，AI 一体柜 支持 AWS，阿里云，华为云，七牛云等兼容 s3 协议的云存储无缝接入，让企业再也不用在公有云之间，公有云和私有云之间复制数据。AI 一体柜 完善的环境支持，让企业大数据应用再也不用考虑“部署在哪个云上”的问题，只需要关心业务逻辑。
5. 提供数据安全治理模块，确保从采集、加工处理到共享使用的全流程企业数据安全。AI 一体柜 从设计之初就充分考虑了数据安全性问题。为此，产品技术团队专门研发了独有的数据动态加密和脱敏技术。在数据流入、流出时动态进行数据脱敏保护，确保企业数据在 AI 一体柜 各个系统内的安全性。独有的代理层动态加密技术，真正实现了千万级数据毫秒级延时，在实际环境中零感知。另外，AI 一体柜 针对非生产环境的数据共享业务，还提供符合 GDPR 和中国网安法的一键脱敏服务，保证企业数据从采集、加工处理到共享使用的全流程数据安全。

从数据对比和结果来看，nEqual AI一体柜，可为企业提供稳定、高效且快速的支持混合云的私有化 PaaS 一键部署服务，是业界领先的底层数据架构解决方案。

总而言之，在快速发展的数据技术时代，企业借助稳定可靠的技术支持，更快实现数字化转型，就是最大的技术红利、最大的时代红利。

— 完 —