硬盘大涨价?CG动画渲染师:云存储更香了
这读写速度能赶得上吗
杨净 边策 发自 凹非寺
量子位 报道 | 公众号 QbitAI
挖矿的现在连硬盘都不放过了。
一块大容量硬盘涨价超过了100%,做视频的朋友现在是叫苦不迭。
u1s1(有一说一),云存储现在好像有点性价比那意思了。
这时候一定又有人说,云存储的读写速度拿来剪视频,真的不是开玩笑吗?
以前不一定,现在没准还真的可以。
我发四,这是我一动画渲染师朋友告诉我的。
“云渲染”是一种什么体验?
所谓渲染,作为模型到动画的一个关键步骤,需要大量算力来计算。
有这样一组数据。
CG动画经典《阿丽塔:战斗天使》,就需要600天、30000台服务器全天不停歇的渲染,才制成了这部122分钟的电影。
一个传统的渲染厂商,首先你得自建一个机房,也就是所谓的“渲染农场”。
大一点的,有5000-10000台服务器不等。中小规模也要到1000台这一数量上。针对一个企业来说,一次性投入十分庞大,动辄上千万。
采购之后,电费、运维成本也都无法忽视。因此有的厂商,选择在广西、新疆等这些电费上有补贴政策的区域来运转。以及服务器的机型,也会定期迭代淘汰。
除了成本高昂以外,渲染本身还有一定的规律性。年期以及年初的时候是市场淡季,但在节假日那段时间,需求就会爆发性增长。
这时候企业无法应对如此大的需求,客户也只能排队……
如今这两大痛点,在云上就可以得到解决——云化部署+高性能文件存储。
我朋友这家企业——秦渲云就采用了腾讯云turbo(高性能文件存储)的方法来实现。
云化部署,就可以让算力得到高效、弹性的使用。
需要多少,就用多少,减少了资源的浪费。与此同时,还具备快速上线的功能。
传统厂房通常会有一个热身时间,靠人上去部署,现在在云上就可以完成,运维管理效率提升50%。
高性能文件存储,海量并发、低延时、以及大吞吐量的特点。
以吞吐量为例,腾讯云Turbo文件存储可以提供百GB/s的吞吐量,结合动态扩展的计算资源,实现随用随取,在实际的渲染场景下,渲染效率提升30%。
大概是这样一个场景:
客户在平台上发任务,将本地的文件上传到平台上,企业根据客户的不同场景需求,在云上选择不同机型。
对于企业来说,成本就是一个很大的优势。
机器渲染的成本是非常高的,一般来讲,一百台服务器,他渲染一部电影需要一个月的时间。通过云渲染提供资源可以提供一千台服务器,时间会缩短到十分之一。
讲到这里,似乎还不能证明云存储就是新的生产力工具。
别着急,来康康腾讯云的三个新产品。
云存储,新的生产力工具
说到云存储,很多人第一反应就是速度慢。至少云存储和本地存储是很难无缝衔接的。
如果我把本地资源都上传到网上,那么云存储能满足我的要求吗?数据传输延时和读写速度能达到多少?
腾讯云的极速型云硬盘打消了用户的顾虑。
经过对数据存储链路上各项技术的优化,实现了时延的行业突破。数据显示,腾讯云极速型云硬盘时延仅有40微秒,是行业首款实现10微秒级时延的云硬盘产品。
另外,腾讯云全新发布的最新一代文件存储 Turbo系列,在业内首次实现了实现了百GB级吞吐的产品化,最高性能可以做到千万级IOPS和微秒级的时延,高性能业务读写效率提升10倍,达到业内最高水平。
这样的性能表现,不仅可以满足云端剪片子这种负载,甚至在大数据分析、AI训练与推理这类高负载应用中,也能更好地发挥出存储性能优势。
甚至在数据库场景中,腾讯云的极速云硬盘相比本地NVMe SSD还能提升1.3倍。
针对当前数据湖技术演进趋势,腾讯云推出了业界首个基于对象存储的三级加速器,包括数据湖加速器GooseFS、元数据加速器和AZ加速器。
其中,数据湖加速器GooseFS可以提升10倍的数据IO性能,元数据加速器则能够为大数据业务提供高达10W QPS的元数据操作能力,AZ加速器可以为大数据业务提供Tb级别的带宽和毫秒级的延迟。
从QQ空间到存储生态
看起来,确实是有点香。
实际上,这三个产品,恰好代表了腾讯云存储在云硬盘、对象存储、文件存储上的三大核心竞争力:
高可靠、低成本、高性能。
涵盖大数据分析、HPC高性能计算、内容分发、AI训练与推理、视频渲染在内的十类方案。
目前,腾讯云存储规模已突破10EB,文件数突破20万亿,服务的客户超过180万家。
今年,正好是腾讯云存储的第十年。
十年之际,他们提出了全新的发展思路——三维生态战略。
哪三维?
技术生态、开源生态、商业生态。
从这三个维度出发,联合上下游的合作伙伴,为各行各业数字化转型加速。
拆开来看,技术生态方面,腾讯云联合技术伙伴,朝着软硬件相结合的方向深耕。
比如,联合Intel打造极速型云盘方案,在时延、IOPS等关键指标上实现行业第一。
开源,也是腾讯云看中的生态建设之路。
腾讯云积极连接开源应用、业界主流开源软件,如Spark、Presto、Tensorflow、Hive、Flink等大数据分析引擎、开源计算框架和组件,为客户提供基于开源理念的开放型数据存储方案。
商业生态就不必说了,也就是充分利用腾讯自身的商业价值优势。
如此看重生态的价值,但不为大多数人所知的是,当年腾讯云存储的起点,是在自身业务场景——
QQ空间。
当时大量用户涌入QQ空间,上传海量的照片、文件,这给腾讯的存储带来了很大的考验。若不及时解决,造成的直接后果就是,开启速度越来越慢、用户体验也就越来越差。
爆款产品,就将不再“爆款”。
为了应对QQ空间云相册的海量数据存储,存储技术团队就此成立,一年之后自研了一套底层的存储引擎TFS。
此后,包括整个QQ、腾讯视频,都落入到TFS中去。2010年,腾讯开放平台接入首批应用。
2012年,随着腾讯在存储系统的不断成熟,以及外部的云计算趋势,腾讯云存储业务开始面向外部开放。
2015年,存储规模突破EB级。
2019年,整个存储引擎进行一次大升级,新一代自研百EB级对象存储专用引擎YottaStore上线,同年客户数突破了100万。
2020年,云硬盘IOPS业界首个突破110万。
十年后的腾讯云,已经跟生态里的合作伙伴保持着密不可分的关系。
比如,结合金山的文档优势,面向在线协同办公业务系统,打造了在线实时文档预览方案;
与IBM共同打造了面向数据湖、自动驾驶、机器学习、基因计算等高性能计算业务系统,提供了一体化高性能并行存储方案。
腾讯云存储的产品矩阵
除了生态,数字经济时代下的存储,还要关注性能与安全。
随着各个企业数字化转型的提速,数据呈现出爆发式增长,并正在成为企业的核心资产,企业的存储基础设施面临着“翻天覆地”的变化。
而这种挑战,也同样映射到像腾讯云这样存储产品供应商身上。
如何在面对保证性能不但提升的同时,持续降低成本,提升服务质量,满足各行各业的需求;还能确保数据的安全性。
性能方面,腾讯云存储的产品矩阵就是答案。
腾讯云存储产品副总经理马文霜,就举了这次发布块存储的例子。
“块”的两个新品,其实是丰富了我们产品的矩阵,一个新品是强调性能,另外一个新品是强调的是一个性价比,从一个整体来看,就是性能和性价比更高。
很多入门级的用户,吞吐型云盘,对在意成本的中小客户的话,其实是有比较大的帮助。
一个合作伙伴上海电气风电,正是基于腾讯云新一代文件存储产品Turbo系列,其风力发电仿真计算系统计算速度相比以往提升2倍,TCO(总拥有成本)也降低了40%。
上海电气风电系统与网络副主任黄海表示,
方案同时实现更高的效率和更低的价格,正是电气风电选择腾讯云存储的最重要原因。
而在安全方面,腾讯云也做了不少功课,以自身设计+合作的方式来保障数据安全。
腾讯云存储产品副总经理陈峥就谈到了很多细节。
比如,用户上传的时候,加密也支持像KMS的加密,客户端和服务端的加密,保证客户的数据是脱敏的,传到客户上来。
分布式存储体系里会去做一些分块和分片,存储在不同的服务器上。
还有一些针对服务器的举措,过保之后磁盘坏掉也会做一个消磁。
另外,就是跟合作伙伴鼎甲,打造了一体化混合云备份方案,在用户安全方面提高到了更高等级。
腾讯云副总裁刘颖表示,
安全可靠、性能、成本仍然会是存储产品的基石,这也将是腾讯云存储始终精进的技术方向。
其实,不只是腾讯云,也是更多云存储服务商需要一以贯之的技术理念,未来也正如腾讯云的愿景一样:
向着无缝上云、智能化、场景化三个方向发展。
云存储,已经在以生产力工具的姿态,穿梭于各行各业之间。
- “清华AI医院”上线!首批42位AI医生亮相,诊断覆盖300余种疾病2024-11-21
- 打破纪录!中国科学家让薛定谔的猫活了23分钟2024-11-17
- 特斯联首款通用智能体发布,实现对物理世界的高维感知2024-11-20
- 多个中国团队斩获EMNLP’24最佳论文!UCLA华人学者中三篇杰出论文,明年顶会落户苏州2024-11-15