DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型
不用物理方程,只靠数据预测
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
谷歌DeepMind实验室推出的天气预测大模型,已在Science杂志发表。
只需要不到1分钟,它就能直接预测出未来10天的天气。
准确度上,它在90%的指标上超越了最先进的人类系统,在AI气象模型中属首次!
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/b9bf7b86169216d1a43b476704129415.png)
DeepMind的这个气象模型名叫GraphCast,目前已经开源。
它的分辨率为0.25度经度/纬度(在赤道处约为28×28公里),而目前的最高分辨率为1度。
这样的分辨率相当于将地球表面分割成了超过100万个网格,而每个网格又可以产生数百条预测数据,总计数量达到了上亿规模。
不同于传统的预测方式,GraphCast预测主要依靠数据中的规律进行预报,而不使用人类建立的物理方程。
相比于人类最准确的HRES预报,GraphCast在1380个测试指标中,90%的预测结果都更为准确。
如果把预测范围限制在对流层,GraphCast击败HRES的指标比例更是高达99.7%。
YC上有网友表示,用“impressive”已经不足以形容这项成果了。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/40b21f74d831c3d33dd32a0b26c4760c.png)
那么,GraphCast的预测表现具体是怎样的呢?
90%指标超越人类最好方法
在划分出的100万多个网格上,GraphCast划分出的每个网格都能够产生227条预测数据。
其中包括了37个不同高度上,每个高度的6个大气变量(包括比湿度、风速和风向以及温度等)。
在地球表面,GraphCast还可以预测包括温度、风速和风向以及平均海平面压力等在内的5个变量。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/dca425908aaa4c978e9671a43f52ec9b.png)
完整的变量种类和具体高度(以气压表示,单位:hPa)如下表所示:
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/925c73f318ff16c7d928c0c0a2abfb51.png)
为了比较GraphCast和HRES的表现,研究人员从欧洲中期天气预报中心(ECMWF)的ERA5再分析数据中选取了2018年(GraphCast训练数据截止2017年)的历史数据。
研究者分别让HRES和GraphCast站在当时的情况下进行“预测”,然后比较它们的“预测”和ERA5进行比较。
在500hPa高度场上,GraphCast的RMSE(均方根误差,数值越低表现越好)和ACC(异常相关系数)指标都显著优于HRES。
而在研究人员选取的50-1000hPa的1380个数据点中,GraphCast有90.3%优于HRES,89.9%优势显著(下图d组中,蓝色表示GraphCast优于HRES,越深优势越明显)。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/cd705fd45e8825fa40fc0c0c2209d1c6.png)
除了这些数据,GraphCast在极端天气的预测上也有明显优势。
对于热带气旋路径,GraphCast中位误差低于HRES,特别是在前4.75天开始,优势开始变得明显(下图a、b)。
在根据大气河流(Atmospheic River)进行水汽通量预测时,GraphCast的RMSE值也明显低于HRES(下图c)。
预测热浪时,GraphCast在提前12小时、5天、10天时,准确度也都比HRES高(下图d)。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/198db69911a1543177f739213756ca2d.png)
今年9月,GraphCast成功在登陆前9天预测了北大西洋的飓风Lee,而使用传统方法最多提前6天预报。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/0dda4623f4e4768fce49c97041233cf5.png)
GraphCast不仅准确度高,预测速度也非常快。
在一台Google TPU v4机器上使用GraphCast进行10天预测,只需不到一分钟就能完成。
相比之下,使用HRES等传统方法,即使在超级计算机上也要花费数个小时。
那么,GraphCast是如何实现高效准确的气象预测的呢?
不使用物理方程,预测全靠数据分析
工作流程上,输入从6小时前开始到当前的气象数据,GraphCast就可以预测未来6小时的天气。
而预测出的数据可以作为新的“当前”态,继续往后迭代预测,最长可以预测到10天后的天气状况。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/34ef62e5afa693c072f5646f369e248c.png)
原理层面,GraphCast使用机器学习方式和图神经网络(GNN)架构,其中包括编码器和解码器各一层,以及中间层16层,参数量为3670万。
它仅通过学习已有气象数据实现预测,不依赖人类建立的物理方程。
GraphCast将0.25度网格的气象数据进行编码映射到神经网络,经过传递计算后的结果再由解码器还原为气象数据。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/cc9ed736451218226aa5d30a7b6b54e6.png)
训练时,GraphCast使用的是来自ERA5数据集中的1979-2017这近四十年天气的再分析数据,包括了卫星图像、雷达和气象站测结果。
ERA5是基于4DVar方法和同化观测生成的全球最优重构资料,涵盖时间从上世纪40年代至今,空间则覆盖全球。
而如果使用更近期的数据,GraphCast的预测结果准确度还能继续提高。
![DeepMind大模型登Science:1分钟预测10天天气数据,90%指标超越人类最强模型](/wp-content/uploads/replace/6fbcdcfe43201a2b8f5400b25c2db3e8.png)
下一步,DeepMind计划构建集合预报模型,以适应实际情况中天气的不确定性,进一步增强预报准确性。
论文地址:
https://www.science.org/doi/10.1126/science.adi2336
参考链接:
[1]https://deepmind.google/discover/blog/graphcast-ai-model-for-faster-and-more-accurate-global-weather-forecasting/
[2]https://www.ft.com/content/ca5d655f-d684-4dec-8daa-1c58b0674be1
开源项目页:
https://github.com/google-deepmind/graphcast
CoLab笔记:
https://colab.research.google.com/github/deepmind/graphcast/blob/master/graphcast_demo.ipynb
- 谷歌揭秘大模型不会数r原因:嵌入维度是关键,不止分词器问题2024-09-04
- 《黑神话》动捕供应商展示新算法:华科校友创办,华为云合作,亮相数博会2024-09-03
- 又有AI创始人卖身大厂!带走25%员工留下空壳,为吴恩达第一位博士生2024-09-02
- 逼真到被打假!OpenAI投的机器人身穿衣服做家务,被怀疑人类套壳拍视频2024-09-01