阿里通义Qwen2成斯坦福大模型榜单最强开源模型
性能超越Llama3-70B模型
6月20日消息，斯坦福大学的大模型测评榜单HELM MMLU发布最新结果，斯坦福大学基础模型研究中心主任Percy Liang发文表示，阿里通义千问Qwen2-72B模型成为排名最高的开源大模型，性能超越Llama3-70B模型。
MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）是业界最有影响力的大模型测评基准之一，涵盖了基础数学、计算机科学、法律、历史等57项任务，用以测试大模型的世界知识和问题解决能力。但在现实测评中，不同参评模型的测评结果有时缺乏一致性、可比性，原因包括使用非标准提示词技术、没有统一采用开源评价框架等等。
斯坦福大学基础模型研究中心（CRFM，Center for Research on Foundation Models）提出的基础模型评估框架HELM（A holistic framework for evaluating foundation models），旨在创造一种透明、可复现的评估方法。该方法基于HELM框架，对不同模型在MMLU上的评估结果进行标准化和透明化处理，从而克服现有MMLU评估中存在的问题。比如，针对所有参评模型，都采用相同的提示词；针对每项测试主题，都给模型提供同样的5个示例进行情境学习，等等。
日前，斯坦福大学基础模型研究中心主任Percy Liang在社交平台发布了HELM MMLU最新榜单，阿里巴巴的通义千问开源模型Qwen2-72B排名第5，仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4，是排名第一的开源大模型，也是排名最高的中国大模型。
据悉，通义千问Qwen2于6月初开源，包含5个尺寸的预训练和指令微调模型，目前Qwen系列模型下载量已经突破1600万。
- 百川智能发布一站式解决方案，助力企业“多、快、好、省”落地大模型2024-10-31
- 开启原生办公新时代 汉王科技发布全新MOUNTAIN系列手写办公本2024-10-31
- 完美世界发布2024三季报 游戏业务环比有改善2024-10-30
- Cyan青心意创震撼发布“全面拟人”机器人OrcaⅠ，机器人开始懂情感、有温度2024-10-30
相关阅读
