"MixQ"最新资讯 | 量子位

MixQ

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风 2024-10-21

LLM混合精度推理 MixQ

加载更多

热门文章

国产之光DeepSeek把AI大佬全炸出来了！671B大模型训练只需此前算力1/10，细节全公开

生成式AI技术栈排名，沙利文：商汤科技中国第一

OpenAI科学家：现有模型+后训练足以产生黎曼猜想的新证明

联想与火山引擎官宣合作，为AI桌面助手接入豆包大模型

大规模多构型具身智能新数据集和基准：5.5万条机器人轨迹数据，279项不同任务