"LLM混合精度推理"最新资讯 | 量子位

LLM混合精度推理

清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐

端到端吞吐比AWQ最大提升6倍

西风昨天 14:00

LLM混合精度推理 MixQ

加载更多

热门文章

诺奖得主哈萨比斯最新访谈：仅仅将AI视作一种技术是错误的

基于豆包大模型，火山引擎“飞连”首发大模型IT赋能平台

破天荒！英特尔AMD联盟了，拯救x86

国产大模型竞技场首超GPT-4o！零一万物GLM共同跻身Top10

英特尔AMD世纪联手，感谢AI，感谢联想