"推理框架"最新资讯 | 量子位

推理框架

2080 Ti就能跑70B大模型，上交大新框架让LLM推理增速11倍

充分利用模型和硬件特点

克雷西 2023-12-20

上海交大大模型推理框架

加载更多

热门文章

ChatGPT深夜更新：Mac版支持“读屏编程”，Windows版全员可用了

杨植麟发布Kimi新模型：数学对标o1，中考高考考研成绩全第一

不做Sora背后：百度的多模态路线是什么？

量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了

马斯克新官上任再起诉OpenAI！新证据称Ilya七年前就不放心奥特曼