"大模型加速"最新资讯 | 量子位 - Part 3

大模型加速

推理效率提升超200%，易用性对齐vLLM，这款国产加速框架啥来头？

运营成本最高降低 64%

白交 2024-09-18

大模型加速腾讯云

用上这个工具包，大模型推理性能加速达40倍

满足LLM更多场景应用需求

白交 2023-12-01

CPU 大模型大模型加速英特尔

PyTorch官方认可！斯坦福博士新作：长上下文LLM推理速度提8倍

已在64k CodeLlama上通过验证

丰色 2023-10-17

Transformer 大模型加速

加载更多

热门文章

开源Llama版o1来了，3B小模型反超80B，逆向工程复现OpenAI新Scaling Law

GPT-4o数学能力跑分直掉50%，上海AI Lab开始给大模型重新出题了

大模型是新的数据库！蚂蚁开源负责人王旭：应用开发新范式，新一代LAMP正在形成 | MEET 2025

腾讯版Sora开源后，被提速8倍！官方点赞并预告：下月上新图生视频

苹果Mac用户狂喜！ChatGPT深度集成应用，最后再藏AGI彩蛋