微软Win11中发现国产开源大模型！RWKV官方：没人给我钱啊？现在捐赠还来得及
可能会用于本地Copilot？
西风 发自 凹非寺
量子位 | 公众号 QbitAI
微软正尝试在Office中集成国产开源大模型RWKV！
RWKV官方甚至直接发了个推文表示：
RWKV.cpp，现已在全球五亿系统中部署。
之所以这么说，是因为他们发现最新版Windows 11系统的Office文件夹中有以rwkv命名的DLL文件，包含GPU、CPU版本。
对这些二进制文件进行反编译检查，结果发现就是GitHub的RWKV.cpp项目的一种变体。
人人都可以将Windows 11更新到最新版本，通过以下路径自行验证：
C:Program FilesMicrosoft OfficerootvfsProgramFilesCommonX64Microsoft SharedOFFICE16
或者，也可以在IT商店的任何“copilot Windows 11”设备上搜索系统文件中的rwkv。
消息一出，引发网友热议，不少网友喊微软赶紧打钱。
如果他们没有给予支持或引用你们的贡献，那就有点说不过去了。
希望这项工作能得到丰厚的报酬。
微软可能用RWKV干啥？
RWKV团队猜测，微软可能会将RWKV用于正在测试的本地Copilot、memory recall等功能。
在之前微软发布新一代Copilot+PC中就有提到过，在专为AI重构的新版Windows 11上，许多功能都是实时的。
为此，微软引入了全新的系统架构，将CPU、GPU和新的高性能神经处理单元NPU结合在一起。
NPU就负责在后台实时运行AI，Recall功能背后其实就是AI对你屏幕上正在处理的所有内容做分类。
而RWKV模型的优势是：
支持100多种语言，有利于全球化部署；
相比传统Transformer模型，运行能耗低得多，能够在包括树莓派等各种设备上高效运行。
如下图所示，生成更多token所需的计算资源随token数增加而线性增加，cuda_rwkv-4-pile-3b的曲线在整个过程中相对低了一大截，表明在相同量token情况下，这个模型GPU消耗更为高效。
而能耗对于设备电池寿命而言至关重要。
当然这些只是猜测，关于微软的真实用意，团队表示后续将密切关注。
RWKV是什么?
再来简要介绍一下RWKV，之前量子位也有持续关注，RWKV是魔改RNN挑战Transformer的一种新架构。
RWKV设计灵感来自苹果21年的研究《An Attention Free Transform》，团队意识到如果在公式中使用循环矩阵（circular matrices）就可以将网络结构写成RNN。
与GPT系列的时间复杂度O(n^2)相比，RNN的时间复杂度只有O(n),空间复杂度是O(1)。
这意味着生成内容的速度不会随长度而夸张增涨，显存占用也是恒定的。
论文共同一作彭博在接受36kr采访时曾这样形容：
GPT每写一个字就要重新看一遍前面所有文字，效率很低。而RWKV就相当于人类读了一遍资料后，在不再看资料的情况下直接回答。
这项研究去年一经发布，就在学术圈得到大量关注。
RWKV开山论文背后是由来自27家大学、研究机构和公司的研究人员组成的团队，作者达30人。
共同一作彭博（Peng Bo），毕业于香港大学物理系，编程经验20+年，曾在世界最大外汇对冲基金之一Ortus Capital就职，负责高频量化交易。
还出版过一本关于深度卷积网络的书籍《深度卷积网络·原理与实践》。
他的主要关注和兴趣方向在软硬件开发方面，在此前的公开访谈中，他曾明确表示AIGC是自己的兴趣所在，尤其是小说生成。
但他的最主要公开身份是一家灯具公司禀临科技的联合创始人，主要是做阳光灯、吸顶灯、便携台灯等。
并且其人应该是一个喵星人资深爱好者，Github、知乎、微信头像，以及灯具公司的官网首页、微博上，都有橘猫的身影。
今年，RWKV又上新推出了两种新架构模型：Eagle (RWKV-5) 、Finch（RWKV-6)。
这两种序列模型以RWKV-4架构为基础，在多头矩阵值状态（multi-headed matrix-valued states）和动态递归机制（dynamic recurrence mechanism）上做了改进，提高了RWKV模型的表达能力，同时保持RNN的推理效率特征。
同时，新架构引入了一个新的多语言语料库，包含1.12万亿个token。
团队还基于贪婪匹配（greedy matching）开发了一种快速的分词器，以增强RWKV的多语言性。
参考链接：
[1]https://x.com/RWKV_AI/status/1831000938120917336
[2]https://github.com/RWKV/rwkv.cpp
- 杨植麟发布Kimi新模型：数学对标o1，中考高考考研成绩全第一2024-11-16
- 马斯克新官上任再起诉OpenAI！新证据称Ilya七年前就不放心奥特曼2024-11-16
- 量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了2024-11-16
- 大模型“取长补短”新思路入选NeurIPS’24，显著优于现有路由方法，南科大港科大出品2024-11-14
相关阅读
