LLaMA都在用的开源数据集惨遭下架：包含近20万本书，对标OpenAI数据集
作者：开源圈的悲剧
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
开源数据集因侵权问题，惨遭下架。
如LLaMA、GPT-J等，都用它训练过。
如今，托管了它3年的网站，一夜之间删除了所有相关内容。
这就是Books3，一个由将近20万本图书组成的数据集，大小将近37GB。
丹麦一家反盗版组织表示，在该数据集中发现了150本其成员的书籍，构成侵权，所以要求平台下架。
现在该平台上的Books3网页链接已经“404”。
数据集的最初开发者无奈表示，Books3的下架是开源圈的一场悲剧。
Books3是什么？
Books3在2020年发布，由AI开发者Shawn Presser上传，被收录在Eleuther AI的开源数据集Pile中。
它总计包含197000本书，包含来自盗版网站Bibliotik的所有书籍，意在对标OpenAI的数据集，但主打开源。
这也是Books3名字的来源之处——
GPT-3发布后，官方披露其训练数据集中15%的内容来自两个名为“Books1”、“Books2”的电子图书语料库，不过具体内容一直没有被透露。
开源的Books3则给更多项目提供了一个和OpenAI竞争的机会。
比如今年爆火的LLaMA、以及Eleuther AI的GPT-J等，都用上了Books3.
要知道，图书数据一直是大模型预训练中核心的语料素材，它能为模型输出高质量长文本提供参考。
很多AI巨头使用的图书数据集都是不开源，甚至是非常神秘的。比如Books1/2，关于其来源、规模的了解，更多都是各界猜测。
由此，开源数据集对于AI圈内相当重要。
为了更方便获取，Books3被放到了The Eye上托管。这是一个可以存档信息、提取公开数据的平台。
而这一次惨遭下架，说的也是这一平台。
丹麦反盗版组织权利联盟向The Eye提出了下架请求，并且通过了。
不过好消息是，Books3并没有完全消失，还是有其他办法获取的。
Wayback Machine上还有备份，或者可以从Torrent客户端下载。
作者老哥在推特上给出了多个方法。
“没有Books3就没法做自己的ChatGPT”
实际上，对于这次下架风波，数据集作者老哥有很多话想说。
他谈到，想要做出像ChatGPT一样的模型，唯一的方法就是创建像Books3这样的数据集。
每一个盈利性质的公司都在秘密做数据集，如果没有Books3，就意味着只有OpenAI等科技巨头才能访问这些图书数据，由此你将无法做出自己的ChatGPT。
在作者看来，ChatGPT就像是90年代的个人网站一样，任何人都能做是很关键的。
不过由于Books3很大一部分数据来自于盗版网站，所以作者也表示，希望之后能有人做出来比Books3更好的数据集，不仅提升数据质量，而且尊重书籍版权。
这种类似的情况在OpenAI也有发生。
一个多月以前，两位全职作者以未经允许擅自将作品用来训练ChatGPT，起诉了OpenAI。
而之所以会发生这种情况，很有可能是OpenAI的数据集Books2从影子图书馆（盗版网站）中获取了大量数据。
所以也有声音调侃说，AI不仅带来了新的技术突破，也给反盗版组织带来了新任务。
参考链接：
[1]https://www.theatlantic.com/technology/archive/2023/08/books3-ai-meta-llama-pirated-books/675063/
[2]https://gizmodo.com/anti-piracy-group-takes-ai-training-dataset-books3-off-1850743763
[3]https://interestingengineering.com/innovation/anti-piracy-group-shuts-down-books3-a-popular-dataset-for-ai-models
[4]https://torrentfreak.com/anti-piracy-group-takes-prominent-ai-training-dataset-books3-offline-230816/
- 时代变了！英伟达纳入道琼斯指数，英特尔被取代2024-11-02
- 一块显卡理解一部电影，最新超长视频理解大模型出炉！“大海捞针”准确率近95%，代码已开源2024-10-28
- 天命人闲置的4090，把GPU租赁价格打下来了（doge）2024-10-24
- 7天开发一个AI Agent应用！秘密武器：一体化数据库2024-10-24
相关阅读
