语言模型GPT-2挤牙膏式开源，放出774M预训练模型，称是倒数第二版
官方表示，这是1558M完整版放出前，最后一版了。挤牙膏式开源，是OpenAI没错了。
铜灵 发自 凹非寺
量子位 出品 | 公众号 QbitAI
放出124M和355M的中小规模预训练模型后，横扫7大语言任务、效果足够以假乱真的逆天模型GPT-2又开源了。
此前，OpenAI因为担心这个语言模型效果太好被滥用，一直藏着掖着开源，还被网友调侃为“ClosedAI。
刚刚，OpenAI首次放出774M的GPT-2大型预训练模型。官方表示，这是1558M完整版放出前，最后一版了。挤牙膏式开源，是OpenAI没错了。
研究人员表示，正在考虑开源完整版模型，也就是说，能完成阅读理解、常识推理、文字预测、文章总结等多种任务的AI模型，也有机会完全为你所用了。
心心念念的最强语言模型又有大开源，关注语言研究的AIer甚至有些不敢相信自己的眼睛：
不敢相信我现在看到的是真的！！好嗨呦！！！
全面上新
发布半年来，GPT-2的热度猛增不减。
作为一个没有经过任何领域数据专门训练的模型，它的表现比那些专为特定领域打造的模型还要好，横扫各大语言建模任务，还能胜任编造新闻、阅读理解、常识推理、摘要总结等任务。
这个庞大的算法使用语言建模作为训练信号，以无监督的方式在大型数据集上训练一个Transformer，然后在更小的监督数据集上微调这个模型，以帮助它解决特定任务。
研究人员说模型太强让自己有些心慌，于是分阶段放出，根据反响确定是否放出更完整的版本。
但OpenAI关于GPT-2的研究还没有止步，和今天774M模型一起问世的，还有一份OpenAI对GPT-2的发布策略及社会影响报告：
他们最关心的点，很大一部分在于对社会是否会带来大程度上负面影响。
研究人员表示，通过合作伙伴Sarah Kreps和Miles McCain在康奈尔大学外交事务部发表的研究表明，GPT-2合成的假文本与人类亲自撰写的文本相当。
在测试中，72%的参与者曾把GPT-2的假文章当成是来自《纽约时报》报道。甚至在AI2的调查中显示，一个基于GPT-2的“GROVER”系统撰写的新闻比人类的作品逻辑更合理。
这让他们不得不更加谨慎。
除了这个774M的大型与训练模型，此前根本不敢想的1558M的完整版模型已经在路上了。
预计几个月内就会发布。
研究人员表示，制定了非商业法律协议，促进各个组织之间的模型共享，也联合了一些机构对模型进一步调研：
人类对GPT-2产生虚假信息的敏感性、可能会被极端分子怎样应用、生成文本的偏差……都会影响最终发布的时间。
GPT-2の各类妙用
发布半年来，不少网友基于GPT-2进行了各类开发，脑洞之大可能连OpenAI都想象不到。
GPT-2其实还学了好几种编程语言。比方，JavaScript。
纽约大学工程学院的助理教授Brendan Dolan-Gavitt发现，GPT-2在学会写英文的同时，还悄悄学了一些js脚本语言。
MIT的研究科学家、深度学习课老师Lex Fridman做了一个新应用：
DeepTweets，能通过一个人以往的推特内容进行内容模仿，自动生成新的伪推特。
GPT-2还有了更易用的封装版本，新加坡高中生开源轻量级GPT-2“客户端”。
轻松上手，轻量级，速度快。这就是这只名叫gpt2-client的包装器的突出特性。
一位来自加拿大的大四学霸，开发了一款“Deep TabNine”代码补全工具，实现了这一大胆的想法：
补全代码，支持23种编程语言、5种编辑器，使用简单，效果惊艳。
今日头条发布内容健康度检测工具“灵犬3.0”，能够识别这些低俗内容、暴力内容和标题党，同时应用了BERT和半监督技术，并且在此基础上使用了专门的中文语料，使得计算效率能达到实用水平。
宝藏区
博客地址：
https://openai.com/blog/gpt-2-6-month-follow-up/
代码收好：
https://github.com/openai/gpt-2
调研报告：
https://d4mucfpksywv.cloudfront.net/GPT_2_August_Report.pdf
最后，推荐一个Adam King发布的和GPT-2一起玩耍的界面，现场体验774M模型生成效果：
https://talktotransformer.com/
— 完 —
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ’ᴗ’ ի 追踪AI技术和产品新动态
- 微软公布19财年财报：净利润增长22%，云计算首超个人计算业务2019-07-19
- 腾讯云推出物联网边缘计算平台，具备五大特点，想攻克物联网落地难题2019-08-28
- DeepMind医疗业务几经动荡，现在团队并入Google2019-09-20
- 首例基因编辑干细胞治疗艾滋病：北大邓宏魁参与，达最佳治疗效果2019-09-14
相关阅读
