openai:请开源您的语言模型

在过去的情人节,Openai掉了两个炮弹一个新的,最先进的语言模式及其与开源的爱情终结。

一些背景:在被称为“用于自然语言处理的ImageNet时刻”,研究人员一直在训练越来越大的语言模型,并使用它们来“转移学习”其他任务,如回答问题和情绪分析。示例包括快,人工智能超智能 〔1〕OpenAI的GPT 〔2〕AI2的ELMO 〔3〕谷歌的伯特 〔4〕,现在GPT-2,原发电预培训变压器(GPT)的放大版。

经典的红底陷阱。( 来源

Openai以令人印象深刻的结果发布了新的研betway牛牛究成果,这一点也不足为奇。这个公告的特殊之处在于OpenAI故意决定不完全开源他们的工作〔5〕,以担心他们的技术会被误用到“恶意应用程序”,如垃圾邮件或假新闻。这在Twitter和Reddit等在线论坛引发了一场辩论,以及媒体对人工智能研究如何发展的报道。 危险的 释放."

虽然OpenAI关注潜在的误用是正确的,betway牛牛我不同意他们不开源GPT-2的决定。为了证明这一点,我首先认为只有某些类型的危险技术才应该通过禁止访问来加以控制。然后,在此分析的基础上,我认为出于安全原因,不必保留完整的GPT-2模型,这对人工智能的未来发展不利。.

欺骗性和破坏性技术

我将可能被误用的现代技术大致归类为破坏性的骗人的技术。破坏性的技术主要在物理领域运行。想想化学武器,实验室设计的超级病毒,致命的自主武器,或者原子弹。

“世界毁灭者”( 来源

另一方面,骗人的技术主要在我们的思想领域中运作,可能被滥用以广泛地操纵和控制人们。思考深水炸弹,PS图象处理软件或者回顾历史,因特网或印刷机。除了自主武器外,对人工智能滥用的担忧往往属于这一类。

Deepfakes允许演员将面部表情叠加到其他人的脸上。( 来源

对于足够危险的破坏性技术,保护社会的唯一办法是严格限制接近(例如)核武器用铀)和知识(例如创建抗抗生素细菌的说明)。没有其他的控制机制,仅仅拒绝公布危险技术的细节是不够的:技术进步的快速步伐确保了,除非研究被某种外力强制停止,任何发现都将在几年内独立复制,如果不是几个月。以这种方式压制一项技术是极其沉重的,绝不是万无一失的。恐怖分子总是有可能找到足够的放射性物质来制造粗制的脏弹,但我们目前别无选择:如果一颗原子弹可以从网上容易获得的零件和指令组装起来,地球将是一个墓地。

然而,利用欺骗技术,还有一种选择,更有效的选择。不是压制技术,尽可能公开其权力。虽然违反直觉,这种控制方法依赖于认识到,如果公众广泛意识到操纵的可能性,欺骗技术将失去大部分权力。虽然对核武器的了解并不能使我免于核辐射,对语音合成最新进展的认识〔6〕 〔7〕 〔8〕会让我更加怀疑奥巴马会说中文.子弹不会歧视一个人的信仰,但我对现代照片编辑的了解使我很难相信普京有能力骑熊。

你可以在网上找到普京骑着几乎任何东西的照片( 来源

对于一个特定的例子,我们可以看到一种技术,它(谢天谢地)没有破坏现代社会,尽管它可能会造成混乱:photoshop。

Photoshop:一个案例研究

当照相机在19世纪发明时,它被宣布为新的,公正地记录历史。而不是依赖不可靠的二手账户,人们可以直接一瞥过去的公正记录,为自己重温这一刻。

斯大林确实从历史照片中抹去了他的政敌。( 来源

在摄影的早期,人们并不知道照片是可以被操纵的。臭名昭著的独裁者约瑟夫·斯大林利用这种无知重写历史对他有利。个人敌人被处决,然后从重要历史事件的照片上抹去,没有人知道得更好。政治宣传被影印到抗议者的标语上,制造业对不存在的政治意识形态的支持。这些技术使斯大林得以监禁和处决数百万公民不会失去动力。

重写的文本支持布尔什维克革命,用诸如“推翻君主制”之类的短语。( 来源

1988年Photoshop发布后,人们自然担心开放获取照片编辑技术会带来严重后果。潜在的对于滥用.三十年后,尽管photoshop非常简单,高中生可以使用,而且无处不在,足以霸占自己的动词,但社会却相对而言毫发无损。为什么?正因为大家都知道Photoshop。betway牛牛对一个基本上接受了权力接种的人口来说,photoshop只对恶作剧有用,让缺席的朋友感觉被包括在集体出游中,偶尔,短暂的宣传噱头对于一个相信照片是百年前真实的不变快照的人来说,照片编辑是最终的宣传。哦,不同的信息是可以的。

语音方面的最新进展,文本,和图像生成〔9〕 [6:1 ] [7:1 ] [8:1 ]可能会让一些人担心天启就在眼前,我怀疑这些技术将遵循与photoshop类似的趋势:社会将学会变得更加怀疑。

上面的照片是影印的,不是真的。你会相信吗?( 来源

GPT-2分析

具体分析文本生成,OpenAI通过选择一些模型生成的故事来证明GPT-2可能带来的危险。为了方便,我已经复制了他们的提示和前两段实例故事在下面的独角兽上。

提示:令人震惊的发现,科学家发现一群独角兽生活在一个偏僻的地方,以前未经勘探的山谷,在安第斯山脉。更让研究人员吃惊的是独角兽的英语说得很好。

模型:科学家把人口命名为在他们独特的号角之后,奥维德的独角兽。这四个角,银白色的独角兽以前不为科学所知。现在,两个世纪之后,引发这一奇怪现象的原因终于解开了。

请注意,除了运行模型几次和手工挑选最佳样本外,提示本身也是精心挑选的。特别地,提示说英语的独角兽可以很容易地掩盖更深层次的问题:生成的句子通常被认为是胡说八道,可能“符合”一个胡说八道的提示。

即使考虑到上述情况,这个短样品仍然有严重的连贯性缺陷.第一句话暗示独角兽只有一只角,而第二个则表明他们有四个。此外,提示意味着独角兽的发现是最近的新闻,第三句话暗示独角兽是在两个世纪前被发现的。

这听起来像是吹毛求疵〔10〕,但我认为这是bet way官网 许多深度学习模式的共同点:GPT-2没有真正的“理解”它正在生成的文本。它是极易生成看起来一目了然的句子。例如,这个后现代主义论文生成器 〔11〕马特根使用上下文无关文法生成没有语义意义的“语法正确”句子。毕竟,对于不熟悉数学的人来说,不管怎样,下面的两个方程看起来都是胡言乱语。

\开始方程式
\分数\部分^2 b \部分x ^2=\frac c ^2 \部分^2 b \部分t ^2
\{{等式} }

\开始方程式
\压裂(Y)
\{{等式} }

生成有效的句子很容易。产生一致性是困难的。

对未采摘樱桃的原种倾倒区的进一步检查输出揭示了类似的问题。公平对待openai,GPT-2的几代人比我见过的任何其他生成性语言模型都要少,但我们仍然是远离人类层面的连贯性。至关重要的是,openai显示的所有样本都没有达到恶意代理可以直接滥用的水平。

此外,GPT-2并不明显优于其开源的姊妹语言模型。而伯特[4∶1 ]运行ablations以显示其双向编码器提供了比单向语言模型(如gpt)更高的性能[2:1 ]与型号无关,OpenAI还没有发布任何与其他现有模型的比较。因为他们也不微调他们的模型,我们也无法直接比较下游任务(如汇总或翻译)的性能。

为什么开放式采购完整模式很重要?

有些人可能会反驳说,开放式采购的完整模式是不必要的,仅仅披露研究结果就足够了。这在一些方面是错误的。

人工智能研究部分由于开源而爆炸,因为研究人员可以在眨眼间重复现有的研究,而不必从头开始重建先前的工作。作为人工智能研究中最具影响力的组织之一,OpenAI公司坚强的 历史 属于 打开 来源无疑也激励了其他人去做同样的事情。如果OpenAI的新政策逆转了这一趋势,其他研究人员也会效仿,威胁结束开源文化这给我们的领域带来了很多好处。

此外,开源鼓励向公众传播信息。使用开放源码,此人不受欢迎。到达…的顶端产品制造商.使用开放源码,艺术家们制作了第一件人工智能制作的艺术品主要艺术品拍卖.虽然openai的研究博客只能由热心的机器学习实践者阅读,建立在开放源代码之上的工作可以接触到更广泛的受众,而这些受众不太可能看到最初的研究声明。

这幅甘制作的肖像去年卖了近50万美元。( 来源

开源还确保了研究的合法性。在一个到处都是破碎的 承诺,研究人员可以通过检查开放源代码来复制非常重要的声明,这一点至关重要。OpenAI的声誉确保没有人会质疑这个特定的结果,不管它是否是开源的,但这种声誉是建立在优秀的基础上的先前的 打开 来源的 工作.记住即使你不说谎,其他人会,没有办法证实,无论是研究人员还是公众都不可能透过烟雾和镜子看到。

这并不是说所有东西都应该在没有第二个想法的情况下开放源代码。有足够危险的破坏性技术应该从未易于接近。即使是对于特别危险的欺骗技术,建议在纸质出版物和代码发布之间增加一点延迟,以防止快速反应的恶意参与者在公众有时间充分处理新结果之前突然出现。如果Openai认为GPT-2就是这样的结果,我主张他们承诺在不久的将来,在特定的日期之前公开采购他们的模型。

最后的想法

人工智能研究从开放源码文化中受益匪浅。虽然大多数其他学科都把最先进的研究锁定在昂贵的收费墙后面,任何有互联网连接的人都可以访问与斯坦福大学教授相同的尖端人工智能研究,运行实验很简单,只需克隆一个开放源码存储库,在云中租用一个GPU就可以了。一小时几美分.通过公开发布我们对人工智能民主化的贡献学习材料新研究,最重要的是,打开 采购 我们的 项目这就是为什么我们的发展如此之快。

我赞扬OpenAI在语言建模和文本生成方面的出色新研究。我还感谢他们的深思熟虑和愿意就研究伦理进行急需的讨论,尽管人工智能领域的重要性极为重要,但它并不经常谈论这一点。betway牛牛OpenAI提出关于滥用人工智能的问题是正确的,但不正确地将其作为不开放源代码的研究的理由。

我真诚地希望2019年不会是机器学习从开放系统向封闭系统转变的拐点,这既不安全也不利于作为一个领域的进步。OpenAI,为了我们的未来,请打开源代码您的语言模型。

更正:AlecRadford优雅地指出我链接了错误的GPT-2输出样本页面。鉴于此,这些原始样本更接近樱桃采摘的故事,而这篇文章现在反映了这一点。


封面图像来源.奥巴马的左图是右图的篡改版本。

特别感谢王菲,阿尼普拉布Philip Hwang还有王力宏的评论,建议,尤其是他们的问题。


Hugh Zhang是Gradient的编辑,也是betway棋牌必威棋牌斯坦福NLP集团,对生成模型和人工智能政策有兴趣。如果你喜欢这首歌,想听到更多,betway牛牛 到梯度,跟随作必威棋牌betway棋牌者推特.


  1. 霍华德,杰瑞米还有塞巴斯蒂安·鲁德尔。“文本分类的通用语言模型微调。”ARXIV预印ARXIV:1801.06146(2018)。γ

  2. Radford亚历克等。“通过生成式预培训提高语言理解能力。”统一资源定位地址网址:https://s3-us-west-2.亚马逊猴属com/openai assets/research covers/languageunsupervised/语言理解文件。PDF(2018)。γ γ

  3. 彼得斯Matthew E.等。“深层上下文化的单词表示。”ARXIV预印ARXIV:1802.05365(2018)。γ

  4. 德夫林雅各伯等。“伯特:语言理解的深层双向变压器的预培训。”ARXIV预印ARXIV:1810.04805(2018)。γ γ

  5. 虽然open ai以前考虑过开源和人工智能滥用之间的关系,这标志着人工智能实验室第一次以安全的名义拒绝开源他们的工作。γ

  6. OordAaron van den等。“wavenet:原始音频的生成模型。”ARXIV预印ARXIV:1609.03499(2016)。γ γ

  7. OordAaron van den等。“平行波网:快速高保真语音合成。”ARXIV预印ARXIV:1711.10433(2017)。γ γ

  8. 王Yuxuan等。“Tacotron:走向端到端语音合成。”ARXIV预印ARXIV:1703.10135(2017)。γ γ

  9. Goodfellow伊恩等。“生成对抗网。”神经信息处理系统研究进展.2014。γ

  10. 出于好奇,一些实际的吹毛求疵包括“population”后的第一句中的外来逗号。提示本身不符合语法(科学家->科学家已经这样做了),“奥维德的独角兽”是非常角的奇怪名称和研究人员/科学家+独角兽/独角兽是单数还是复数的困惑。γ

  11. Bulhak安得烈C“使用递归转换网络模拟后现代主义和精神衰弱。”莫纳什大学计算机科学系(1996)。γ