支持人工智能研究中的道德最佳实践

What are the ethical responsibilities of AI researchers?Or to put it in more pragmatic terms,人工智能研究人员可以遵循哪些最佳实践来避免他们研究的意外后果?

This post originally appeared on the Stanford AI Lab Blog.我们要感谢赛帆教授李飞飞,克里斯托弗·曼宁,以及Dorsa Sadigh对这篇文章提供了宝贵的评论和反馈。主图像源.

左:微软 臭名昭著的聊天机器人泰(现已停产)。右:https://xkcd.com/1390/

尽管人工智能研究在过去十年里迅速兴起,我们的研究团体仍然没有定期公开讨论道德和责任问题。每一位研究人员都会学习一套进行有效研究的最佳实践——发表在会议和期刊上的研究——但并非所有人都会被要求或期望为伦理研究制定最佳实践,以防止潜在的滥用。This is already or increasingly the norm for other influential disciplines such as法律医学,and工程,我们认为在人工智能的教育和研究中也应该规范化。

关于道德和人工智能的日益关注的证据。betway牛牛来源:CBIN公司

对,这个话题受到越来越多的关注,尤其是在注重公平的研究领域,问责制,以及人工智能的透明度(参见FAT MLand脂肪*)然而,作为在人工智能领域工作的博士生,我们从未受到过明确的指示,甚至没有受到过鼓励,公开、热情地谈论这个话题。betway牛牛这个,尽管公众对人工智能和道德越来越关注(见上文)。betway牛牛

这需要改变。Academic AI researchers are now routinely having an impact in industry,记者们现在越来越多地向研究人员寻求引用,一般人都认为人工智能作为一个领域对社会的影响从来没有像今天这样大。至少,all AI researchers and engineers should be aware of the sorts of ethical hypotheticals and contingencies they may encounter in their work and how to respond to them.

在这篇文章中,我们打算推广几个我们认为人工智能研究人员和工程师应该知道的最佳实践。我们主要关注研究人员可以做些什么来避免他们工作的意外负面后果,不要深入讨论那些负面后果可能是什么,或者如何处理故意的坏行为。我们提出的想法并不新鲜(事实上,其中大部分都是著名研究人员提出的观点,我们应该相信他们,它们也不是全面的,but they are practices we would like to highlight as a beginning to a larger discussion on this topic.我们的希望是促进对这些概念的认识,并鼓励其他研究人员参与讨论。

Education

如果你在这篇文章里读了这么多,you hopefully agree that it is reasonable to expect researchers to think betway牛牛about the broader implications of their research.然而,也许你不知道从哪里开始着手这项看似艰巨的任务。幸运的是,你可以迈出的第一步,就像我们所有关心这个问题的人一样,betway牛牛相当直接——更加了解人工智能的伦理问题,betway牛牛至少在你的子领域。

实践:熟悉人工智能伦理的基本知识

法律和政策界和技术界一样广泛地考虑人工智能的问题。betway牛牛即使是在网络上粗略搜索,也会产生一些发人深省、研究得很好的作品:

Left: Redlining (systemic denial of services to residents of certain districts,often racially defined) in the 1940s.对:由算法复制的令人担忧的模式( source

美国公民自由联盟(ACLU)——国会议员中的有色人种——发现,39%的人使用亚马逊(Amazon)的面部识别技术被错误地归类为罪犯。(源)

  • 面部识别系统,a prominent application of computer vision,有很多相关的伦理问题.The issue of情感隐私同时解码面部疼痛表情也是相关的。这个更广泛的调查强调了计算机视觉的一系列额外的伦理挑战。

  • 对于那些考虑自然语言处理的人来说,betway牛牛熟悉一些重要的社会影响NLP,such as demographic misrepresentation,reinforcing linguistic biases,和主题过度曝光,曝光不足。此外,已经有一篇题为"Ethical by Design: Ethics Best Practices for Natural Language Processing"这当然与本文的主题有关。
  • More broadly,many AI algorithms and developments are undeniably ‘dual-use' technologies (technologies which are designed for civilian purposes but which may have military applications,或者更广泛地设计用于某些有益用途,但可能因负面影响而被滥用)。这个概念远不是新的,关于如何处理它的讨论早就在诸如软件安全,考虑到它与人工智能的相关性,我们也应该意识到它。

这些只是一些有用的起点来证明人工智能研究人员可以(我们认为,应该)积极地就这些问题进行自我教育。For a more comprehensive overview,艾里尼·马尔利亚基已编译书籍和文章清单为了让你跟上许多相关主题(如算法透明性,数据偏倚,以及人工智能的社会影响)。名单很长,可能看起来很吓人,但是我们建议从一些与你自己的研究直接或间接相关的话题开始,并将它们添加到你的阅读列表中。A number of recent papers have also done fantastic reviews of a large amount of information,而且阅读时间更长,值得一看:

除了个别的研究工作,越来越多的机构利益。雷切尔汤姆斯,她本人是著名的人工智能和人工智能伦理研究员,编纂了一份研究人工智能公平与伦理的研究人员和研究机构名单。如果你在大学,or live close to one,在人工智能领域学习或审计一门关于伦理的课程可能是值得的。凯西-菲斯勒在世界各地的大学里,已经有超过200门关于技术和道德的课程被众包,连同他们的课程大纲以供参考。除了上课,还有易于消化的在线信息汇编,如技术实践伦理来自圣克拉拉大学Markkula应用伦理中心。

实践:道德规范和承诺

来源

网上的大量信息有时会让不熟悉的人感到不自在。幸运的是,人工智能远远不是第一个对知识感兴趣的学者必须处理伦理问题的环境。对于人工智能本身来说,也不需要考虑新的伦理问题。betway牛牛因此,a number of distilled codes of ethics exist that concisely summarize the key points one should keep in mind:

  • CS专业人员

Though not specific to AI,两者的道德准则IEEEandACM阅读速度快,完全相关。这些准则中的许多原则,例如诚实或不受贿,代表常识。但是,每当你对可能的研究行为的伦理性质有疑问时,回顾一下是个好主意。

与会者2017年受益人工智能大会,这导致了阿西洛马尔人工智能原则。

  • 人工智能研究者

当然,academic research in AI has a set of issues and concerns unique to it that these general codes of ethics for technology and computing professional may not address.幸运的是,substantial effort has been put into addressing this area as well.In particular,“伦理一致的设计-一个用自主和智能系统优先考虑人类福祉的愿景”由IEEEGlobalInitiative on Ethics of Autonomous and Intelligent Systems和阿西洛马尔人工智能原理由未来的生命研究所都为人工智能研究者提供了具体的建议。最后但并非最不重要,研究人员应该熟悉大学的行为准则和他们参加的专业活动。并非所有的人工智能会议都有明确的行为准则,所以要注意的一个好的基线是Neurips 2018行为准则.同样地,Neurips附属公司盟誓值得阅读和思考。betway牛牛

  • 人工智能影响者

Many researchers may also have the potential to have an impact beyond academia,如在政策或行业中。除了先前的建议外,这个负责人工智能的蒙特利尔宣言andAI4原则和建议的人员列表概述开发人工智能时需要考虑的事项。And,还有更具体的致命自主武器保证,the阻止杀人机器人的运动,以及安全面保证,which are likewise very relevant to anyone involved in the research and development of AI technology.特定公司和研究实验室(如谷歌OpenAIDeepMind销售人员,and国际商用机器公司)也开始明确他们的原则,在考虑加入这些机构时,有必要审查这些文件。

来源

通信与分发

据我们所见,新的人工智能算法和产品的潜在误用和伦理考虑很少在文献或学术论文中被发现和指出。一个突出的实际例子是,亚马逊为其重新识别产品提供的文档更改产品默认参数时没有警告在美国公民自由联盟指出该产品可能被误用以将美国参议员归类为犯罪分子之前的执法使用案例。

也许更重要的是,研究人员不仅与他们的论文交流想法——他们还分发代码,数据,为更广泛的人工智能社会树立榜样。随着人工智能系统能力的不断增强,considerations ofdual-use必须促使我们制定一套关于分销的新最佳实践,其中一些我们在这里讨论。

实践:伦理考虑部分

一个新颖而有效的实践研究人员现在可以进行的是在我们的论文中包含一节关于伦理考虑的内容,公平的机器学习研究人员,问责制和透明度小组已经开始这样做。一个突出的例子是玛格丽特·米切尔,谷歌人工智能的高级研究科学家,and Tech Lead of Google's ML fairness effort,世卫组织在她最近的几篇论文中加入了伦理考虑部分。例如,她2017年的论文利用患者的文字预测临床护理方案中即将发生的自杀风险,通过挑选人来标记滥用研究的可能性,作者通过匿名化数据来解决这个问题。显然,this is particularly relevant for research with potential fordual-use.她blog postprovides even more details.

道德考虑部分的示例(来自玛格丽特·米切尔的博客帖子

练习:卡片,证书,和声明

“数据集营养标签”来自项目网站

最近,来自Google和IBM Research的小组在论文中提出了新数据集和人工智能服务的标准化通信方式。模型报告用模型卡数据集数据表,的数据语句
自然语言处理
数据集营养标签政策证书:责任强化学习,and通过供应商的一致性声明增加对人工智能服务的信任.这些方法允许研究人员交流有关他们工作的重要信息,例如模型的用例,betway牛牛数据集的潜在偏差,或者算法的安全考虑。随着人工智能研究对社会的影响不断扩大,我们应该考虑采用这些新的沟通标准。

实践:数据集的批准和访问条款,代码,模型

Imagenet是计算机视觉中最重要的数据集之一,但许多人可能不知道,要获得简单的下载权限,就需要经过批准阶段并同意准确的访问条款.It's far from the only dataset that mandates a request before being shared,一个新的例子是试点议会基准.对于任何可能dual-use,尽管不可否认,对于分发数据集的实验室或组织来说,这并不是没有一些开销的。

同样的过程也适用于代码和预训练模型,这当然也有可能是两用的,尽管这一先例尚未确定;in general,we believe the AI research community will need to discuss and develop new best practices for distribution of data,代码,以及对再现性至关重要但可能有害使用的模型。与此相关,一个由人工智能研究人员组成的团队,a patent attorney/computer program,and others recently proposed the idea ofResponsible AI Licenses“开发人员可以在人工智能软件中加入限制其使用的条款”,并允许研究人员“加入限制其使用的条款,繁殖,以及该技术潜在有害领域应用的代码分配。

A set of considerations related to distributing research resultsGoogle highlighted inPerspectives on Issues in AI Governance

实践:修订同行评审

对上述建议的合理反驳可能是,这些建议通常不会在今天完成,而且,遵循这些原则所需的努力可能不会帮助甚至损害你的论文被接受的机会。这就是为什么我们赞同该做点什么了:通过改变同行评审流程来减轻计算的负面影响。“。总结如下:纽约时报意见篇,“46位学者和其他研究人员,正在敦促研究界重新思考分享新技术的方式。在发表新研究时,他们说,科学家应该解释它是如何以消极和积极的方式影响社会的。”

实践:使用,分享,and create emerging tools and datasets

最后,there are several new and emerging tools and datasets that can help you determine if your models or your dataset have unintended biases and so check for that prior to wider distribution.我们要强调的是:

Google's What If tool can be used to visualize inference results (left) and test algorithmic fairness (right)

These are examples we have been able to find,但一般来说,密切关注这些数据集和工具,并将它们考虑到您自己的研究中,这是一个明智的想法。

倡导

公平和道德人工智能本身就是一个不断增长的领域。如果你想超越基本的预期道德实践,教育你自己和交流你的创作的潜在误用,以下是您如何帮助使人工智能领域和我们的同行创造的工具变得更加道德的建议,inclusive,and fair.

实践:在教学和谈话中提出问题

斯坦福人工智能实验室的图片人工智能沙龙' events on Best Practices in doing Ethical AI Research

一个直截了当的原则是,只要有机会,就要明确传达我们研究的伦理含义。我们可以很容易地从教室开始,通过将教学大纲的部分内容用于解决该领域的伦理问题,并提出历史或当前滥用的例子。例如,我们可以提出意外偏差的可能性以及在教学机器学习时如何防范。在分配大型项目时,we can provide guidelines for how students can identify and express concerns betway牛牛about the implications of their work.更进一步,we can advocate for courses that delve deeper into these topics,比如斯坦福大学CS122:人工智能-哲学,Ethics,和冲击CS181:计算机,Ethics,and Public Policy,andCS 521:人工智能安全研讨会.谈话和访谈也可以采用类似的方法:只需分配一部分谈话和访谈,就可以明确地解决研究中的任何伦理问题。

Practice: Take a Stand

当你制定自己的道德准则时,当其他研究人员和机构做出不道德的决定让你感到不舒服时,你可能会开始注意到。有时,这些机构可能是你工作的公司或大学,or your own government.如果你的机构违反了你的道德准则,我们想提醒你,作为人工智能研究人员,你不是无能为力的。

谷歌员工关于Maven的公开信快照betway牛牛

人们可以通过集体行动来影响他们机构所从事的研究,抗议活动,and even activism.最近,超过4000名谷歌员工签署了一封公开信,反对Maven项目。该公司为五角大楼开发用于无人机视频分析的人工智能技术的合同,担心这种技术将用于无人机打击。谷歌宣布不久之后,他们就不再继续这个项目了,他们不会参与绝地行动,the $10 billion cloud contract with the Department of Defense,引用他们的人工智能原则。Similarly,员工也抗议微软在绝地的出价,and员工属于亚马逊反对该公司与美国移民和海关执法局(ICE)的合作。

实践:获取和推广更为多样化的研究视角

乔伊·布奥拉姆维尼的泰德谈话她的研究人脸识别算法中的偏差

2017,Joy Buolamwini发现,在对自己的算法进行测试后,最先进的面部识别算法对有色人种的表现非常差。事实上,我们的一些最佳算法不能很好地用于那些在人工智能领域中表现欠佳的算法,这并不奇怪:作为研究人员,我们的研究方法和观点往往会受到经验的限制,历史,和身份。这就是为什么增加多样性,使人工智能成为一个更具包容性的地方,为代表性不足的人才,可以帮助我们的领域变得更道德和更少的偏见。

说清楚,研究和学术领域多样性的一般好处被广泛研究和接受,在这一点上有很好的解释column心理科学协会。我们的具体观点是,拥有一个更具智力和经验的多样化研究群体将使我们能够更好地确定我们的研究对整个世界的影响,这反过来将使决策者更容易提出更公平的人工智能算法使用案例。因此,我们应努力鼓励和培育机构和团队的多样性和包容性,不仅仅是为了更好的招聘和注册人数,但对于我们工作的更丰富和更深刻的观点。

如果你不适合雇佣和分散你的团队,we have two suggestions.第一,you can expand your own intellectual circle.你很容易被你的同事和其他人工智能研究人员包围,并且只与你所在领域的人进行研究讨论。尝试接触其他领域的思想家和研究者,尤其是那些深入思考技术伦理和社会影响的领域,betway牛牛比如哲学,law,或者社会学。Second,考虑指导代表性不足的研究人员。通过指导,你可以鼓励更多的不同的人才加入这个领域,并为历史上在人工智能领域表现欠佳的人提供更多的资源。我们强烈建议参与AI4all等计划,人工智能中的女性在人工智能中是黑色的。

Practice: Large Scale Initiatives

虽然我们作为个体采取的所有上述步骤都是集体强大的,针对人工智能研究中伦理问题的更直接的努力也是有用的。因此,最后,我们强调了一些致力于这一事业的新兴机构:

组照片来自生活的未来有益的AGI 2019事件

当然,还有许多其他机构和实验室致力于人工智能的伦理和政策,这张单子不全面。

Conclusion

不管人们多么关心道德问题,the undeniable fact is that AI has more potential to change the landscape of our civilization than perhaps any other human invention.这种变化的性质很大程度上取决于我们对各种人工智能技术的好处和局限性的集体理解,这种理解很大程度上取决于研究人员与决策者的接触,立法者和更广泛的公众。在学术豁免权的象牙塔后面寻求庇护和洗手的时间已经结束。相反,让我们想想,betway牛牛讨论,并在我们的工作中考虑这些影响,以尽可能保持积极的态度。