揭秘：Google人工智能背后的“人工”

本篇文章5369字，读完约13分钟

当玩围棋和德州扑克时，人们经常会看到人工智能的美好一面。众所周知，人工智能的训练通常依赖于为人工智能学习提供独特的数据。最近，youtube爆发了一场风暴，在宣扬暴力的视频旁边放置广告，这让《连线》聚焦于一群幕后训练人工智能的临时工。这个群体的情况可能会对人工智能的质量产生不良影响。

翻译| boxi

每天，在美国各地，为谷歌工作的人登录他们的电脑，开始观看youtube，以便找出视频中的暴力行为。他们在视频标题中发现了仇恨语言。他们决定一个视频剪辑应该被归类为“冒犯”还是“敏感”。他们是谷歌所谓的“广告质量评估师”，他们是被外部代理雇佣的临时工，作为薪酬措施，判断机器无法做出自己的判断。现在谷歌显然迫切需要这些人的帮助。

谷歌旗下的视频巨头Youtube在其网站上散布广告，每天播放数百万个视频。自动系统决定这些广告出现在哪里，广告商通常不知道他们的广告会出现在哪个视频旁边。最近，这种不确定性给谷歌带来了很大的麻烦。在几份报告披露谷歌允许在宣扬仇恨和恐怖主义的视频旁边放置广告后，该公司已经受到了审查。像沃尔玛、百事可乐、威瑞森和更广泛的谷歌广告网络这样的广告商已经放弃了这个平台。

谷歌试图淡化这一事件，称媒体夸大了在攻击性视频旁边放置广告的严重性。该公司表示:“标记视频的印象不到广告商总印象的1/1000。”谷歌的哥伦比亚广播公司菲利普辛德勒强调，这个问题只影响“非常，非常小的数量”的视频。但是广告评估人员说，公司正在组装它们，以防问题变得更糟。

“我们非常清楚，在评估内容时，人类的眼睛和大脑需要仔细思考。”

由于谷歌90%的收入来自广告商，它需要防止定向广告对攻击性视频造成更多损失。然而，用户每天上传60万小时的新视频，这需要小城市的人们日夜不停地处理。这就是为什么搜索巨头强调很难开发一个人工智能内容过滤器来标记越来越多的攻击性视频。

辛德勒说:“这个问题不能由人来解决，也不应该由人来解决。”

问题是公司仍然依赖人来训练人工智能。所以谷歌仍然需要依靠一群工人来识别和标记攻击性材料，然后将这些作为人工智能的训练数据。然而，据一些广告评估师称，由于谷歌与他们之间沟通不畅，工作不稳定，他们无法做好工作。这将影响人工智能识别的准确性。

人类使命

长期以来，科技公司一直在招聘内容版主。随着越来越多的内容被每个人上传和分享，这项工作对互联网巨头来说变得越来越重要。谷歌作为广告评估师的工作不仅仅是监控视频。他们还必须阅读评论区来标记用户的粗话。有必要检查谷歌广告网络服务的各种网站，以确保它们符合公司的质量标准。他们还根据零售、新闻和其他目录对网站进行分类，并点击广告链接查看它们是否有效。同时，正如他们的名字所表明的，他们必须自己评估广告的质量。

今年3月，在广告商的抵制下，谷歌要求评估人员搁置其他工作，开展一个“高度优先的评估项目”。这个新项目意味着几乎所有的评估者都必须关注YouTube——检查视频内容，或者整个频道，看看是否有任何可能令广告商反感的东西。这是一个很大的变化。

此外，据评估人员称，根据手头的工作量，数量和速度的优先性高于准确性。在某些情况下，这些人甚至不得不在2分钟内查看长达数小时的视频。在一个匿名的在线论坛上，评估者们互相交流节省时间的方法——例如，一段说唱视频只需要快速浏览歌词，看看是否有亵渎的内容，或者花10秒钟粗略地看一下视频片段，而不是完全看完。将有一个计时器来记录每次视频审查所需的时间。虽然这只是建议的时间限制，但评估人员说这给他们带来了压力。有些人担心过多的视频积压会导致他们被解雇。

广告评估师的工作不仅仅是将视频标记为不合适。还要求他们对视频标题和内容进行细致的评估，例如，对其是否包含“不适当的语言”进行分类，如“亵渎”、“仇恨言论”或“其他”；或者它是否属于“暴力”，包括“恐怖主义”、“战争与冲突”、“死亡与悲剧”等等。此外，还有黄色毒药的分类。该系统还为广告评估师提供了“其他敏感内容”的选项，例如，当有人分享极端政治言论时，可以使用该选项。(古训最近报道称，谷歌现在允许客户取消展示“性暗示”、“耸人听闻、耸人听闻”和“亵渎和粗俗”内容之外的广告。(

然而，广告评估师说，有些内容可能没有在合适的地方分类。在这种情况下，鉴定人会将材料标记为“不可分类”。一位现任评估师讲述了他是如何为一场说唱之战评估两名西班牙语演讲者的。“我把材料归类为不可分类的，因为它们会说外语。”与此同时，我还补充了一条评论，说视频中的人似乎用外语互相侮辱，但他们不确定自己是否说了脏话。”(一位前评估师说，从最近的招聘来看，谷歌似乎更喜欢懂两种语言的评估师。当您不理解视频语言时，评估者也可以选择。(

几位广告评估人员说，他们被要求观看令人震惊的视频。一名鉴定人说，有人试图发布一段自杀视频。一名男子点燃他的轿子，然后用枪指着自己自杀。在广告评估师经常访问的一个论坛上，匿名海报说他们看到了虐待妇女、儿童和动物的视频。几个海报说，在连续看了几个类似的视频后，他们被迫休息以度过难关。广告评估人员表示，他们不知道谷歌是如何选择观看视频的——他们只能在评估前看到视频的标题和缩略图。此外，评估人员经常观看的视频包括人们说话的视频游戏、政治视频、阴谋论等等。

总的来说，评估视频所需的工作范围和对微妙之处的把握表明，谷歌仍然需要人们的帮助来处理youtube的广告问题。谷歌在一份类似广告评估师的文件中解释了评估工作的目的:“我们有很多信息来源，但你是我们最重要的来源之一。”然而，尽管只有机器智能可以处理youtube的内容规模，正如谷歌高管和代表反复强调的那样，除非谷歌的机器足够聪明，能够区分真正的攻击性言论和其他表达方式，否则这种努力仍需要人们的帮助才能完成。

谷歌发言人Chi hea cho说:“我们一直在通过结合技术和人工审查来审查和分析标记的内容，因为对视频内容的理解非常主观。”最近，我们增加了更多的工作人员来加快审计速度。这些审计有助于训练我们的算法，以便它们能够继续改进。”

人力资源

根据两个消息来源，谷歌的广告质量评估计划始于2004年。该计划参考了谷歌的搜索质量评估计划。起初，它主要服务于谷歌的核心广告活动:根据搜索结果生成相应广告的广告词，以及通过谷歌在网站上投放广告的广告位。前广告评估师的招聘代理Abe每小时付给他们20美元。一位前评估师说，他们可以全职工作，甚至加班。2006年，在评估人员称工作条件变得不令人满意后，workforcelogic收购了abe。然后，在2012年，一家名为zero混沌的公司收购了workforcelogic，前者成为甲方，并与鉴定人签订了合同。

广告评估通常会吸引那些喜欢更灵活的工作环境的人，比如刚进入工作岗位的大学毕业生、接近退休年龄的工人、家庭主妇以及身体残疾的人。只要能满足每周10小时的最低工作要求，广告评估师就可以随时随地工作。评估人员只需要拥有自己的台式电脑和移动设备就可以开始工作。

但是这份工作固有的不稳定性会对许多工人造成伤害。一位广告评估师说，我们大多数人都喜欢这份工作，但我们没有机会成为永久的全职员工。

尽管谷歌的大多数广告评估师都与zero混沌签约，但这家公司并不是唯一的一家。zero混沌公司的合同每年签订一次，直到最近，他们的规定是在连续工作两年后停止雇佣。一些员工认为，这一限制阻碍了谷歌为这项工作找到最有经验的评估者。(然而，在4月初，been混沌通知广告评估师，这一规则已被废除。)。广告评估师的工资也没有提高——他们的时薪是15美元，每周可以工作29小时，但不能保证有足够的任务达到这个门槛。工人们说他们会被突然解雇，没有警告或给出理由——许多员工已经证实了这一点，甚至其中一人只工作了一周。公司会用一封敷衍的电子邮件通知员工他们被解雇了。

Cho说:“在提供良好的工作条件方面，谷歌致力于与简历好的供应商合作。一旦问题引起我们的注意，我们会提醒这些供应商注意员工的需求，并要求双方合作解决问题。我们会更加关注这件事。"

与谷歌本身缺乏清晰的沟通加剧了广告评估人员的工作不安全感。他们从未见过他们所服务的人，包括在面试过程中。他们唯一的联系方式是一个名为“广告评估管理团队”的电子邮件地址，谷歌告诉评估人员，他们只能在遇到与任务相关的问题时使用它。当评估人员相互发送电子邮件时，他们只会收到自动回复。谷歌回应称:“鉴于收到的报告的规模，管理人员不会对个别问题做出回应:相反，我们会监控收到的报告，以尽快发现系统内部的问题。”如果您需要单独回复或采取特殊措施，请联系您的合同管理员。”

一位前广告评估师说:“山景城另一端的人们就像幕后的巫师。我们真的很想像真正的同事一样与他们交流，但结果却不是这样。”

至于谷歌，搜索巨头确实告诉评估者他们所做的是重要的，即使他们没有弄清楚重要的原因是什么。

该公司在一份培训材料中解释道:“我们可能无法告诉你每项任务的目的，但它一定是我们认为重要的事情。”你不会经常听到你工作的结果。事实上，有时你的工作看起来像是流入黑洞...虽然你可能并不总能看到你的工作带来的影响，但你的工作很重要，谷歌的很多人都在非常、非常仔细地审视它。”

这种护理有时甚至让一些工人感到不舒服。谷歌将把一些经过批准的内容混合到分配给广告评估人员的任务中，以检查他们的表现。谷歌在给广告评估师的一封电子邮件中写道:“这些测试看起来是正常的任务，你会收到这些问题，这是正常的工作。”但是我们不会告诉你哪些试题是……我们会用考试成绩来评估你的表现。如果分数很低，可能会导致分配给您的任务终止。”

在众包研究中，将问题嵌入已知答案是一种常见的做法。这种策略经常被用来确定研究人员是否随机订购东西，这通常被戏谑为从业者的图灵测试。

然而，佐治亚理工学院的研究员马克·里德尔不同意这种做法:“众包工人不应该被视为机器。”相反，我们需要认识到众包工作者是人。我们对这些人负有道德和道义责任，我们在设计任务时应该意识到他们的尊严。”

当然，并非所有的广告评估师都对一些同事提出的这些问题持批评态度。15美元的小时工资仍然高于大多数城市的最低工资。一位广告评估师仍对零混乱提供的机会表示感谢:“即使麦当劳拒绝了我，零混乱也不在乎我是否有犯罪背景。”许多评估人员说，他们几乎无家可归，或者在找到工作之前需要食物券。

然而，有些人说这种灵活性最终往往对他们没有好处，即使他们需要依靠这份工作。能够在家工作并选择自己的工作时间是一种特殊待遇。但是根据zero混沌的一个常见问题，广告评估师被禁止同时为其他公司工作。一位前广告评估师说，由于禁令，她不能同时做两份工作，所以现在她每周比失业时多挣40美元。不会长久的。

人机连接

技术领域的大公司经常雇佣临时工来参与重复的人工智能系统培训任务。一位广告评估师提到，几年前他曾评估过必应在微软的搜索结果。这种工作非常密集，每小时大约有80页的搜索结果被查看。Linkedin和facebook也雇佣员工来完成类似的任务。linkedin主要是对数据进行注释，而facebook是评估粉丝页面的“赞助商帖子”。

临时工作的不安全感和人们的普遍流动性让新老员工感到不安。这些人认为谷歌正在失去那些在这项工作上花费更多时间的老员工所拥有的系统知识。一位前广告评估师说:“他们把钱浪费在培训新人上，然后把他们踢出去。”

但是广告评估师的流失可能只是反映了让人工智能变得更聪明的最佳实践。人工智能研究人员和行业专家表示，定期轮换输入数据的人类训练员更有利于人工智能的训练。人工智能初创公司Naralogic的首席执行官嘉娜埃格斯(Jana Eggers)表示:“人工智能需要很多意见，尤其是在类似的攻击性内容方面。”尽管最高法院没有描述什么是猥亵，但“当我看到它时我能判断”的极限测量仍然有效。"给机器更多观察的眼睛有望得到更好的结果."

然而，尽管人工智能研究人员普遍认为，人们的低士气可能不会导致糟糕的机器学习，但它可能会对他们的工作环境和经验产生更微妙的影响。康奈尔大学人工智能教授Bart selman说:“人们通常认为获得大量不同的输入是训练人工智能模型的好方法。”这是一个很好的总的指导，但在道德判断，众所周知，大多数群体有根深蒂固的严重偏见。”塞尔曼说，例如，人们普遍认为，在某些类型的工作中，男性优于女性，反之亦然。“然后，如果你训练人工智能招聘模型的基础上，一般群体的观点或过去的招聘决定，你会得到隐藏的偏见代表一般人口的概念。”如果结果显示你主要依靠一群焦虑的临时工的认知来训练人工智能，他们可能最终会把自己独特的偏见带入这些系统。

塞尔曼说:“你不会想通过让人工智能伦理模块观察普通人的日常行为来训练这种人工智能。”你应该从那些更仔细地考虑潜在偏见和道德问题的人那里获得信息。”

山景城的谷歌人享受独特的公园、免费食物、台球、桌上足球等娱乐手段。这些与典型的广告评估师受到的待遇相去甚远。现在为世界上最有价值的公司工作意味着奢侈的福利和丰厚的工资。它也可以指作为临时工机械地完成重复性任务，从而训练公司的机器完成同样的工作。