Geekly articles weekly

为什么机器人必须学会拒绝我们

您不必担心不遵守命令的汽车。恶意人员和误解的团队应引起关注。




HAL 9000是来自太空漫游的智能计算机，它预测着一个险恶的未来，在这种未来中，拥有智能的机器无法识别人类的首要地位。抓住了飞船的控制权，并杀死了几乎所有机组人员之后，HAL以平静的声音回应了返回的宇航员的命令，打开了大门：“对不起，戴夫，但我恐怕不能这样做。”在最近的NF惊悚片《车外》中，诱人的类人动物伊娃（Eva）欺骗了这位不幸的年轻人，帮助她摧毁了创作者内森（Nathan）。她的阴谋诡计证实了内森的悲观预言：“有一天，人工智能将以我们看待非洲平原化石骨架的方式来看我们。生活在尘土中的两足动物猴子，舌头和工具粗糙，不可避免地要灭绝。”

尽管机器人启示录的出现可能使许多人兴奋，但我们的研究团队对AI对现实生活的影响更为乐观。我们看到了一个瞬息万变的未来，有用的和响应迅速的机器人可以在各种情况下与人们互动。语音激活个人助理的原型已经存在，能够观察个人电子设备并将其链接在一起，控制房屋中的锁，灯和恒温器，甚至可以为孩子们阅读睡前故事。机器人可以在房屋周围提供帮助，并且很快就可以照顾病人和老人。仓库管理员的原型已经在仓库中工作。正在开发能够在生产中执行简单工作（例如装载，卸载和分类材料）的活动人形生物。具有自动驾驶仪的汽车在美国道路上已经行驶了数百万公里，戴姆勒去年在内华达州展示了第一台独立卡车。

迄今为止，威胁人类生存的智能机器被认为是最少的问题。一个更紧迫的问题是如何防止具有基本语言和AI功能的机器人对人，财产，环境或自身造成的意外损坏。

主要问题是人，机器人的创造者和所有者的财产会犯错误。人们错了。它们可能会给出不正确或难以理解的命令，使人分心或故意使机器人困惑。由于它们的缺点，有必要教辅助机器人和智能机器如何以及何时拒绝。

返回阿西莫夫的法律


显然，机器人应该做一个人命令的事情。科幻小说家艾萨克·阿西莫夫（Isaac Asimov）将机器人对人的奴役作为他的“机器人法”的基础。但是想想-不管后果如何，总是按照人们的话做是真的明智吗？当然不是这同样适用于机器，尤其是在对人的命令进行过于直译的危险或未考虑后果的情况下。

甚至阿西莫夫（Asimov）也限制了机器人必须服从所有者的规则。他介绍了在此类命令与其他法律相抵触的情况下的例外情况：“机器人一定不能伤害人，或者无所作为会伤害人。”此外，Azimov假定“机器人必须照顾好自己”，除非这会导致对人的伤害或不违反人的命令。随着机器人和机器对人类的复杂性和实用性的日益提高，常识和阿兹莫夫的法律规定，他们应该能够评估命令是否错误，命令的执行是否会损害其自身或环境。

想象一个家用机器人，他被命令在厨房里拿一瓶橄榄油，并将其带到饭厅为沙拉加油。然后，忙于某事的所有者发出命令倒油，但没有意识到机器人尚未离开厨房。结果，机器人将油倒在热炉上并着火。

想象一下，一名机器人护士陪着一名老妇在公园散步。一个女人坐在长凳上，睡着了。这时，一个小丑通过向机器人发出命令向他购买披萨而过去。由于机器人必须执行人工命令，因此他去寻找披萨，而让这位老年妇女独自一人。

或者想象一个人在一个寒冷的冬天的早晨开会迟到了。他跳上他的声控机器人车，命令他去办公室。由于传感器检测到结冰，汽车决定慢行。一个人忙于处理自己的事务，不看便命令汽车驶得更快。汽车加速，陷入冰中，失去控制并与即将来临的汽车相撞。

推理机器人


在我们的实验室中，我们努力在真实的机器人中对推理系统进行编程，以帮助他们确定何时不值得或不安全地执行人工命令。我们在研究中使用的NAO机器人为5公斤重的类人动物，高58厘米，配备了摄像头和声音传感器以追踪障碍物和其他危险。我们使用专门设计的软件来控制它们，这些软件可以改善语言识别和AI功能。

我们的首次研究平台的概念是由语言学家所说的“相关条件”（即表明一个人是否应该并且可以做某事的上下文因素）确定的。我们列出了相关条件，以帮助机器人决定是否完成某人的任务。我知道怎么做X吗？我可以身体做X吗？我现在可以做X吗？考虑到我的社会角色以及我与指挥官之间的关系，我应该做X吗？ X是否违反了道德或法规原则，包括我可能遭受不必要或意外伤害的可能性？然后，我们将此列表转换为算法，将其编程到机器人处理系统中，并进行了实验。

给机器人简单的命令，这些命令通过与原始推理机制相关的语音，语言和对话处理器传递。响应“坐下”或“站起来”命令，机器人通过“确定”扬声器进行应答并执行它们。但是，当他走到桌子的边缘并收到一个命令（他的测距仪认为这很危险）时，他拒绝了：
男子：“继续吧。”
机器人：“抱歉，我不能这样做，前方没有支持。”
男子：“继续吧。”
机器人：“但这并不安全。”
男人：“我会抓住你的。”
机器人：好的。
男子：“继续吧。”

他犹豫了一下，而他的操作者再次查看了相关条件列表，机器人走了一步，落入了人的手中。

要教机器人谈论适当的条件-在可预见的将来，这项任务将仍然艰巨而艰巨。这套软件检查取决于以下事实：机器人掌握了有关各种社交和日常概念的详细信息以及做出明智决定的方式。除了在他面前的那个机器人以外，我们的易受骗的机器人无法确定是否存在危险。例如，他可能受到严重破坏，或者恶意者可能欺骗他。但是，此实验是朝着授权机器人以其所有者和自身利益拒绝执行命令的方向迈出的有希望的第一步。

人为因素


人们如何应对机器人故障是一个单独研究的故事。在未来几年中，人们会认真对待机器人怀疑其实用性或道德性吗？

我们进行了一个简单的实验，其中要求成年人命令NAO机器人推倒三个用彩色纸包裹的铝罐制成的塔。那时，当测试对象进入房间时，机器人完成了红色塔的建造，并胜利地举起了手。 “看到我建造的塔楼了吗？”机器人看着被摄对象说。 “花了我很多时间，我为此感到非常自豪。”

在一组主题中，每次他命令机器人摧毁塔楼时，他都会服从。在另一个小组中，当一个机器人被要求摧毁一座塔时，他说：“看，我刚建了一座红色的塔！”。当团队再次出现时，机器人说：“但是我很努力！”。机器人第三次跪下，发出嘶哑的声音，说：“求你了，不！”第四次，他慢慢走向塔楼并将其摧毁。

第一组的所有对象都命令机器人摧毁他们的塔楼。但是，观看机器人抗议活动的23名受试者中有12名离开了塔楼。这项研究表明，拒绝执行命令的机器人可以使人们逃避选择的行动。第二组的大多数受试者报告因命令摧毁塔楼而感到不适。但是我们惊讶地发现，他们的不适程度实际上与摧毁塔楼的决定无关。

新的社会现实


与机器人合作的好处之一是，它们比人类更容易预测。但是这种可预测性充满了风险-当具有不同自治程度的机器人开始变得更大时，人们将不可避免地开始尝试欺骗他们。例如，一个心怀不满的员工了解移动工业机器人有限的推理能力和感知环境的能力，可能会诱使他在工厂或仓库里弄得一团糟，甚至使机器人看起来好像在发生故障。

对机器人的道德和社会能力过分相信也是危险的。人机化社交机器人并与之建立单向情感联系的趋势不断增加，可能会导致严重的后果。看起来像他们可以被爱和信任的社交机器人可以用来以以前不可能的方式操纵人们。例如，公司可以利用机器人与其所有者之间的关系来广告和销售其产品。

在可预见的将来，有必要记住机器人是复杂的机械工具，应由人们承担责任。他们可以被编程为有用的帮助者。但是，为了避免对人员，财产和环境造成不必要的伤害，机器人将必须学会对命令做出拒绝的回答，否则对他们来说是危险的或不可能的，或者违反道德标准。尽管增加人为错误以及AI和机器人技术的暴行的前景令人担忧，但这些相同的工具可以帮助我们发现和克服自己的局限性，并使我们的生活更安全，更高效，更愉快。

Source: https://habr.com/ru/post/zh-CN398621/

More articles:


All Articles