理论计算证明遏制算法无法控制超级人工智能

研究者根据超级人工智能的假设，构造了一个理论遏制算法，可以模拟AI的行为，并在AI程序的动作中存在有害行为时自动停止AI程序来解决问题。理论上不可能按照这么高的标准构建一个包容算法，并在此基础上模拟超级AI程序。

我们期待着超级人工智能的出现，B220-13-F因为它的出现意味着很多工作可以高效地完成。然而，作为一个自称远比最聪明最有才华的人类聪明的AI，关于它可能带来的灾难性风险的讨论并没有停止。

最近，一个由一群科学家组成的研究小组用理论计算证明遏制算法无法控制超级人工智能。本研究主要是为了解决牛津哲学家NickBostrom提出的控制问题:如何才能保证超级人工智能为我们的利益服务？

研究者根据超级人工智能的假设，构造了一个理论遏制算法，可以模拟AI的行为，并在AI程序的动作中存在有害行为时自动停止AI程序来解决问题。

在尝试运行测试模型时，分析人员发现根本不可能建立一个可以控制超级人工智能的机器算法。

该团队成员IyadRahwan表示，如果将问题分解成理论计算机科学的基本规则，就会发现命令AI不要毁灭世界的遏制算法有无意中停止自身运行的可能性。

如果发生这种情况，用户不知道遏制算法是否还在分析超级人工智能可能带来的威胁，或者是否已经成功阻止了有害的AI。因此，这种情况会导致包容算法的无效使用。

据研究，由于计算的基本局限性，目前还没有能够成功计算超级AI是否会危害世界的算法。

假设超级人工智能会包含一个程序，这个程序包含了通用图灵机在输入时可能执行的和世界级情况一样复杂的所有程序。理论上不可能按照这么高的标准构建一个包容算法，并在此基础上模拟超级AI程序。

到现在为止，这种类型的超级AI还局限在幻想领域。然而，研究人员表示，人工智能技术的发展正朝着科幻作家设想的超级智能系统的类型发展。

研究小组成员之一、马克斯·普朗克人类发展研究所的ManuelCebrian说，AI机器可以独立完成一些重要的任务，但是程序员并不完全理解他们是如何学会做的。

因此，基于这种存在，提出了一个问题，即它是否可能在某个时候变得不可控制并对人类构成危险。

无论如何，发展超级人工智能的趋势不会是按暂停键，而是要跟进遏制超级人工智能的方式。只有类似的法律引导人类日常规范形成对超级人工智能的制约，AI才能为我们服务而不是造成灾难。