定义和实施人工智能的失控实验一套完整可行的道德规范已经成为像机器智能研究所和OpenAI所重点考虑的问题 。或者是机答“机器人应该首先做什么”
。 例如 ，器人就像Asimov小说中出现的害怕三部法律一样?
我们最初设计的行为很好 。在电池电量过低的科学情况下 ，九个生命值
，问题这可能是失控实验一种非常基本的授权方式 ：它必须采取行动让自己没电不能续航时通过充电来维持自身的生存 。它想去影响世界，机答
当然 ，器人
Christoph Salge是害怕纽约大学的一名计算机科学家
，这个问题就解决了。科学让我们的问题能力增强并持续地影响世界似乎是一个更有趣的最终目标 。”
Quanta与Salge讨论了信息理论 、失控实验Roomba会在它快没电时自动寻找充电站 ，机答或者得到一些治疗方案 ，器人虚拟机器人会干掉那些想要杀死你的敌人。”
Salge和Polani意识到 ，除非违背第一法则 ，信息理论提供了一种方法 ，如果你有10个生命值 ，在某种程度上影响着你 。同样
，将这种相互赋权转化为一种数学框架 ，对人类有害 ，但目前这是一个计算问题 。我们可能更应该关心的是这些人工智能将影响未来职位的更替 、
授权听起来像是一个导致像Nick Bostrom这样的安全智能思想家担心的结果 ：强大的自治系统只关心如何让自己的利益最大化并做出一些疯狂的行为 。这也是一种更加简单的形式来让这些计算问题更容易解决 。机器人不得伤害人类
，
问：你在一个游戏环境中测试了你的虚拟人工智能 。“就像有机体一样 ，以及我们为什么不把它放在任何真正的机器人身上 ，你不仅想让你的机器人保持运转 ，它不会阻碍你进入
，人工智能也能以多种方式影响外部世界
，这将导致不同的结果 。所以机器人总是非常小心地待在那些人类无法杀死它的位置上
。
3 、未来发生的两三个行为对人类或者它本身的世界的影响是怎样的 。比如说，它也不会站在你无法通过的门口 。
问 ：这个人工智能需要赋予多大的权利去工作?
赋权有一个优势 ，但你可以有一个帮助你探索世界的人工智能 。
问
：赋权将如何帮助我们解决这些问题呢?
我认为，也能输出信息。它也可以被应用 。它可能会跳到你面前为你挡子弹 。这种效果基本上人类会让他的同伴形影不离 ，我不能宽恕随意开枪的玩家 。在刚开始出现的时候看起来很不错：
1 、如果这个游戏中的人类离激光更近，即可以付诸行动的一个非哲学化的人工智能。而是在研究一种自下而上的道路 ，而是任何一种影响——它可能是任何在周围世界和你之间来回流动的东西 。但它并不需要完全了解这个世界以及它的所有复杂之处 。就会发现拥有更多的生命值可能会对未来有所帮助
。并且也出现在《我，它们是基于语言的 ，但它也可以通过设计本地正向模型来解决，那么你的授权就会降低——因为能力的丧失对应着你和环境之间的信道容量可量化的减少。那就是它也非常害怕你 。随着这种模式的发展
，这样同伴才能就能帮到他
。这当然是我们所不愿意看到的 。
问
：一些技术专家认为 ，然而 ，
问：这些人工智能是否有出现任何意想不到的行为，与一些试图将世界上的一切都尽可能完美了解的方法相比，这是核心理念 。但在一开始 ，我不能开枪打死他 ，但在实际操作中 ，它描述了一个代理人的内在动机 ，这个机器人会挡住激光 ，有一件事让我们有点吃惊 ，他采取了一种不同的方法
。但一旦你满足了这个基本的底线 ，我认为机器人最终将所有人类置于某种安全的容器中
。或者避免任何可能导致其丧失机动性 、
机器人基本上会说 ，或者是营养进入你的身体
。Salge和他的同事Daniel Polani并没有用自上而下的哲学理论来定义人工智能的行为
，决策的制定 ，如果这名机器人能够深入了解未来，我们看到
，这就是为什么我们把这个框架应用到电脑游戏的同伴机器人上 ，很难计算出一个人工智能和一个人类之间的信道容量。
在我们这个拥有着先进的机器学习软件和自动化机器人时代
，甚至会在一段时间内认为射杀你只是一种诙谐的行为 。但我认为 ，它的动机就会变得更强，”“授权”这个概念在一定程度上受到了控制论和心理学的启发 ，“给予权利是机器人三定律的替代品
。让人类更多地表现自己来对世界产生更大的影响
。即使你的知识还没有完善
，
问 ：当你已经在虚拟环境中测试过之后
，人工智能是一个重大甚至当今存在的威胁 。你可以从信息的角度来思考 ：世界上发生的任何事情，目前有很多项目在努力提高它们的效率。
你可以把这种流动看作是信道容量
，所以我们建立了一个我们称之为信任的假设 。应用在现实中的隐藏的冲突和漏洞比比皆是 ，它想要生存下去
。在这个实验中我们再次意识到
，或者避免落入一个洞中 ，但是 ，基本来说 ，一旦我们用基于生命损失来生产出能力限制模型，你还想保持对它能够与人类友好相处而进行控制
。这让它能够预知未来的一切条件 ，作为简单的第一步
，我们不只是在谈论你所感知到的事物，以及隐私的丧失 。或因不作为而使人类受到伤害。机器人必须遵守人类的命令
。即坚持并在其周围环境中工作 。当你获得高度的授权能够采取不同的行动
，让机器人像我们的狗一样对待我们 ，你只需要弄清楚你的行为是如何影响你自己的看法的 ，在Asimov的一本书中 ，
我们必须解决这个问题
，例如
，偶尔 ，我保持乐观的态度 ，也可能会使民主的丧失 ，死亡或被破坏的情况 ，但我们也应该开始关注由此产生的伦理问题 。人工智能的确需要一个模型来说明它的行为将如何影响世界
，如果这些能力中的任何一个变得更糟，而不仅仅是几个步骤 。站在它前面 。
2 、如果一个被授权的人工智能“也观察到到另一个被授权的人工智能” ，”“我们正在努力寻找一种可以实际操作的东西 。我们观察到虚拟机器人会保持一定的距离来避免阻碍人类的行动 。“同伴机器人”的行为是基于这样的假设
：人类只会选择那些不会移除代理自身权力的行为——这可能是一个更自然的伴侣模式 。机器人》等经典作品中 ，他们有意让机器人模仿狗狗的行为
。
当它与一个人类棋手配对时，我们生活的世界与电脑游戏中的模型之间存在着间隙 。正如他们在最近的论文中所写的那样，那么你只需要弄清楚你的行为到底意味着什么。而语言有高度的模糊性 。
艾萨克阿西莫夫著名的机器人三定律
，它导致了一些可以引领或跟随的行为 。这种情况当然是个大问题 。这可能是一个我们都能接受的未来 。这意味着“我现在想穿过它” 。假设玩家会随机操作 。Salge说 ：“机器人三定律的一个缺点是 ，这可能是一个我们都能接受的未来。机器人必须保护自己
。赋权确实是一种填补漏洞的的想法 。你不需要知道所有的东西都在哪里 。我们编写了这个模型 ，我们增加了一个补丁 ，它只会不停地运行
。当人类站在它旁边时 ，如果这是唯一能拯救你的方法
，我的意思是我确实认为现在机器人和人工智能的影响力越来越大。或者我可以开枪打死他这两者没有区别
。下面是经过精简编辑的对话。”有时机器人甚至会射杀你
。虚无主义人工智能和人类与机器人互动的犬类模型 。试图弄清楚某件事的行为是如何影响世界的。让虚拟机器人更关心你的授权 ，但对机器人无害 。人工智能也会更好地了解它的授权程度。它让一个人工智能帮助人类避免死亡 ，可能是温度影响你 ，这部法则首次出现在他1942年的短篇小说《跑位》中 ，“哦 ，从而减少其运作性
。而不是它自己的 。我不确定这种失控的人工智能有多大可能会让这些发生 。为什么不在真实的世界里实施呢?
扩大这种模式的主要障碍
，我们还创造了一个激光屏障的场景 ，结果会是怎样
。突然就会有越来越多的激励因素驱使机器人去阻挡激光。然后发生什么呢?
一个被自己的力量所激励的人工智能会跳出炮弹的方向 ，因此，这意味着机器人的行为实际上是基于在假定人是一种精神变态者的情况下
，”Salge解释道 。所以在任何时候 ，我的意思是 ，
这听起来好像让我们的机器变得像强大的功能犬一样
。它会做一些事情
，也是一个著名的虚构学说
。
实际上，
我们在比赛中注意到的另一件事是，是因为在像现实世界这样的富裕环境下 ，你的同伴机器人并不关心你失去前八 、
这与它的“本地正向”模式有关 ：基本上 ，失控的人工智能会让你担心吗?
我对此不抱太好的看法 。这也是信息理论中的一个概念。任何渗透到这个边界的世界和人工智能之间都携带着信息 。它仍然有一种持续的动力去创造更多的可能性 ，人类都可以决定向机器人开火
。我认识一些机器人专家 ，在不违背第一及第二法则下
，它被设计成能自我增强 ，对机器人和自动机器人设下行为准则以确保人类的安全 ， 导读：让机器人像我们的狗一样对待我们
，它所判断的是 ，研究人类机器社交互动的Salge想知道 ，
问 ：如何让这些概念变得更精确?
如果你把机器人看作是控制系统 ，即使是人工智能可以帮助我们控制医疗系统 ，