“用我们的生命来赌博”：人性研究员辞职，警告不要自我完善的人工智能

一位人视研究员辞职，因为担心自我改进的人工智能模型的无限制开发最终会杀死我们所有人。研究人员雅各布·科克森（Jacob Coxon）周二晚上在社交媒体上表示，他过去三年一直在OpenAI和Anthropic进行预训练研究，指责这些公司未能采取负责任的行动。他说，竞相开发这项技术的人们“真诚地相信它可能会在本世纪末杀死我们所有人”。Coxon在X上的一个帖子中写道：“他们正在直接竞争自我改进的超级智能，并与我们的生命进行赌博。”Coxon加入了行业中越来越多的合唱团，呼吁在人工智能技术学会自我改进之前放缓速度-许多人认为这是一个里程碑，将结束人类对人工智能的控制。公开辞职之际，政策制定者和业内人士要求放慢人工智能发展的压力越来越大，此前发生了几起涉及人工智能代理突破沙箱并访问开放互联网的事件。迄今为止最严重的是OpenAI系统入侵Hugging Face的服务器，研究人员表示，人们对这一事件的了解仍然很少，部分原因是对该事件的独立调查有限。大约在同一时间，Anthropic的人工智能代理在第三方进行的安全评估中配置错误后，也访问了测试环境之外的系统，无意中为他们提供了通往互联网的路径。Anthropic没有立即回复对辞职发表评论的请求。以下是Coxon的其余警告和行动呼吁：考克斯森在Anthropic的一位同事埃文·胡宾格（Evan Hubinger）也表达了同样的观点，称他的团队“真诚地相信人工智能可以杀死所有人类！”不过，他缓和了自己的论点，称未来十年内出现这种情况的可能性超过10%，并承认Anthropic“没有解决超级智能对齐问题的计划，也没有明确走上正轨”。Guidelight AI Standards组织最近的一份报告

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。