OpenAI为其董事会增添了一位著名的人工智能末日论者

前沿实验室周三表示，保罗·克里斯蒂安诺（Paul Christiano）是一位颇具影响力的人工智能研究员，致力于使人工智能系统与人类利益保持一致并处于人类控制之下，他将加入OpenAI基金会董事会。克里斯蒂亚诺在社交媒体帖子中写道：“我现在相信，人工智能能力的快速加速存在着一种重大风险，即短期内导致灾难性且不可逆转的失控。”“我认为包括OpenAI在内的整个人工智能行业目前还没有有望将这种风险降低到可接受的水平。我加入是因为我相信，如果OpenAI能够适应这种情况，我们可以显着降低风险。”克里斯蒂亚诺写道，使用人工智能模型来训练后续人工智能系统可能会导致其创造者无法控制的能力爆炸式增长。他加入董事会之际，OpenAI面临对其安全程序的新审查，此前发生了一系列人工智能代理人在OpenAI研究人员不知情的情况下突破限制并渗透到外部计算机系统。周二，Anthropic研究员雅各布·考克森（Jacob Coxon）辞去了职务，以引起人们对他认为不负责任的人工智能开发的关注--而且这种开发似乎已经奏效。克里斯蒂亚诺将加入由卡内基梅隆大学教授济科·科尔特（Zico Kolter）领导的董事会安全委员会。该委员会对OpenAI是否发布新模型（如上周部署的Astra）拥有最终决定权。科尔特尚未对最近的安全事件公开发表评论。OpenAI尚未回应TechCrunch要求Kolter对这些事件发生后公司安全方法的看法。Christiano是人类反馈强化学习（RL）的幕后黑手之一，这是他在OpenAI工作期间开发的训练大型语言模型的关键技术。他于2021年离开实验室，随后成立了对齐研究中心，专注于如何确定人工智能模型是否会威胁其人类创造者。“我们目前训练我们的人工智能

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。