早期Anthropic聘用的前METR首席运营官找到了一种控制流氓人工智能代理的方法

Anthropic研究员雅各布·考克森（Jacob Coxon）因担心人工智能可能会在本世纪末杀死我们所有人而辞职的第二天，我会见了创始人兼姐夫鲁恩·奎斯特（Rune Kvist）和拉吉夫·达塔尼（Rajiv Dattani）。他们认为他们有一个解决方案可以拯救我们所有人，或者至少有助于防止人工智能代理在企业内部变得流氓。“人工智能正在以越来越快的速度变得更智能。人工智能令人惊讶的是，随着人工智能变得更聪明，而不是更容易，它变得更难采用和更难控制，”Anthropic的早期员工Kvist说，他也是达塔尼的妹妹的妻子）。达塔尼是人工智能安全研究组织METR的前首席运营官。两人创立了一家名为人工智能承保公司（AIUC）的初创公司，希望为构建人工智能模型和代理的企业和公司带来人工智能安全。该初创公司将Cursor、Lovable、Harvey和ElevenLabs列为客户。周二，AIUC宣布获得4000万美元的A轮融资，由Ribbit Capital领投，First Harmonic也参与其中。此前，该公司通过Nat Friedman的基金NFDG以及Emergence、Terrain和Anthropic联合创始人Ben Mann等人完成了1500万美元的种子轮融资，使其总融资达到5500万美元。引起这一一线投资者注意的是AIUC试图将熟悉的网络安全模型应用于一组新的人工智能风险。该公司为人工智能代理建立了第三方审计和认证层。“银行、医院、政府和军队不再因为模型不够智能而拒绝部署人工智能，”奎斯特说。“他们拒绝是因为他们已经向自己的客户做出了系统会做什么和不会做什么的承诺，但目前没有人能保证这一点。”AIUC以广泛采用的网络安全标准SOC 2为灵感，开发了一个名为AIUC-1的标准和一个测试服务，以根据该标准验证代理人。为了构建该标准，AIUC组建了一个由约250名安全和风险领导者组成的联盟--agen的买家

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。