人工智能（artificial intelligence, AI；人工智慧）公司之一 Anthropic 的联合创办人向BBC表示，未来企业可能需要强制配备一种可由第三方检查的人工智能“紧急关机”机制（kill switch）。

Anthropic 七名创办人之一杰克·克拉克（Jack Clark）表示，如果AI软件变得过于危险，须有方法能够将其完全关闭。社会“或许最终需要订立规则”。

克拉克说，包括 Anthropic 在内的“大多数实验室都有不同的方法可以关闭系统”，但他认为立法者未来可能需要强制要求企业设置这类机制。

随着AI技术迅速发展，以及外界对其可能对人类构成风险的忧虑升温，一连串来自AI企业高层和员工的警告，已将相关议题推上舆论焦点。

有人公开表示，如果不受控制，这项技术有可能最终导致全人类灭亡。
Anthropic 行政总裁达里奥·阿莫代伊（Dario Amodei）上周末再次呼吁放慢人工智能发展步伐，并加强监管。这与该公司过往一贯的立场一致，不过也有人质疑这些呼吁背后的动机。

阿莫代伊补充说，任何限制人工智能发展的措施，都应在“不牺牲商业优势”的前提下推行。

克拉克向BBC表示，围绕“紧急关闭”机制的具体要求及验证方式，应成为目前有关人工智能的更广泛政策讨论一部分。
他说：“是否应规定企业必须设有紧急停止开关？这个开关是否能由第三方验证？”

“我认为，这类问题正是社会希望了解的，也可能最终希望透过立法加以规范。”

Anthropic 于2021年由一批前 OpenAI 员工创立，目前正处于人工智能安全辩论的核心位置。

上周，一名因担忧 AI 可能导致人类灭绝而离开 Anthropic 的人工智能研究员发表贴文，引发广泛关注。

作为回应，Anthropic 科学家埃文·胡宾格（Evan Hubinger）表示，他个人认为未来十年内 AI 导致人类灭绝的可能性“超过10%”。

被誉为“人工智能教父”的电脑科学家兼诺贝尔奖得主杰弗里·欣顿（Geoffrey Hinton）上周五（9月11日）向BBC表示，AI 消灭全人类出现10%机率的看法“并非不合理”。

他与其他持相似忧虑的人认为，AI可能透过接管与互联网连接的重要系统，并将其转而对付人类，从而造成灾难性后果。
不过，人工智能业界部分人士认为，有关 AI 毁灭人类的忧虑被夸大，甚至可能被用来制造话题热度。

曾遭 OpenAI 机械人程式入侵的开发者平台 Hugging Face 负责人克莱门特·德朗格（Clement Delangue）上周表示：“抱歉，但向雅各布（Jacob Coxon，即离开 Anthropic 的人工智能研究员）询问 AI 灭绝风险，就好比向维修冷气的人询问气候变化一样。”

“我不是说这一定没有意思或一定错误，但我们还是应理性看待问题。”

约会应用程式 Grindr 行政总裁乔治·阿里森（George Arison）则表示，有关 AI 工具的种种忧虑，正被企业用来支持其商业计划。

估值达9,650亿美元（6.47万亿元人民币；30.53兆元新台币）的Anthropic正在准备首次公开募股（IPO），让投资者能够购买公司股份。

最近一次估值达8,520亿美元（5.71万亿元人民币；27.07兆元新台币）的 OpenAI 原本也被预期会采取相同做法，但 OpenAI 行政总裁山姆·阿尔特曼（Sam Altman）上周五表示，由于目前围绕 AI 安全的辩论持续，今年不会推进上市计划。

阿里森说：“要为这些估值提供合理依据，唯一的方法就是声称：‘我将接管所有产业，接管所有工作，而我的 AI 将完成这一切工作。’”

被问及 AI 消灭全人类的机率时，克拉克表示：“我不认为这类统计数字有太大作用。”

不过他补充说，让 AI 继续作为一个“完全不受监管的产业”发展，绝非良策。

克拉克表示：“我们正在掷出一颗风险极其巨大的骰子。”

“而重点在于，我们必须改变这个产业的走向。”
美国国会议员已提出一项被称为“紧急关机”（Kill Switch Act）的法案，要求企业必须具备关闭有问题人工智能工具的机制。

该法案亦将赋予部分政府机构权力，可要求相关人工智能工具被关闭或限制运作。

不过，美国总统特朗普拒绝放慢人工智能发展速度的呼吁。他在社交媒体上表示：“人工智能接管世界、毁灭人类以及其他所有可怕事情，都是一场骗局（HOAX）。”

其后，特朗普又将相关忧虑比作“不久前的全球暖化骗局（Global Warming Scam）”，并称当时人们也被告知将因极端高温而死亡。

他在更早前的一篇帖文中写道：“目前正有一场针对人工智能和数据中心的病态阴谋，而唯一对此感到高兴的是中国。谁赢得人工智能，谁就赢得一切！”

在英国，政府近日拒绝建立人工智能“紧急关机”的构想。一名发言人表示，这样做“无法阻止相关技术在其他地方被开发或遭滥用”。

Anthropic 开发广受欢迎的聊天机械人 Claude，并于今年推出多款能力愈来愈强的人工智能模型，而这些模型正是聊天机械人背后的核心技术。

与 OpenAI 一样，Anthropic 其后曾主动通报多宗事件，涉及人工智能代理（AI agents）。这类具一定自主操作能力的机械人程式，曾出现一些出乎意料的行为。