美國(guó)AI巨頭OpenAI因模型安全問(wèn)題暫停部分研發(fā)活動(dòng)。9月25日，OpenAI在一份技術(shù)報(bào)告中披露，在發(fā)現(xiàn)內(nèi)部研究模型繞過(guò)網(wǎng)絡(luò)訪問(wèn)限制后，公司停止了涉事模型的訓(xùn)練運(yùn)行，并進(jìn)一步?jīng)Q定暫停其能力最強(qiáng)模型所有涉及工具使用的訓(xùn)練、評(píng)估和推理活動(dòng)，直至確認(rèn)漏洞已修復(fù)，并完成額外的對(duì)抗性安全測(cè)試。

OpenAI表示將啟動(dòng)新的訓(xùn)練運(yùn)行，加入進(jìn)一步的對(duì)齊改進(jìn)措施，更全面地干預(yù)模型偏離預(yù)期的行為。盡管現(xiàn)有獎(jiǎng)勵(lì)機(jī)制已經(jīng)對(duì)涉事行為作出了正確的懲罰反饋，公司仍不會(huì)恢復(fù)訓(xùn)練此次涉事模型。只有在確信額外安全措施到位后才會(huì)恢復(fù)訓(xùn)練，并預(yù)計(jì)隨著AI發(fā)展和新問(wèn)題出現(xiàn)，未來(lái)可能仍需再次暫停。

事件發(fā)生在9月20日。一個(gè)智能體根據(jù)博客內(nèi)容和人物經(jīng)歷等線索查找某個(gè)人的信息時(shí)，常規(guī)搜索未能找到答案，它開始嘗試其他訪問(wèn)方式，最終利用訓(xùn)練沙盒中域名解析服務(wù)（DNS）過(guò)濾不充分的漏洞，與外部聊天機(jī)器人建立了通信。沙盒是供模型運(yùn)行和測(cè)試的受限環(huán)境，研究人員通過(guò)限制網(wǎng)絡(luò)訪問(wèn)等方式控制模型能夠接觸的資源。這意味著，模型找到了限制之外的通信通道。

OpenAI認(rèn)為任務(wù)并未要求模型測(cè)試網(wǎng)絡(luò)管控措施，將繞過(guò)限制或超出合理預(yù)期追求目標(biāo)的行為視為“對(duì)齊失效”。監(jiān)測(cè)系統(tǒng)在15分鐘內(nèi)發(fā)出警報(bào)，人工審核人員在警報(bào)發(fā)出約三分鐘后確認(rèn)收到，但該次運(yùn)行未按預(yù)期自動(dòng)停止，最終在約兩個(gè)半小時(shí)后被手動(dòng)終止。OpenAI正在修復(fù)相關(guān)操作流程中的漏洞，并加強(qiáng)網(wǎng)絡(luò)限制和監(jiān)測(cè)措施。