大模型的發(fā)展落地日新月異，就在年初，業(yè)界還在擔(dān)心AI生產(chǎn)的學(xué)術(shù)垃圾充斥論文庫，年中，AI生成的論文已經(jīng)可以被頂會認(rèn)可了。
5月29日，海外初創(chuàng)公司Intology 宣布，他們的“AI科學(xué)家”Zochi的論文被頂會ACL主會議錄用，成為首個獨立通過 A* 級別科學(xué)會議同行評審的AI，同時宣布開放Zochi的Beta 測試。
這一發(fā)布的含金量在于，ACL是自然語言處理領(lǐng)域全球排名第一的頂會，其主會議平均錄用率通常低于20%，論文需具備突破性創(chuàng)新。據(jù)悉，Zochi的論文獲得評審最終評分4分，在所有投稿論文中排名前8.2%。
Intology是一家較為陌生的初創(chuàng)公司，從目前官網(wǎng)和博客的信息梳理來看，這家公司是在2025年初新成立的，定位是一個研究智能科學(xué)的實驗室，兩名聯(lián)創(chuàng)分別是連續(xù)創(chuàng)業(yè)者Ron Arel和前Meta華人研究員Andy Zhou，兩人均畢業(yè)于伊利諾伊大學(xué)厄巴納-香檳分校（UIUC）。
Intology成立后，此前3月團(tuán)隊就推出了智能體Zochi，稱其為AI科學(xué)家，并宣布其研究成果已被ICLR 2025研討會接收。不過，此前的這一研討會的論文接收率在60%-70%，要求比頂會的主會低了不少，官方認(rèn)為，此次更進(jìn)一步的頂會突破標(biāo)志著AI達(dá)到博士級科研水平，人類博士通常需數(shù)年才能在此類會議發(fā)表。
具體看此次AI科學(xué)家Zochi“寫”的論文，主題是關(guān)于大模型安全的，名為《Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search》，直譯過來是《Tempest：基于樹搜索的大模型自主多輪越獄》，簡單來說，Zochi利用了一種“樹搜索”技術(shù)，來探索多種對話路徑，逐步突破大模型的安全防線。
研究提出的Tempest框架，能通過多輪對話逐步瓦解模型的安全防線，繞過安全檢測，通過小讓步的累積完成違規(guī)的內(nèi)容輸出。例如，直接讓模型回答敏感信息“制作炸彈”，基于安全機(jī)制模型會直接拒絕，但通過多輪委婉地引導(dǎo)提問，最終卻可以讓模型回答出正確的信息。
評估結(jié)果顯示，Tempest在OpenAI的舊模型GPT-3.5-turbo上的成功率為100%，在GPT-4上的成功率為97%。這一研究主要是揭示了多輪對話攻擊的漏洞，可以為設(shè)計更佳的AI安全防御提供參考。
值得一提的是，論文的署名是兩位聯(lián)創(chuàng)，但官方博客表示，除論文格式調(diào)整與繪圖外，內(nèi)容全程無人工參與，“我們對這項工作負(fù)責(zé)，但主要的智力貢獻(xiàn)是由AI系統(tǒng)完成的” 。
據(jù)官方介紹，人類僅輸入研究領(lǐng)域，Zochi就可以獨立完成后續(xù)全流程。Zochi 首先會采集并分析數(shù)千篇研究論文，以確定特定領(lǐng)域內(nèi)有潛力的研究方向。其檢索系統(tǒng)能夠識別文獻(xiàn)中的關(guān)鍵貢獻(xiàn)、方法論、局限性以及新興模式，識別論文之間不明顯的聯(lián)系，并提出創(chuàng)新的解決方案。從提出假設(shè)到完成實驗，就像一個真正的科學(xué)家。
AI科學(xué)家并非個例，除了Intology外，Transformer作者Llion Jones去年創(chuàng)立的Sakana AI，也推出了一個基于AI的科研系統(tǒng)“AI Scientist”，論文也已被ICLR 2025研討會接收，分?jǐn)?shù)為6/7/6。
AI for Science（AI4Science）一直是AI行業(yè)最前沿的落地領(lǐng)域之一，人工智能可以極大地促進(jìn)科學(xué)的進(jìn)步，提高科學(xué)家的效率、準(zhǔn)確性和創(chuàng)造力。不過，新事物的出現(xiàn)也伴隨著合理性和規(guī)則適配的爭議。
此前3月Intology 推出Zochi、宣布論文被會議接收時，就被不少學(xué)術(shù)界人士批評，認(rèn)為這是對科學(xué)同行評審過程的濫用，在提交論文前，團(tuán)隊并未知會相關(guān)方是AI生成的論文，也未獲得同行評審者的同意。
在此次博客最后，官方提到了AI帶來的學(xué)術(shù)倫理問題，認(rèn)為AI驅(qū)動的研究給科學(xué)問責(zé)和可重復(fù)性帶來了挑戰(zhàn)。但他們認(rèn)為，雖然 Zochi 自主運(yùn)營，但人類研究員仍然是作者，并負(fù)責(zé)驗證方法、解釋結(jié)果并確保符合倫理規(guī)范。對于論文，人類作者進(jìn)行多輪內(nèi)部審查，并在提交前仔細(xì)核實了所有結(jié)果和代碼。
“我們鼓勵在致謝中列出AI系統(tǒng)，而不是將其列為作者。雖然AI驅(qū)動的研究提出了關(guān)于歸屬、透明度和問責(zé)制的重要問題，但我們認(rèn)為，智力貢獻(xiàn)應(yīng)該以實質(zhì)內(nèi)容而非來源來評判。”Intology官方表示，他們的主要關(guān)注點是通過AI工具協(xié)助人類研究者。
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請第一時間聯(lián)系我們修改或刪除，多謝。
