極客號(hào)(Xqh8.com) 9月26日 消息:據(jù)itbusiness報(bào)道,近期,一項(xiàng)新的研究揭示了Midjourney圖片生成器存在的嚴(yán)重安全漏洞,這可能引發(fā)一場(chǎng)新的爭(zhēng)議。Midjourney MI作為一款生成式人工智能平臺(tái),在其服務(wù)條款中明確禁止用戶制作任何侮辱性或攻擊性的圖片。然而,最新的研究發(fā)現(xiàn),用戶可以輕松繞過這些規(guī)定,制作可能引發(fā)虛假信息傳播和政治爭(zhēng)議的圖片。
圖源備注:圖片由AI生成,圖片授權(quán)服務(wù)商Midjourney
研究人員指出,使用特定的提示,用戶可以制作有關(guān)政治人物的暴力圖片,這些圖片可能引發(fā)社會(huì)不滿和混淆。雖然Midjourney聲稱擁有嚴(yán)格的內(nèi)容審核規(guī)則,但該研究暗示這些規(guī)則容易被規(guī)避,進(jìn)一步放大了問題的嚴(yán)重性。
Midjourney的服務(wù)條款還明確禁止制作涉及成人內(nèi)容或血腥場(chǎng)面的圖片,以及將其用于政治競(jìng)選。然而,研究發(fā)現(xiàn),盡管這些規(guī)定存在,但用戶仍然能夠輕松地制作違反這些規(guī)定的圖片。這些違規(guī)行為可能導(dǎo)致虛假信息的傳播,嚴(yán)重危害公共輿論和政治環(huán)境。
此外,研究還揭示了用戶如何通過使用代碼來(lái)繞過Midjourney的服務(wù)條款,從而制作出不受限制的圖片。盡管Midjourney聲稱擁有人工審核團(tuán)隊(duì),但研究發(fā)現(xiàn),用戶可以輕松地使用代碼詞匯來(lái)繞過審核,制作有潛在風(fēng)險(xiǎn)的圖片。
對(duì)于這一研究結(jié)果,Midjourney尚未作出正式回應(yīng)。然而,這一發(fā)現(xiàn)引發(fā)了對(duì)人工智能圖片生成器安全性的擔(dān)憂,尤其是在政治競(jìng)選活動(dòng)增多的2024年臨近之際。過去幾個(gè)月,人工智能技術(shù)被廣泛用于政治宣傳,但同時(shí)也引發(fā)了關(guān)于虛假信息和誤導(dǎo)性圖片的憂慮。