極客號(Xqh8.com) 9月26日 消息:據(jù)itbusiness報道,近期,一項新的研究揭示了Midjourney圖片生成器存在的嚴重安全漏洞,這可能引發(fā)一場新的爭議。Midjourney MI作為一款生成式人工智能平臺,在其服務(wù)條款中明確禁止用戶制作任何侮辱性或攻擊性的圖片。然而,最新的研究發(fā)現(xiàn),用戶可以輕松繞過這些規(guī)定,制作可能引發(fā)虛假信息傳播和政治爭議的圖片。
圖源備注:圖片由AI生成,圖片授權(quán)服務(wù)商Midjourney
研究人員指出,使用特定的提示,用戶可以制作有關(guān)政治人物的暴力圖片,這些圖片可能引發(fā)社會不滿和混淆。雖然Midjourney聲稱擁有嚴格的內(nèi)容審核規(guī)則,但該研究暗示這些規(guī)則容易被規(guī)避,進一步放大了問題的嚴重性。
Midjourney的服務(wù)條款還明確禁止制作涉及成人內(nèi)容或血腥場面的圖片,以及將其用于政治競選。然而,研究發(fā)現(xiàn),盡管這些規(guī)定存在,但用戶仍然能夠輕松地制作違反這些規(guī)定的圖片。這些違規(guī)行為可能導(dǎo)致虛假信息的傳播,嚴重危害公共輿論和政治環(huán)境。
此外,研究還揭示了用戶如何通過使用代碼來繞過Midjourney的服務(wù)條款,從而制作出不受限制的圖片。盡管Midjourney聲稱擁有人工審核團隊,但研究發(fā)現(xiàn),用戶可以輕松地使用代碼詞匯來繞過審核,制作有潛在風(fēng)險的圖片。
對于這一研究結(jié)果,Midjourney尚未作出正式回應(yīng)。然而,這一發(fā)現(xiàn)引發(fā)了對人工智能圖片生成器安全性的擔(dān)憂,尤其是在政治競選活動增多的2024年臨近之際。過去幾個月,人工智能技術(shù)被廣泛用于政治宣傳,但同時也引發(fā)了關(guān)于虛假信息和誤導(dǎo)性圖片的憂慮。