極客號（Daydx.com）10月2日 消息:谷歌研究與康奈爾大學(xué)合作提出了一項(xiàng)名為RealFill的真實(shí)圖像補(bǔ)全技術(shù)，旨在解決圖像修復(fù)中的真實(shí)性和場景一致性問題。該技術(shù)的核心目標(biāo)是使用少量的參考圖像來填充給定目標(biāo)圖像的缺失部分，同時(shí)盡可能保持原始場景的真實(shí)性。
RealFill的優(yōu)勢在于其能夠使用最多5張不需要與目標(biāo)圖像完全一致的參考圖像，甚至可以在視角、光線條件、相機(jī)光圈或圖像風(fēng)格等方面存在極大差異。通過對參考圖像和目標(biāo)圖像進(jìn)行微調(diào)，創(chuàng)建一個(gè)個(gè)性化的生成模型，RealFill保持了圖像的視覺先驗(yàn)，同時(shí)學(xué)習(xí)了輸入圖像的場景內(nèi)容、光照和風(fēng)格。然后，使用微調(diào)后的模型，通過標(biāo)準(zhǔn)的擴(kuò)散采樣過程來填充目標(biāo)圖像中的缺失區(qū)域。
論文鏈接:https://arxiv.org/abs/2309.16668
項(xiàng)目頁面:https://realfill.github.io/
RealFill特別關(guān)注處理具有挑戰(zhàn)性的情況，包括不同視點(diǎn)、環(huán)境條件、相機(jī)光圈、圖像風(fēng)格以及移動(dòng)的對象。實(shí)驗(yàn)結(jié)果顯示，該技術(shù)能夠生成視覺上引人入勝且與參考圖像一致的圖像內(nèi)容，即使參考圖像與目標(biāo)圖像之間存在巨大差異。
與其他基準(zhǔn)方法相比，RealFill表現(xiàn)出更高的場景保真度和與參考圖像的一致性。相比之下，其他方法如Paint-by-Example依賴于CLIP嵌入，而Stable Diffusion Inpainting則在表達(dá)能力上存在限制，無法實(shí)現(xiàn)高度的場景保真。RealFill的優(yōu)勢在于通過添加更多條件（參考圖像）來擴(kuò)展生成型圖像修復(fù)模型的表達(dá)力，提供了更好的結(jié)果。
然而，RealFill也存在一些局限性，包括處理速度較慢、在大幅度視點(diǎn)變化時(shí)無法恢復(fù)3D場景以及無法處理對基礎(chǔ)模型具有挑戰(zhàn)性的情況。盡管如此，RealFill技術(shù)為圖像修復(fù)領(lǐng)域帶來了重要的進(jìn)展，能夠生成更真實(shí)和一致的圖像內(nèi)容，為圖像處理和編輯提供了有力的工具。
在圖像修復(fù)領(lǐng)域，RealFill技術(shù)的出現(xiàn)為解決真實(shí)性和一致性的問題提供了創(chuàng)新性的方法，使圖像補(bǔ)全更加真實(shí)、高質(zhì)量。這項(xiàng)技術(shù)的應(yīng)用潛力廣泛，將為圖像處理和編輯領(lǐng)域帶來新的可能性，使我們能夠獲得更完美的圖像。
