極客號（Daydx.com）11月1日 消息:近日，清華大學和東京大學共同發(fā)布了一項名為CustomNet的技術，該技術旨在更好地將指定物品的圖片融合到新生成的圖片中，并確保原物品的樣式和紋理細節(jié)得以還原。這項技術給SD商品圖融合帶來了一線生機。從發(fā)布的測試案例來看，還原度也相當不錯。
項目地址:https://jiangyzy.github.io/CustomNet/
CustomNet是一種新穎的對象定制方法，它明確將3D新視角合成能力納入對象定制過程中。通過整合這一能力，CustomNet能夠調(diào)整空間位置關系和視角，從而產(chǎn)生多樣化的輸出，并有效地保留對象的身份。這一技術的提出對于推動對象定制領域的發(fā)展具有重要意義。
核心功能:
零拍攝對象定制:CustomNet 提供了一種零拍攝的對象定制方法，克服了現(xiàn)有優(yōu)化和編碼方法的時間消耗問題。與優(yōu)化方法不同，CustomNet 無需在測試時進行優(yōu)化，節(jié)省了時間和計算資源。
明確視角和位置控制:該模型引入了3D新視角合成能力，使對象定制過程中可以明確調(diào)整空間位置關系和視角，產(chǎn)生多樣的輸出，同時有效地保留了對象的身份。這為用戶提供了更多的控制權。
靈活的背景控制:CustomNet 具有精細的設計，使用戶可以通過文本描述或特定用戶定義的圖像來控制背景。這有助于克服現(xiàn)有3D新視角合成方法的局限性，使背景與對象更和諧。
復雜場景數(shù)據(jù)處理:CustomNet采用了數(shù)據(jù)集構建管道，可以更好地處理現(xiàn)實世界的對象和復雜的背景。這增強了模型的適用性，使其能夠處理更具挑戰(zhàn)性的情境。
高質(zhì)量輸出:通過以上功能，CustomNet確保了對象身份的完整性，并生成多樣、和諧的個性化輸出。這使它在識別保持、視角控制和圖像和諧方面具有卓越能力。
CustomNet 是一款強大的文本到圖像生成模型，為用戶提供了多方面的控制，使他們能夠創(chuàng)建個性化的圖像，同時保持圖像的身份。這對于多種應用，如廣告、創(chuàng)意設計和虛擬世界創(chuàng)建都具有潛力。
