極客號（Daydx.com）8月14日 消息:蘋果公司和哥倫比亞大學(xué)的AI研究人員提出了一種新型的AI框架，可以讓一張照片生成3D模型時擁有真實的光線。該框架結(jié)合了物理光照模型和神經(jīng)體積渲染技術(shù)，通過使用球面諧波將光照和渲染過程解耦，實現(xiàn)了更逼真的圖像生成。該方法在三個數(shù)據(jù)集上進行了測試，并取得了領(lǐng)先的 FID 分?jǐn)?shù)，被認(rèn)為是3D 感知生成模型的最新進展。
FaceLit 通過神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對人臉的三維重光，使用戶能夠根據(jù)不同光照條件下的重光效果對人臉進行操作和編輯。
該框架提供了訓(xùn)練和測試 FaceLit 模型的代碼和數(shù)據(jù)集，以及預(yù)訓(xùn)練的模型和演示視頻。用戶可以根據(jù)提供的指南設(shè)置環(huán)境并使用預(yù)訓(xùn)練模型進行演示。如果需要，用戶也可以使用提供的代碼和數(shù)據(jù)集進行自定義訓(xùn)練。
項目地址:https://github.com/apple/ml-facelit
特點:
– 三維重光技術(shù):FaceLit 利用神經(jīng)網(wǎng)絡(luò)實現(xiàn)了對人臉的三維重光，使用戶可以根據(jù)不同光照條件下的重光效果進行編輯和操作。
– 靈活的編輯功能:用戶可以使用 FaceLit 對人臉進行靈活的編輯，包括調(diào)整光照條件、改變光照角度和強度等。
– 高質(zhì)量的重光效果:FaceLit 通過神經(jīng)網(wǎng)絡(luò)模型生成的重光效果具有高質(zhì)量和真實感，可以滿足用戶對真實光照效果的要求。
– 可定制化的訓(xùn)練和測試:FaceLit 提供了代碼和數(shù)據(jù)集，用戶可以根據(jù)自己的需求進行訓(xùn)練和測試，并根據(jù)需要進行調(diào)整和改進。
– 開源共享:FaceLit 是一個開源項目，用戶可以自由獲取和使用其中的代碼和模型，并根據(jù)需要進行二次開發(fā)和應(yīng)用。
通過 FaceLit，用戶可以獲得高質(zhì)量的人臉三維重光效果，并在不同光照條件下進行靈活的編輯和操作，為人臉圖像處理和應(yīng)用提供了新的可能性。
