極客號(hào)（Daydx.com）9月5日 消息:高斯繪畫(huà)器是一個(gè)使用三維高斯斑點(diǎn)繪制圖像的框架。它基于高斯斑點(diǎn)渲染技術(shù)，可以以非常逼真的方式渲染和重建圖像。該項(xiàng)目提供了一個(gè)使用Python編寫(xiě)的開(kāi)源實(shí)現(xiàn)，可以用于藝術(shù)創(chuàng)作和機(jī)器學(xué)習(xí)研究。
項(xiàng)目地址:https://github.com/ReshotAI/gaussian-painters
高斯繪畫(huà)器的工作原理是，首先對(duì)目標(biāo)圖像進(jìn)行采樣，獲取圖像中的多個(gè)點(diǎn) as 初始點(diǎn)云。然后利用三維高斯分布對(duì)這些點(diǎn)進(jìn)行建模和優(yōu)化，使其逐步逼近目標(biāo)圖像。在渲染圖像時(shí)，每個(gè)高斯分布都會(huì)生成一個(gè)小的高斯斑點(diǎn)。最終通過(guò)累積所有的高斯斑點(diǎn)，可以重建出逼真的圖像。與其他基于點(diǎn)的渲染技術(shù)如NeRF相比，高斯繪畫(huà)器可以以非常細(xì)致流暢的方式渲染圖像。
該項(xiàng)目在GitHub上以開(kāi)源方式發(fā)布，包括數(shù)據(jù)集生成、模型訓(xùn)練、渲染等多個(gè)模塊。用戶可以方便地針對(duì)自己的數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)現(xiàn)將圖像轉(zhuǎn)換為高斯點(diǎn)云的過(guò)程。
功能:
從圖像生成適合模型訓(xùn)練的數(shù)據(jù)集
基于三維高斯分布對(duì)點(diǎn)進(jìn)行建模和優(yōu)化
針對(duì)圖片中的點(diǎn)生成高斯斑點(diǎn)進(jìn)行渲染
提供模型訓(xùn)練、評(píng)估和渲染的Pipeline
支持可視化繪畫(huà)過(guò)程，輸出繪畫(huà)效果的視頻
總之，高斯繪畫(huà)器是一個(gè)非常有創(chuàng)意且實(shí)用的項(xiàng)目，既可用于生成逼真圖片，也可用于探索新型的圖像生成和重建技術(shù)。它為創(chuàng)意人工智能和計(jì)算機(jī)圖形學(xué)領(lǐng)域提供了新的思路和工具。
