NeRF 神經輻射場 / Gaussian Splatting 高斯潑濺
















NeRF 神經輻射場 / Gaussian Splatting 高斯潑濺

這完全不是人類的語言,高斯我懂,潑濺我懂,但高斯潑濺是...???

聽起來像是科幻小說,不過其實這就是已經非常成熟的Photogrammetry技術的AI版本;在AI崛起之前,我們做三維重建需要許多工作,包括對一個目標拍攝數百張照片 (我在許多博物館做過這件事情,都需要跟警衛解釋我到底在幹嘛,還得要端出我最頭等的微笑,讓他們相信我不會對名畫潑漆,或想炸掉米開朗基羅的聖殤)

註:都發生過,就是有這種神經病,比神經網絡還要神經

每一張照片跟前一張要有30%的重疊部份,以便軟體識別;不能有高光反射(例如一部新車)、不能是太薄的物體(例如一片花瓣)

但在機器學習導入之後,這個過程簡化了許多,現在拍攝的照片可以大幅減少,AI能判斷出中間的角度空隙,事物應該是怎麼樣的,也由於它不是傳統的點線面重建方式,所以能夠描述出一朵蒲公英或是只剩下葉脈的樹葉這樣細緻美麗的物件

現在最期待的,就是NeRF的進階,Google已經有了研究成果的NeRF in the Wild,無約束照片集的神經輻射場,不需要再是「同一批」照片,神經網絡將能看出這張夕陽時刻照片中的主體,就是那張白天照片中的特雷維噴泉,並將它們匹配,從而生成3D模型。

週末的早晨

空拍基地三維重建

國立台灣博物館-古生物館

留言