當前位置:編程學習大全網 - 源碼下載 - Nerf源代碼分析

Nerf源代碼分析

愛自拍的女生,拍壹張漂亮的照片總是需要很長時間,只為找到最美的角度。

比如這個妹子在書架前拍了四張自拍,她都不滿意。

現在我可以把選最美角度的事交給艾了,讓姐姐不再苦惱。只要有幾張照片,它就能生成各種角度的自拍。

然後,妳可以在AI生成的視頻中找到最美的角度,分享到朋友圈。

這個人工智能是由華盛頓大學和谷歌聯合開發的。

這種方法不需要太復雜的設備,只需要智能手機的攝像頭和CPU就可以完成計算和渲染。這比iPhone 12 Pro使用內置激光雷達生成3D圖像的成本要低很多。

看到nerfies這個名字有沒有似曾相識的感覺?Nerfies其實是nerf+self的組合。

NeRF(神經輻射場)是谷歌最近開發的壹種將2D圖像轉換為3D的模型,但NeRF要求主體在整個過程中保持完全靜止。

比如上面這個女生拍四張照片的時候,頭部姿勢必然會發生變化。如果直接應用NeRF,效果會很可怕。

Nerfies是壹個可變形的NeRF,可以用非剛性變形來重建場景。

在NeRF的基礎上,作者從幾何和物理模擬原理出發,提出了NeRF的彈性正則化,進壹步提高了2D對三維轉換的魯棒性。

在可變NeRF中,作者引入了彈性正則化、背景正則化和局部最小退火技術來避免不良影響。

作者將潛在變形代碼(ω)和外觀代碼(ψ)與每幅圖像相關聯。在觀測坐標系中跟蹤相機光線,利用變形場將樣本沿光線轉換到標準坐標系,變形場由變形碼ω編碼為MLP。

此外,轉換後的樣本位置(x0,y0,z0)、觀察方向(θ,φ)和外觀代碼ψ作為MLP查詢模板NeRF模塊的輸入,樣本沿光線進行積分。

可變NeRF不僅可以用來自拍,還可以有更多好玩的用途。

例如,創建希區柯克變焦效果過去需要特殊的攝影技巧,或者通過從遠及近拍攝視頻,然後進行後期處理。現在只要幾張照片就可以了。

如果不需要場景角度的變化,而是人物姿態的變化呢?

可變NeRF可以在頭部左右之間線性插入任意姿勢的照片。

最後,另壹個目的是生成防抖視頻。既然變量NeRF可以生成任意角度的圖像,那麽現在妳可以讓手負責抖動,讓它負責穩定。

目前作者還沒有公布源代碼,但是他們已經把GitHub的按鈕放在了他們項目的主頁上。看來他們準備開源了。妳渴望試壹試嗎?

項目地址:

/事件/2571160736900

  • 上一篇:期貨保證金的固定保證金
  • 下一篇:來源故事
  • copyright 2024編程學習大全網