比如這個妹子在書架前拍了四張自拍,她都不滿意。
現在我可以把選最美角度的事交給艾了,讓姐姐不再苦惱。只要有幾張照片,它就能生成各種角度的自拍。
然後,妳可以在AI生成的視頻中找到最美的角度,分享到朋友圈。
這個人工智能是由華盛頓大學和谷歌聯合開發的。
這種方法不需要太復雜的設備,只需要智能手機的攝像頭和CPU就可以完成計算和渲染。這比iPhone 12 Pro使用內置激光雷達生成3D圖像的成本要低很多。
看到nerfies這個名字有沒有似曾相識的感覺?Nerfies其實是nerf+self的組合。
NeRF(神經輻射場)是谷歌最近開發的壹種將2D圖像轉換為3D的模型,但NeRF要求主體在整個過程中保持完全靜止。
比如上面這個女生拍四張照片的時候,頭部姿勢必然會發生變化。如果直接應用NeRF,效果會很可怕。
Nerfies是壹個可變形的NeRF,可以用非剛性變形來重建場景。
在NeRF的基礎上,作者從幾何和物理模擬原理出發,提出了NeRF的彈性正則化,進壹步提高了2D對三維轉換的魯棒性。
在可變NeRF中,作者引入了彈性正則化、背景正則化和局部最小退火技術來避免不良影響。
作者將潛在變形代碼(ω)和外觀代碼(ψ)與每幅圖像相關聯。在觀測坐標系中跟蹤相機光線,利用變形場將樣本沿光線轉換到標準坐標系,變形場由變形碼ω編碼為MLP。
此外,轉換後的樣本位置(x0,y0,z0)、觀察方向(θ,φ)和外觀代碼ψ作為MLP查詢模板NeRF模塊的輸入,樣本沿光線進行積分。
可變NeRF不僅可以用來自拍,還可以有更多好玩的用途。
例如,創建希區柯克變焦效果過去需要特殊的攝影技巧,或者通過從遠及近拍攝視頻,然後進行後期處理。現在只要幾張照片就可以了。
如果不需要場景角度的變化,而是人物姿態的變化呢?
可變NeRF可以在頭部左右之間線性插入任意姿勢的照片。
最後,另壹個目的是生成防抖視頻。既然變量NeRF可以生成任意角度的圖像,那麽現在妳可以讓手負責抖動,讓它負責穩定。
目前作者還沒有公布源代碼,但是他們已經把GitHub的按鈕放在了他們項目的主頁上。看來他們準備開源了。妳渴望試壹試嗎?
項目地址:
/事件/2571160736900