愛自拍的女生,為了拍壹張美照總是需要很久,就是為了找到最美的角度。
比如這位妹子,在自己的書架前拍了4張自拍照,都不太滿意。
現在可以把選最美角度這件事交給AI了,讓妹子不再苦惱。只要幾張照片,它能從中生成各種角度的自拍。
然後,妳可以在AI生成的視頻裏,找到壹個自認為最美的角度,分享到朋友圈。
這個AI就是華盛頓大學和谷歌聯合開發的 nerfies 。
這種方法不需要太復雜的設備,只要智能手機的攝像頭和CPU就能完成運算和渲染。這可比iPhone 12 Pro用內置激光雷達來生成3D圖像的成本低多了。
看到nerfies這個名字是不是有種似曾相識的感覺?nerfies其實就是NeRF+Selfies兩個單詞合並而來。
NeRF (神經輻射場)是谷歌最近開發的壹種2D圖像轉3D的模型,但NeRF要求拍攝對象在整個過程保持完全靜止。
比如,上面的妹子在自拍4張照片的時候,頭部姿勢不可避免地會發生變化,如果直接套用NeRF,效果慘不忍睹。
而nerfies則是 可變性神經輻射場 (Deformable NeRF),它能夠重建非剛性變形的場景。
在NeRF的基礎上,作者從幾何和物理模擬的原理出發,提出了NeRF的彈性正則化,進壹步提高了2D轉3D的魯棒性。
在可變性NeRF中,作者引入了彈性正則化、背景正則化以及壹種可避免不良的局部最小值退火技術。
作者將潛在變形碼(ω)和外觀碼(ψ)與每個圖像關聯。在觀測幀中對攝像機光線進行追蹤,並使用變形場將樣本沿光線轉換到規範幀,變形場由變形碼ω編碼為MLP。
另外使用轉換後的樣本位置(x0,y0,z0)、觀察方向(θ,φ)和外觀碼ψ作為MLP的輸入,來查詢模板NeRF模塊,並沿著光線對樣本進行積分。
可變性NeRF不僅可以用於自拍,還有更多好玩的用途。
比如創建“希區柯克變焦”的效果,過去需要專門的攝影技巧,或者是通過由遠及近的拍攝視頻再後期處理。現在只要幾張照片就可以了。
如果不需要場景角度變化,而是需要人物姿勢變化呢?
可變性NeRF能在頭向左和向右之間線性插入任意姿勢的照片。
最後還有壹個用途是生成防抖視頻。既然可變性NeRF可以生成任意角度的圖像,那麽現在可以讓手負責抖,而讓它負責穩了。
目前作者還沒有公布源代碼,不過他們的項目主頁上已經放上了GitHub的按鈕,看來他們已經準備開源了。妳是不是迫不及待想試壹下呢?
項目地址:
/event/2571160736900