當前位置:編程學習大全網 - 源碼下載 - 壹、3D人臉重建基礎梳理

壹、3D人臉重建基礎梳理

針對3D人臉重建算法的研究從上個世紀就有學者開始研究,目前基礎的方法有如下幾類:

1.基於3DMM(3D morphable model三維人臉形變統計模型)的方法

3DMM最早由Thomas Vetter等人在文章“ A morphable model for the synthesis of 3D faces ”中提出,至今很多人臉重建方法都是在這篇文章的基礎上發展而來,加上深度學習方法的出現,對於模型參數的求解又給出了更多的方法,在接下來的文章中,會詳細介紹這壹方法。

2.基於SFM(Structure from Motion由運動到結構)的方法 。

在Richard Szeliski所著的《Computer Vision: Algorithms and Applications》壹書中,在第七章專門對這個方法進行了闡述,通常意義下的的SFM是根據給出的幾幅圖像及其圖像特征的壹個稀疏對應集合,估計3D點的位置。求解過程通常涉及3D幾何結構和攝像機姿態(運動)的同時估計,後續會對這壹方法做詳細說明。

3.基於XFS(由X到形狀,例由陰影到形狀、由紋理到形狀、由聚焦到形狀)也是常用的從二維恢復三維的方法。

由陰影到形狀 (SFS),是光滑物體表面法向量改變,從而使得入射光在物體表面的亮度發生變化,而體現出物體的形狀。亮度變化是局部表面方向和入射光夾角的函數。

3D Face Reconstruction from a Single Image Using a Single Reference Face Shape

在大部分SFS方法中,都假設所考慮表面具有均勻反照率和反射率,且光源的方向要麽已知,要麽可以使用參考目標標假設定得到。在假設光源和觀察者都在遠處的前提下,亮度的變化(輻照度方程)變成單純的局部表面方向的函數,

, (1.1)

例如壹個漫反射(朗伯,Lambertian)表面的反射圖是表面法向 和光源方向 的非負點積,

, (1.2)

為表面反照率因子。

其中公式(1.1和1.2)可使用非線性最小二乘或其他方法估計,常用約束是光滑性約束和可積分性約束。

而往往壹個實際物體表面很少具有壹個統壹的反照率,因此SFS方法需要配合其他方法(例如立體視覺匹配和已知紋理)才能變得有用。立體視覺和紋理成分可以提供紋理區域的信息,而由陰影到形狀則填補了具有均勻顏色的區域的信息而且可以提供關於表面形狀更精確的信息。

光度測量立體視覺

使用多個可以選擇性開關的光源(用三色光源可替代開關光源),此時光源在傳統立體視覺中不同位置的攝像機的作用。對每個光源,我們有壹個不同的反射圖。對於漫反射表面,如果用 參數化局部方向,我們可以對非陰影像素得到壹組如下形式的線性方程

?(1.3)

利用線性最小二乘可以恢復 。只要(三個或三個以上)向量 是線性無關的,即它們不在同壹個方位角,這些方程是適定的。

4.基於體素(voxel)方法

Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression

5.基於二維圖像表示法

隨著深度學習方法的廣泛使用,許多文章提出將三維形狀映射到二維圖像表示,從而構造從二維圖片重建三維形狀的方法。例如,

PNCC:? Face Alignment Across Large Poses: A 3D Solution

UV-map:? Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network

歡迎各位提出修改意見進行指正

  • 上一篇:簡單的植樹源代碼
  • 下一篇:Libevent核心源代碼
  • copyright 2024編程學習大全網