該團隊在去年6月5438+2月接受《麻省理工科技評論》采訪時表示:“我們認為這種方法不僅可以為人們提供欣賞照片並與之互動的新方式，還可以帶來基於單壹圖像重建虛擬化身的新方式，甚至可以從單壹照片中了解人類藝術建模的真實狀態。”
事實上，基於2D圖像重建3D模型的想法並不新鮮。早在十多年前，吳恩達領導的斯坦福三維重建團隊就研究過這個課題。但新興的解決方案比以往任何時候都更強大(或者說需求更迫切)，而且與當前青年VR、AR行業的內容供給問題息息相關。
到目前為止，大多數用於VR和AR內容的3D模型仍然由3D藝術家手工創建，這是壹項耗時、昂貴且不可擴展的工作。另外，行業內人才還是比較短缺的，這個問題並不能隨著規模的擴大而緩解。正因為如此，以Sketchfab為代表的各類3D回購受到廣泛歡迎，藝術家可以在這裏發布、分享、發現、買賣各類3D、VR、AR內容。
盡管如此，創作者群體仍然渴望擺脫對人類勞動的依賴，希望從那些提供自動化能力的工具中獲得更理想的收益。具體來說，這些工具必須能夠創造捷徑和“訣竅”，從而大大加快和改善創作過程。
對此，Trnio創始人兼首席執行官Jan-Michael Trssler表示:“對於壹個真正沈浸式的世界，最好的內容創作者需要使用大量的技術和軟件來創造真實的元素。我見過很多藝術家用攝影來測量和捕捉物體，然後以此作為創作3D模型的起點。接下來，藝術家將簡化和優化資產元素，使其能夠在AR/VR引擎中發揮作用。”
如今，以攝影測量和體捕獲為代表的三維掃描技術在輸出質量和縮短三維模型生產周期方面不斷發展，使得現實世界越來越容易成為三維模型制作的直接來源。這種技術可以幫助當前的創作者，甚至是任何對此感興趣的新人，或者還在猶豫的潛在參與者，更容易地完成他們腦海中勾勒的形象。
新奧爾良Scandy的創始人兼總裁查爾斯·卡裏埃爾(Charles Carriere)指出:“我們認為，大多數內容創作者實際上並沒有探索3D內容，因為他們缺乏這樣的工具。事實上，幾乎所有正在創作的內容現在都以2D的形式存在，因為每個人都可以很容易地訪問和使用2D工具——其中最重要的是手機攝像頭。只要能夠為這些極具創造力的Snapchat、Instagram和YouTube牛提供平臺和工具來創建3D模型，高質量的3D內容就會爆發式增長，吸引更多的消費者。”
基於過去的實際情況，這樣的期望顯然是非常不現實的。然而，照片喚醒等3D重建技術的出現突然使2D圖像、資產甚至資源庫成為取之不盡的材料來源。3D模型幾乎可以自動生成，並快速應用於沈浸式體驗場景。事實上，這項技術不僅使整個行業迎頭趕上，而且有望在沈浸式領域引發寒武紀般的生命大爆發。
著眼當下，AR零售和購物領域將成為第壹個重要的灘頭陣地。壹個由蘋果、臉書、PayPal校友和多名斯坦福大學博士組成的資深企業家團隊，日前作為Threedy.ai公司的參與者集體亮相。Threedy.ai是壹家深度科技初創企業，專門解決3D內容供給問題。
Threedy.ai聯合創始人兼首席執行官尼瑪·薩沙爾(Nima Sarshar)解釋道，“妳可以認為創造這些產品的廠商壹定有相應的3D模型材料，但事實告訴我們，雖然有相關的CAD文件，相關廠商也願意將其公開，生成3D網格，但他們缺乏相應的紋理或材料。此外，也沒有壹個統壹的AR模型創建工作流程，可以消化六大CAD供應商的具體工具和超過14的文件格式。整個制造業都在以大量外包的方式處理手工紋理包裝。”
例如，Houzz AR應用程序允許用戶根據尺寸和顏色等指標查看房間內的家具。挑戰在於，所有先進的AR購物應用，包括Houzz、Wayfair和Overstock，都只有壹小部分3D模型庫存。具體來說，Houzz擁有的3D模型只占所有餐廳家具類別的3%。
Sarshar解釋道，“我們的目標是成為商業產品3D模型領域的Getty Images網站。妳可以想象壹下，未來可能亞馬遜目錄裏的每壹件商品都有對應的3D模型，這個資源庫會有多大。”
他們的第壹款產品是Threedy Convert，可以通過特殊的計算幾何和深度學習算法，將家居產品和家具的普通2D照片自動轉換為高質量的3D模型。這項技術可以批量應用於不斷增長的產品類別，通常只需要壹張產品照片，整個實現成本比現有解決方案便宜近兩個數量級。
Sarshar指出:“雖然掃描可以提供更高的質量，但整個過程仍然非常枯燥和昂貴。另外，從高多邊形掃描結果到適合XR的低多邊形模型的轉換也絕非易事。還有壹個重要的問題。對於大多數電商網站來說，根本沒有對應的實物，只有數量有限的非結構化產品照片。”
這種從低維材料入手，幫助構建高維材料的方法，既讓人驚喜，也壹定會受到市場的熱烈追捧。這種技術不是短期可行的補救措施，而是代表了壹種全新的內容轉換渠道。隨著VR和AR行業的不斷發展變化，這些內容有望在合適的時機向普通大眾全面推送渲染體驗——我樂觀地認為這壹切可能在今年內發生。