11月13日消息，AI教母李飛飛旗下AI公司W(wǎng)orld Labs正式推出首款商用世界模型產(chǎn)品Marble。這款創(chuàng)新工具采用免費(fèi)增值與付費(fèi)相結(jié)合的模式，用戶通過(guò)文本、照片、視頻、3D布局或全景圖，即可生成可編輯、可下載的3D虛擬環(huán)境。
圖片
由Marble生成的虛擬場(chǎng)景
此次發(fā)布的生成式世界模型，距離該公司結(jié)束隱身模式并獲得2.3億美元融資僅一年有余。兩個(gè)月前，Marble曾以限量測(cè)試版形式首次亮相，如今正式版的推出標(biāo)志著World Labs在世界模型競(jìng)賽中取得重要進(jìn)展。世界模型作為一種能構(gòu)建環(huán)境內(nèi)部表征的AI系統(tǒng)，在預(yù)測(cè)未來(lái)場(chǎng)景和規(guī)劃行動(dòng)方面具有重要價(jià)值。
盡管市場(chǎng)上已有Decart、Odyssey等初創(chuàng)公司推出免費(fèi)演示版，谷歌的Genie模型也處于研究預(yù)覽階段，但Marble展現(xiàn)出獨(dú)特優(yōu)勢(shì)。與同類產(chǎn)品不同，Marble專注于創(chuàng)建持久化、可下載的3D環(huán)境，而非實(shí)時(shí)生成虛擬世界。這種技術(shù)路徑不僅能有效減少場(chǎng)景形變或不一致現(xiàn)象，還支持用戶將生成的世界以高斯濺射、網(wǎng)格或視頻等多種格式導(dǎo)出。
圖片
用Marble生成虛擬場(chǎng)景后可以對(duì)其進(jìn)行更多的人為更改
值得一提的是，Marble是業(yè)內(nèi)首個(gè)同時(shí)提供AI原生編輯工具和混合3D編輯器的產(chǎn)品。用戶可先勾勒空間結(jié)構(gòu)草圖，再由AI自動(dòng)填充視覺(jué)細(xì)節(jié)，實(shí)現(xiàn)創(chuàng)意與技術(shù)的完美融合。
World Labs聯(lián)合創(chuàng)始人賈斯汀·約翰遜表示："這是一個(gè)全新的3D世界生成模型類別，其性能將隨時(shí)間不斷優(yōu)化。事實(shí)上，我們已經(jīng)取得了顯著進(jìn)展。"
圖片圖：Marble的輸入和輸出過(guò)程
在2024年12月份，World Labs曾演示早期模型從單張圖像生成交互式3D場(chǎng)景的能力。雖然效果令人印象深刻，但當(dāng)時(shí)生成的場(chǎng)景仍顯卡通化，且存在移動(dòng)范圍受限和偶發(fā)性渲染錯(cuò)誤等問(wèn)題。
在實(shí)際測(cè)試中，僅憑圖像提示，Marble就能生成從游戲場(chǎng)景到真實(shí)客廳復(fù)刻的多種虛擬環(huán)境。盡管測(cè)試版在場(chǎng)景邊緣處理上仍有瑕疵，但據(jù)稱正式版已對(duì)此進(jìn)行優(yōu)化。有趣的是，測(cè)試期間使用單一提示生成的世界，在視覺(jué)效果和意圖匹配度上反而優(yōu)于當(dāng)前版本。
約翰遜表示，雖然編輯功能尚未經(jīng)過(guò)全面測(cè)試，但其已具備支持游戲開(kāi)發(fā)、視覺(jué)特效和虛擬現(xiàn)實(shí)項(xiàng)目的實(shí)用價(jià)值。
"創(chuàng)意控制是Marble未來(lái)的核心發(fā)展方向，"約翰遜強(qiáng)調(diào)，"我們既要保持快速生成的便捷性，也要賦予用戶深度掌控創(chuàng)作細(xì)節(jié)的能力。我們不希望機(jī)器完全接管創(chuàng)作過(guò)程，剝奪用戶的創(chuàng)造力。"
在創(chuàng)意控制方面，Marble展現(xiàn)出多重創(chuàng)新：
● 輸入靈活性顯著提升，從測(cè)試版的單圖像支持?jǐn)U展到正式版的多圖像和短視頻輸入
● 新增實(shí)驗(yàn)性3D編輯器Chisel，支持用戶通過(guò)文本提示定義粗略空間布局的視覺(jué)風(fēng)格
● 采用結(jié)構(gòu)-樣式分離的生成邏輯，類似HTML與CSS的協(xié)作方式
● 支持直接操控3D物體，實(shí)現(xiàn)真正的交互式編輯
約翰遜稱："用戶可以直接移動(dòng)代表沙發(fā)的3D方塊，隨意調(diào)整其位置。"
圖片