真的是被 Sora 嚇醒,看了整個早上。目前 Sora 有幾個強大的突破:
1. 生成影片非常穩定,不會抖動扭曲
2. 具備 3D 運鏡能力,可以像空拍機一樣在空間穿梭
3. 角色特徵穩定,不會突然變臉
4. 可以自然切換鏡位。不只生成片段,還會切到不同角度
OpenAI 的技術報告裡提到,除了文字生成影片(text-to-video),Sora 還有以下能力:
1. 輸入圖片,變成會動的影片
2. 輸入影片,生成、補完剩餘部分
3. 編輯原影片的場景與風格
4. 混合兩支影片(如下方從空拍切換到海底蝴蝶)
其中第 2 個能力,只要把一小段影片放在頭尾,讓 Sora 生成中間的部分,就可以做出無限輪播的影片(可見下方的單車影片)
目前 Sora 還有一些限制,比如無法精準模擬物理定律(如:籃球穿越籃框),無法理解因果(如:咬了一口餅乾,但餅乾沒有變少),左右不分,憑空冒出不存在的物體
技術報告:https://t.co/ZmvLIFtJ8w