谷歌 Jump 是谷歌在 2015 年推出的虛擬現實視頻制作平臺,由一個開放設計的相機設備、一個可以把原始畫面變成虛擬現實視頻的匯編程序和視頻播放平臺組成。近期,谷歌發表了一篇題為“Jump:VR視頻”的研究論文,論文中谷歌分享了自己的學習成果,同時VR科技網還了解到,谷歌還將在 12 月份舉辦的 SIGGRAPH 亞洲會議上帶來該論文的主題演講。SIGGRAPH 是計算機圖形學(CG)最權威的國際性重量級盛會,也是迄今為止世界上影響最廣、規模最大,也是最權威的集科學、技術、藝術、商業與一身的 CG 展示和學術會議。
谷歌 Jump 是谷歌在 2015 年推出的虛擬現實視頻制作平臺,由一個開放設計的相機設備、一個可以把原始畫面變成虛擬現實視頻的匯編程序和視頻播放平臺組成。近期,谷歌發表了一篇題為“Jump:VR視頻”的研究論文,論文中谷歌分享了自己的學習成果,同時VR科技網還了解到,谷歌還將在 12 月份舉辦的 SIGGRAPH 亞洲會議上帶來該論文的主題演講。SIGGRAPH 是計算機圖形學(CG)最權威的國際性重量級盛會,也是迄今為止世界上影響最廣、規模最大,也是最權威的集科學、技術、藝術、商業與一身的 CG 展示和學術會議。
針對 Jump,谷歌創建了全向立體視頻系統(ODS),ODS 可以提供一個 360 度和 3D 立體的無縫拼接投影,允許用戶以任意方向觀看。此外,ODS 還可以采用傳統視頻格式進行存儲,以便后期制作和使用普通播放器播放影片。盡管 ODS 投影模型已經存在一段時間,但是使用 ODS 制作 VR 視頻仍然面臨很多挑戰。
首先,ODS 最初并不是針對虛擬現實而設計的。而當戴上虛擬現實頭顯播放視頻時會出現圖像失真,這會導致我們的大腦很難對左右眼睛看到的圖像進行合成。谷歌對這些失真進行仔細分析,確定距離和視角的實際極限,以此確保為用戶帶來一個舒適的觀影體驗。
其次,目前也沒有可用來制作 ODS 視頻的現成系統。谷歌通過仔細分析所需的攝像頭數量,視場角和設備的大小等參數之后,最終確定了 Jump 的最終組合形態(16個攝像頭是最佳設計)。GoPro Odyssey 的設計也是采用這種分析方案。當然,該方案首先是應用于 Jump。
最后,在多攝像頭的情況下進行無縫拼接視頻是極具挑戰的。為此,谷歌開發了一個算法,可以自動無縫拼接高質量的 ODS 視頻。而這個算法的核心就是 Jump Assembler 匯編程序,它可以進行數百萬的幀處理。
以下是一些關于 Jump Assembler 工作原理的動態演示:
Jump
當用戶的頭部以任意方向觀影時,ODS 投影在接近用戶視野處生成一個虛擬馬賽克,從而提供一個 360 的視頻體驗
Jump
部分 ODS 投影可通過 Jump 的攝像頭進行捕捉,而捕捉到的這部分影像通過“視圖插值”算法來進行合成
來源:VRsat