编辑导读:虚拟现实技术是20世纪发展起来的一项全新的实用技术。随着社会生产力和科学技术的不断发展,各行各业对VR技术的要求越来越高。VR技术也取得了长足的进步,逐渐成为一个新的科技领域。如果你想成为一个通用的VR视频播放器,你需要了解13种VR视频模式以及用户和制作者的倾向。在这篇文章中,作者为我们分享了他的想法和分析。
通常在手机和电脑上看视频通常是长方形的屏幕,大部分都是长宽比的变化。偶尔去电影院看电影,大部分人都会接触到3D视频。随着对VR的探索,我发现VR中其实有13种视频模式。
所以要做一个通用的VR视频播放器,必须知道两个问题:13种VR视频模式是什么?用户和内容制作者更喜欢哪个?以下是我的总结和思考。
# 1.VR视频模式的分类。
# #1\. 像素排布形状
(1)矩形
通常我们在手机上看的视频都是呈长方形分布的。电影通常长宽比为21: 9,手机屏幕通常设计为16: 9的长宽比。这些视频像素形状的排列模式称为矩形。
(2)全景
要完全沉浸在VR视频中,需要从各个方向显示内容,视频的像素会排列成球形,让人可以看到全景视频,或者360度视频。
(3)半景
VR视频中也有180度的视频,像素实际上排列成半球形,所以被称为180度视频或半视角视频。
(4)鱼眼
180度只是一个半球,360度只是一个全景,但我们眼睛的视觉范围并不规则。全身静止,眼球静止。
就是一个视线范围,眼球旋转得到更宽的视线范围,加上头部旋转得到更宽的视线范围,再加上身体旋转就可以实现整个场景。
因此,不规则半视图和全景视图之间的球形视频排列的集合称为鱼眼排列。
# #2\. 维度分类
(1)2D
当视频只有一个视角时,或者当我们的眼睛看到同样的画面时。这个视频是2D的,实际感觉是视频没有什么深刻的变化,比如在一张纸上看视频,都是2D的视频。
(2)3D
当视频中有两个视角,并且从左视角的内容被精确地传输到左眼,从右视角的内容被传输到右眼时,由于视角的不同,两只眼睛之间有大约6.5厘米的距离差,使得眼睛在定位物体时有空间距离。也就是说,视频深入的时候,不像是在看一张纸的内容,更像是穿过一扇窗户。
(3)VR视频模式的8个大类
# 2.VR视频模式细分。
根据上面的分类,我们得到了八大类理论,但实际上在内容生产、技术演进和用户消费上有很多细分和调整。
# #1\. 3D视频演进史简述
(1)红蓝3d时代
当人们发现只要给左右眼对应的图片,就能呈现出3d立体画面。根据光的传输特性,红、绿、蓝可以组成所有的颜色,而红光不能通过红透镜和蓝光。
无法穿过蓝色透镜。因此在同一个画面中投放用不同颜色代表不同角度的画面,用户带上红蓝透镜的眼镜,就能看到立体的画面,但是人们也发现通过透镜的光,亮度损失和色彩损失都比较大,这个技术很快被取代。(2)偏振式3d影院时代
光子有波粒二象性,对于一个向‘法向量’发射的光,从垂直于法向量的平面上来看,可能是上下左右各个角度的摆动。根据光的粒子性,假设通过特殊光栅结构一台投影机,只发射上下波动的光子,另一台投影机发射左右波动的光子。那么不同摄像机发射不同角度的画面。用户带上偏振式眼镜就可以看到不同的画面了。
(3)偏振式3d流媒体时代
早期偏振式影视是要两个文件的,分别对应左眼、右眼。后来慢慢电影资源开始流转到用户的电脑播放,两个文件同时传输播放技术操作很不方便。于是就有了2种解决方案:图像循环播放
1帧左眼 – 1帧右眼。或者假设16:9的视频文件,左眼的图像横向挤压成8:9的放左边,右眼的图像横向挤压成8:9的放右边,整体还是16:9
,播放的时候分别还原左右眼图像(上下排布同理)。
在普通用户看来,后一种方法明显不打开3d模式就知道是3D的,所以普及的更快速。
(4)左右3dvr盒子时代
以前的方式都要佩戴眼镜,16年左右vr盒子出现了。因为距离眼镜非常近,所以直接可以控制左眼和右眼看到不同的内容。所以手机播放的画面也不再是畸变的,慢慢的3D资源也开始变成非畸变的左右视频,但泡沫过后手机盒子很少看到了。
## 2\. 360全景视频演进史简述
(1)怎样制作全景画面呢?
(2)多角度拼接法-瓷砖贴球
在没有专用3d相机且摄影设备还不发达的时候,通过固定位置多个角度拍摄大量的照片,然后像给球贴瓷砖一样进行拼接就实现了全景图像。
(3)半球面畸变法-凹凸镜
后来很快就发明了鱼眼摄像机,也就是像凹凸镜一样可以拍摄广角镜像,最后二维上呈现一个圆形畸变图片。这样只需要几张图就能实现拼接。但是球形图对于影视后期制作非常不方便。
(4)正方体拟合法-正方盒子
cube拟合就是一个正方体有6个面可以形成一个方形空间,在通过播放器进行拼接优化接缝,就能实现全景图像。这样的图像对于后期制作要有好的多。而且摄影机六镜头方案也很容易形成标准,有利于形成市场。立方体的6个面展开图,可以呈现T型或者横T型,很容易切割成2块,视频存储到一个画面,一个放上面一个放下面即可,十分方便清晰。
(5)腰鼓畸变法-世界地图
六边形毕竟还是有很多90度直角,像素点分布不均衡。随着技术的发展,鱼眼镜头开始能拍摄大于180度的画面。所以像世界地图一样展开画面,顶部底部会延展性形变,而中间部分则没什么形变,而这一部分往往是视频关注的核心。亚洲版世界地图看到的俄罗斯超级大,而实际没有那么大。
当全景图以平面的方式呈现的时候。距离眼睛近的物体占视角多,就会显得特别大。拍摄站立的全身人像优点像橄榄球,就是腰鼓畸变。
# 三、VR视频全13种模式简介
## 1\. 矩形2D
就是我们平时看的手机视频,是最多最广泛的视频模式。
## 2\. 矩形3D – 偏振式上下排列
偏振技术成熟度高,影视普遍是21:9的,上下压缩信息可读性下降厉害,这种排列方式比较少见。
## 3\. 矩形3D – 偏振式左右排列
六年前应该是非常常见的,有很多那时候的电影都流传出了这种版本,不少人都有备份。
## 4\. 矩形3D – 左右3d排列
四年前手机vr盒子的兴起,用户手里开始流传一部分这种资源,又因为近些年流媒体更成熟,所以有很多这样的3d影视资源。毕竟10元的手机盒子,总是还有一些小朋友好奇试试,所以b站上也流传很多。
## 5\. 360全景2D – 立方体拟合法A型
因为当年全景视频在海外技术积累更加平滑,所以有不少4年前的全景视频都是采用的这种技术。但同时因为当年拍摄像素质量不高,现在少人问津了。当把立方体6个面分成2份后,一份放上面,另一份放下面,因为谁上谁下却没有优劣可言。所以两种方式并列发展,孪生兄弟,用AB来进行区分。
## 6\. 360全景2D – 立方体拟合法B型
见A型描述。
## 7\. 360全景2D – 腰鼓畸变
近3年鱼眼镜头和智能拼接算法
都在进步,所以人们开始更加关注视频的后期制作。腰鼓式畸变对于后期制作人员更加友好,逐渐统一了市场,现在基本都是腰鼓畸变,是最为流行的VR全景视频模式。
## 8\. 360全景3D – 腰鼓畸变偏振式上下排列
现在使用最广的显示器还是1080P,2k和4k逐渐普及。在技术基础视频压缩编码,视频传输带宽,软件播放算力等诸多情况下,国内刚刚开始普及4k,海外主要普及8k。而仅仅360度全景2D视频就需要12k到16k的分辨率才能基本满足“可以看”的水平。
3D还要在这个基础上分辨率翻倍,现阶段基本不可能,所以几乎没有此类视频资源。
## 9\. 180半景2D – 腰鼓畸变
因为人眼在不摆头的情况下视野范围几乎看不到背面,同时人眼一般只能聚焦于约20°范围角的事物上。在VR视频对于分辨率极高的要求下,180半景视频似乎可以替代矩形2D,成为最通用的VR视频模式。
但实际上VR用户群体还比较少,绝大部分人使用vr就想用完全沉浸满足一下好奇心,也就使得内容制作人员精力放在了360全景视频创作,这也导致全景相机制造商在本就不大的市场上,逐渐放弃了对180度的支持。形成恶性循环,所以当前影视资源很少。
## 10\. 180半景3D – 腰鼓畸变偏振式左右排列
因为矩形3d中偏振式左右的接纳程度和技术使用最多,并且现有的绝大部分视频都是扁矩形。180半景2D在二维屏幕上表现出来是个长宽比1:1的样子,180半景3D表现成了左右并列的样子。(没有矩形中的横向压缩畸变)结合对于180半景2D的分析,半景3D近乎完全保证了沉浸感的同时,将视频制作、传输、存储、播放的使用效率最大化。
如果有人沉下心来做这种视频的作品,2-3年后绝对是顶流,但目前只有海外二次元MMD一个极小圈子在玩这东西。
特别提示:B站搜索“玩vr的李康康”可以看到我以前搬运的一些这种视频,4K分辨率下,效果非常不错。
## 11\. 180半景3D – 腰鼓畸变偏振式上下排列
一般都是左右排列,采用上下排列的极少。
## 12\. 鱼眼2D – 凹凸镜
因为视频内容没有人规范,导致可视角变化非常多,播放器无从适配,也就没有用户,恶性循环。但专业影视团队拍摄中,要使用鱼眼镜头,会拍出这种画面,和普通消费者目前关系不大。
## 13\. 鱼眼3D – 凹凸镜左右3d排列
极少,理由同上。
关于VR视频相关的内容,网上的资料非常零碎。整理这些内容我不仅是我在各个视频内容网站的搜罗记录。还有关于全景画面形成方式的学习,3D视频处理技术的探索,还有某全景相机公司大佬对当前市场表现的讲解等等。
本文由 @九棱镜 原创发布于人人都是产品经理。未经许可,禁止转载
题图来自Unsplash,基于CC0协议