• / 46
  • 下载费用:20 金币  

华为&中国联通:VR直播白皮书

关 键 词:
华为 中国联通 VR 直播 白皮书
资源描述:
华为iLab 中国联通网络技术研究院 联合发布 VR直播白皮书 移动互联网时代 无论是文字 图片还是视频 都可以通过网络进行直播 网络直播不仅压缩了时 空 让用户能够实时观看体育赛事 重大活动和新闻 还可以添加文字聊天 送礼物等功能 将传统的 单向传输转换为双向互动 增加了直播的趣味性 但临场感的缺乏 交互的单一性是传统2D直播最大 的不足 而VR直播技术的产生解决了这一问题 促使用户直播体验再上新台阶 VR直播已经广泛应用于体育赛事 热点新闻 演唱会 发布会等场景 通过VR技术进行直播 能 给用户带来无与伦比的沉浸感 让用户感觉宛如在现场一般 VR直播相对于平面2D视频 对网络带宽 需求更大 但受限于网络带宽成本因素 许多VR直播平台会将传输码率压缩以降低成本 带来的后果 就是给用户不清晰 眩晕的感受 体验大打折扣 加上VR直播体验形式的单一 只能进行被动式的观 看 缺少互动 使得体验枯燥无味 但随着云计算 5G以及千兆宽带网络的快速发展 VR直播技术的 改进 社交元素的融入 将大幅提升VR直播体验 为VR直播的商业化落地提供了可行性 本白皮书将从VR直播应用场景和体验入手阐述VR直播关键技术 平台方案及网络方案 并结合 VR直播实践案例对商业模式给出建议 促进VR直播产业发展 丰富VR内容供给 本白皮书由华为技术有限公司与中国联通网络技术研究院联合撰写发布 在撰写过程中的有关内容 得到了中国联合网络通信有限公司山东省分公司 北京兰亭数字科技有限公司 银河威尔科技 北京 有限公司 广州我趣网络科技有限公司等伙伴的专业支持 在此表示感谢 VR直播方案 2 1 VR直播整体方案 2 2 VR直播关键技术 2 2 1 内容采集 2 2 2 视频拼接 2 2 3 编码推流 2 2 4 内容分发 2 2 5 视频传输 2 3 VR直播平台方案 2 3 1 VR直播平台功能要求 2 3 2 VR直播平台技术指标 2 4 VR直播网络方案 2 4 1 VR直播网络需求 2 4 2 千兆宽带与5G助力VR直播普及 2 4 3 VR直播网络解决方案 VR直播概述 1 1 什么是VR直播 1 2 VR直播优势及发展前景 1 2 1 VR直播带动直播体验升级 1 2 2 VR直播是丰富VR内容的利器 1 2 3 VR直播有巨大的市场前景 1 3 VR直播应用场景 1 3 1 体育赛事 1 3 2 综艺节目 1 3 3 新闻现场 1 3 4 教育培训 1 3 5 游戏电竞 1 3 6 UGC直播 1 4 VR直播面临的挑战 1 01 前言 02 02 02 04 04 05 05 06 07 07 08 09 10 2 11 12 13 14 17 21 22 23 24 24 25 26 26 26 27 ii VR直播实践案例 3 3 央视春晚VR直播 3 3 1 项目背景 3 3 2 实施与效果 3 1 重庆国际马拉松VR直播 3 1 1 项目背景 3 1 2 实施与效果 3 2 CBA总决赛 第二现场 VR直播 3 2 1 项目背景 3 2 2 实施与效果 VR直播商业模式 4 1 VR直播产业链 4 2 VR直播商业模式构想 3 29 30 30 30 32 32 32 33 34 34 4 35 缩略语40 36 38 A VR直播概述 0101 VR直播白皮书 01 什么是VR直播 直播 即通过电台 电视台 网络平台等传播媒体对语音 文字 图片或视频等节目内容进行现场即时播出 的一种方式 可分为电台直播 电视直播和网络直播 近年来 随着计算机科学和互联网络的普及 使得网络在 线影音平台兴起 通过网络进行视频直播成为一种流行的方式 但人类对美好事物的追求从来都是永无止境的 临场感的缺乏 交互的单一性是传统平面2D直播最大的不足 而虚拟现实 VR Virtual Reality 直播技术的产 生解决了这一问题 为用户带来前所未有的沉浸感 促使用户直播体验再上新台阶 VR直播 是虚拟现实与直播技术的结合 虚拟现实简称为VR 指利用电脑模拟三维空间 提供使用关于视 觉 听觉 触觉等感官的模拟 让体验者身临其境地观察三维空间 VR直播与传统平面2D直播的差异点在于 1 提供180 或360 全景视角 沉浸感更强 2 通过近眼3D显示 使得画面更立体 更真实 3 可实现更 多交互 VR直播对设备的要求较高 普通的摄像头难以满足要求 需要使用全景拍摄设备捕捉多角度的画面 用户 通过VR直播观看可以自由选择任意角度 跳出了传统平面视频的视角框定 由体验者主动选择想观看的内容 而不是被动接受内容 具有体验逼真的沉浸感 1 2 1 VR直播带动直播体验升级 CNNIC 中国互联网络信息中心 最新发布的 第44次中国互联网络发展状况统计报告 显示 截至2019 年6月 我国网络直播用户规模达4 33亿 较2018年底增长了3646万 占网民整体的50 7 如图1 1所示 图1 1 中国网络直播用户规模发展趋势 数据来源 CNNIC 华为iLab整理 VR直播优势及发展前景 用户规模 万 用户占比 0 45 8 47 1 45 6 54 7 53 0 47 9 50 7 10 0 0 0 20 0 30 0 40 0 50 0 60 0 70 0 80 0 90 0 100 0 5000 10000 15000 20000 25000 30000 35000 40000 45000 50000 2016 6 32476 3443134259 4220942503 39676 43322 2016 122017 62017 122018 62018 122019 6 中国网络直播用户规模 VR直播白皮书02 1 1 1 2 VR直播概述 但纵观2016年6月到2019年6月的用户发展趋势来看 网络直播用户规模和占比增长没有明显的上升趋势 需要升级内容体验以吸引更多用户群体 促进直播产业的长期发展 直播内容是吸引用户观看的最主要因素 随着VR技术在直播产业的融入 对直播体验的互动性 娱乐性和现 场感带来极大的提升 一 临场感 通过VR直播拍摄技术和VR终端的近眼显示技术 用户可以获得更大视场角的临场观影体验 如图1 2所示 用户通过电视观看传统平面2D直播时 通常沙发距离与电视距离相距2 5m 3m 视场角大约 30 而且画面始终在前方 用户是被动接受内容的 而通过VR观看直播时 目前主流VR终端设备的视场角能 达到110 基本接近用户最大的视场角 且用户还可以随意转头选择自己的观看视角 从被动接受转入主动选 择 图1 2 传统平面2D观影与VR观影对比 二 真实感 VR直播叠加3D成像技术 可以给用户更接近真实世界的观影体验 看到的影像更加立体化 三 便捷性 通过头戴式VR终端观看直播 除了视觉上带来沉浸式体验外 相对于电视 PC具备移动便捷 性 相对于传统移动终端如笔记本电脑 PAD 手机等 则可解放双手 可以说是在传统多媒体显示终端基础上 又增加了一块新体验形式的屏 四 交互性 用户在进行VR直播体验过程中 还可以通过操控手柄或手势识别 体感识别等技术进行视角切 换 社交互动 有着更强的娱乐性和交互性 30 VR直播白皮书 03 110 VR直播概述 1 2 2 VR直播是丰富VR内容的利器 VR产业发展目前存在的一大问题就是VR内容数量偏少 高质量的VR视频和游戏内容更是缺乏 究其原 因 有如下几方面 1 使用拍摄剪辑制作的360 VR视频 对于固定场景的叙事性质内容 导演在设计场景和故事情节时 如 何吸引观众跟随情节改变视觉关注点是一大难题 对于旅游风景类内容 需要展现不同位置的风景以及视野宏大 的场面 通常需要地面动态拍摄或空中航拍 很难控制画面抖动和视角切换 容易给用户带来眩晕的感受 2 使用CG制作的VR视频或强交互VR内容 存在制作成本高 制作周期长 产能低的问题 而VR直播内容则很大程度上可以缓解VR内容缺乏的问题 1 体育赛事 综艺节目 大型晚会 发布会等直播事件都具备定期触发的特性 可源源不断地产生内容 2 直播事件通常会通过电视 互联网进行节目直播 只要现场再架设多机位VR直播拍摄设备 就可以同步 形成VR直播内容 不用再专程搭建环境 调试灯光 可谓低成本内容制作方案 3 直播事件具备粉丝效应 受众群体相对明确 用户付费意愿较强 容易商业变现 1 2 3 VR直播有巨大的市场前景 VR直播带来的沉浸感体验在多个行业都具有重大的意义 具备巨大的市场潜力 赛迪顾问于2019年10月发 布的 2018年VR AR市场数据 显示 2018年中国VR AR市场规模为80 1亿元 增长率为76 5 其中直播 行业应用市场规模为9亿元 占比11 2 仅次于游戏和视频 图1 3 2018年中国VR AR行业市场规模 数据来源 赛迪顾问 2018年中国VR AR行业市场规模 亿元 VR直播白皮书04 游戏 28 6 视频 16 3 直播 9 0 房地产 5 6 工程 5 4 教育 5 3 医疗 3 6 旅游 2 1 零售 1 8 军事 1 8 其它 0 7 VR直播概述 到了2021年 VR直播的市场规模将达到64 3亿元 市场占比为11 8 1 3 1 体育赛事 传统体育赛事直播可以给观众带来实时观赛的享受 但只能从特定的角度收看 无法全方位了解现场环境情 况 加入VR技术后 从视角上拉近了观众与比赛环境的距离 更加为观众营造了现场感的观赛氛围 获得身临 其境的观赛体验 体育赛事VR直播解决了因现场场地不足 人流量过大导致的场地协调 人员安保 交通疏导 等一系列问题 让用户省去了路费 住宿费 现场门票费等巨额费用及大量时间 为用户低成本提供最大限度的 赛事直播临场体验 从经济效益上来说 体育赛事VR直播突破了现场座位的限制 大大拓宽了收视群体 还开辟了新的观赛产 业 以设备提供 VR转播权益 VR广告植入的闭环生态链 VR直播行业巨头NextVR早在2015年就对NBA赛事进行了全球首次VR直播 在这之后 越来越多的重大 体育赛事都采用了VR直播技术 包括2016年里约奥运会 2018年俄罗斯世界杯 2018年平昌冬奥会等 VR 直播这种全新的观影方式正在迅速崛起 为体育赛事注入了新的活力 图1 4 2018 2021年中国VR直播发展趋势 数据来源 赛迪顾问 VR直播白皮书 05 VR直播应用场景 VR与直播技术的结合提升了直播观看体验 并使得观众从被动观看转换为主动参与 更加融入到现场 打 破了空间与距离的隔阂 这种特点使其有着非常丰富的应用场景 VR直播主要有两大分类 一是PGC Pro fessional Generated Content 专业生产内容 如体育赛事 综艺节目 新闻事件 教育培训 产品营销 等 二是UGC User Generate Content 用户生产内容 如网红直播 户外直播 生活直播等 1 3 2018 2021年中国VR直播发展趋势 亿元 70 60 50 40 30 20 10 0 9 20182019E2020E2021E 16 7 32 1 64 3 VR直播概述 体育赛事直播观看更多是群体行为 用户更加倾向于与自己的知己好友共同观看和评论比赛 但用户通过 VR直播观看时 画面是围绕着该用户单独呈现的 如果缺乏社交性 用户会有着孤独感 可喜的是 目前已经 有将社交融入到VR直播的方案 如银河威尔科技 北京 有限公司 以下简称银河威尔 提供的GVR 第二现 场 应用 就是在用户视角前方呈现180 的VR直播画面 背景叠加虚拟的看台 每个用户进到直播间后会生 成一个虚拟的角色坐在看台上 用户之间可以进行对话 发红包 还可以通过手柄控制 吹响 小喇叭为自己喜 欢的队员助威呐喊 VR直播中植入社交元素后 用户不仅能感受到现场的热烈气氛 还可以借助VR技术与自己 的朋友进行异地交互 增加了更多趣味性 这种VR直播 社交的形式也可以应用在演唱会 文艺晚会等场景 1 3 2 综艺节目 VR直播在明星演唱会 明星粉丝见面会 文艺汇演 晚会等综艺节目中也得到了广泛应用 同体育赛事一 样 综艺节目也具备广泛的受众群体和广阔的市场前景 观众通过VR直播可以近距离全方位欣赏自己的偶像 感觉明星就在自己眼前 还能感受到现场粉丝热情的欢呼声 尖叫声 2016年底 备受瞩目的王菲 幻乐一场 演唱会在上海召开 该演唱会现场门票售价高达3000 7800元 座无虚席 票价甚至被炒作至数十万一张 该演唱会为场外观众提供了直播观看方式 超过2000万观众进行了 在线直播观看 此外 该演唱会也采用了VR 360 视频进行直播 根据后台统计显示 近9万名观众使用VR直 播方式进行在线观看本次演唱会 用户需要付费30元购买兑换码才能观看VR直播 如此一来 采用VR直播的方 式为此次演唱会额外创收了264万 华为iLab曾对本次演唱会的VR直播视频进行分析 由于受限于带宽因素的影响 本次VR直播视频流分辨率 为4K 码率仅8Mbit s 用户体验存在画面不清晰 眩晕的感受 如果采用更好的拍摄手法 更良好的网络进行 高带宽保障 将会带来更好的体验 吸引更多用户进行VR直播付费体验 图1 5 GVR 第二现场 为每个用户生成虚拟角色 来源 银河威尔 VR直播白皮书06 VR直播概述 1 3 4 教育培训 VR直播应用在教育领域 具有独特的优势 VR提供的沉浸式场景能让学员感受面对面的现场名师讲堂 在 线教育采用VR直播方式可以让用户深刻地感受课堂的气氛 极大激发学习兴趣 加强学习印象 1 3 3 新闻现场 从传统的电视直播到网络视频直播 再到VR新闻 技术和媒介的不断发展 使得新闻报道的形式不断变化 和丰富 改变了受众的感官 VR新闻直播为新闻行业植入了新活力 为观众带了新的视听体验 新闻始终追求 真实性 新闻直播要求最大限度的还原现场真实状态 在传统电视新闻直播中 观众往往作为旁观者 以第三人 称视角观看直播 置身于现场之外 而VR直播新闻利用虚拟现实技术 以第一人称视角 或从其他当事人 围 观群众的角度 360 全景展示新闻现场 比文字 图片报道更加具有沉浸感 观众在观感上变成新闻事件的主 体 并且最大限度再现细节 新闻现场被事无巨细地记录下来 不像传统报道局限于远景的平面展示 这不仅增 强了新闻的表现力 感染力 也让新闻直播更加具有互动性 目前 非常多的重大新闻事件也会采用VR直播技术 如庆祝中华人民共和国成立70周年阅兵式 本次阅兵 规模空前 仅参演 观礼和保障人员就达到了30余万人次 对于普通民众来说 到天安门现场观看阅兵是非常难 以实现的 而采用VR直播技术可以突破这一空间限制 让用户无论在何地都能体验到现场盛大的场面 除了国家重大新闻外 VR直播也广泛应用于许多产品发布会新闻现场 作为产品新型推广营销手段 如 2019年在上海东方体育中心举行的华为手机Mate30发布会就采用了5G VR直播技术 并通过5G网络将发布会 现场的视频流传输到上海 杭州 太原三地的华为智能生活馆 让位于场外的消费者也能身临其境感受发布会现 场 图1 6 Mate30发布会VR直播 来源 银河威尔 VR直播白皮书 07 VR直播概述 此外 通过VR直播还可以对现有家庭常用的在线交互课堂进行体验升级 让学生可以足不出户就享受沉浸 式面对面教学 1 3 5 游戏电竞 艾瑞咨询2019年发布的 中国游戏直播行业研究报告 显示 2018年 中国游戏直播市场规模增长超过 60 达131 9亿元 预计2022年市场规模将接近350亿元 图1 7 VR直播课堂 来源 威爱教育 VR直播白皮书08 比如在VR医疗中 目前使用较多的就是使用VR直播让学生观摩专家的手术过程 早在2017年6月 北京协 和医院就使用VR直播技术进行了全球首例全膝关节人工置换手术直播 有6700多名医生进行了在线VR直播观 看 通过VR直播技术 突破了时间 空间和医学条件限制 让更多的医学界学者 医者通过这种全面 真实的 沉浸式观看进行学习和交流 VR直播在K12教育中也得到广泛应用 如威爱教育通过5G VR实现多机位课堂直播 让远在凉山州贫困地 区的学生能远程实时连接到成都泡桐树小学的课堂 观看老师讲课和实验操作 并能自由切换视觉 从而获得比 现场学生更清晰的观察效果 VR直播概述 图1 8 中国游戏直播市场规模 数据来源 艾瑞咨询 1 3 6 UGC直播 明星直播 网红直播 秀场直播 会议直播 以及个人户外直播 生活直播等小型活动VR直播 属于非专业 性的UGC性质的VR直播 相对于PGC VR直播来说 UGC VR直播由普通人员独立操作 仅需满足小型活动或 个人需求 对直播的安全性 体验要求不如PGC VR直播高 通常采用民用级VR拍摄设备 无需专业设备 国 内曾涌现出小花秀VR直播 小熊VR直播 花椒VR直播等一系列OTT平台 通过VR直播技术 让用户可以和自 己喜欢的偶像近距离沟通 提升视觉体验 也可以进行个人VR直播 并发送至社交平台与自己的好友分享 目前市面上已经有不少面向消费者的VR直播设备 可支持4K分辨率360 直播 价格约几千人民币 这类 VR拍摄设备体积小巧便于携带 还带有防抖功能 方便用户进行户外活动直播 并进行实时分享 VR技术的应用为游戏直播带来全新的体验 游戏爱好者可以沉浸到游戏场景中 与玩家一起战斗 感受到游 戏中的刀光剑影就在自己身边 这种全新的直播形式将吸引更多的游戏直播用户群体 早在2016年 DOTA2游戏就推出VR观战模式 DOTA2本身是一款普通的2D平面PC游戏 想观看VR直播 的游戏爱好者可以通过安装专门的DOTA2 VR游戏直播APP进入到虚拟游戏场景中进行全景观看 在游戏场景中 还可以进行自由移动而切换视角 有的VR游戏本身也设计了VR直播观看功能 为避免跟随玩家的第一视角走动 转身而感到眩晕 设计为用 户可以自由选择视角 部分VR游戏直播还设计了用户自身视角大小的功能 用户可以用俯视或仰视的角度观看游 戏场景 带来更多有趣的体验 VR直播白皮书 09 2014 2022年中国游戏直播市场规模 4 3 20142015 172 1 140 2 188 6 62 6 34 7 32 5 22 3 18 6 2016201720182019e2020e2021e2022e 11 7 28 1 81 1 131 9 177 7 235 5 288 341 6 游戏直播市场规模 亿元 增长率 VR直播概述 VR直播面临的挑战 VR直播虽已有着较广泛的应用 但还存在一些问题有待解决 1 4 1 VR终端设备 观看VR直播要获得沉浸式的效果 必须佩戴头戴式的VR设备 而不是仅在手机或PAD上用滑动手指进行全 景观看 手机 低廉的VR眼镜盒子帮助消费者实现了VR普及 但其体验受限于手机的分辨率和性能 不能得到 较好的体验 从2018年开始 VR一体机开始快速发展 到2019年 已普遍达到双眼4K的屏幕分辨率 可观看 全景8K的VR内容 已逐渐消除 纱窗效应 但VR全景分辨率24K时才能达到极致体验 此时VR终端的屏幕 分辨率需要达到16K VR终端硬件需要进一步升级 而VR头戴式终端在重量 透气性等佩戴舒适度方面也还需要进一步改进 2 VR内容体验 目前较普遍的VR直播视频分辨率为4K 理论上需要达到40Mbit s的码率才能保证良好体验 但由于带宽成 本问题 很多VR直播OTT平台通过降低码率来节省带宽成本 通常将码率压缩到10Mbit s以下 使得用户感到 不清晰 眩晕 卡顿 体验得不到保障 从VR直播内容生产来看 要达到更高的分辨率 需要音视频采集端设备和图像拼接服务器等设备具备更高 的性能 此外 更高的分辨率 也意味着需要更高的码率才能保障体验 对网络带宽提出更高诉求 从VR直播内容展现形式来看 还需要进一步加强社交互动性 立体视觉 听觉感 不断提升用户极致沉浸 的体验 随着云计算 5G和宽带网络技术的快速发展 将为VR直播带来了更稳定的网络带宽保障 促进VR直播体 验升级和规模发展 VR直播白皮书10 VR直播概述 VR直播方案 0202 VR直播白皮书 11 VR直播整体方案 VR直播整体方案架构主要由内容采集端 VR直播平台 网络和终端四个部分构成 1 直播采集端 VR直播要求实时的内容生产 内容生产主要包括拍摄 拼接 编码 推流等环节 当前内容生产主要在直播采集端本地完成 采集端部署在直播现场 通常需要配置VR摄像机和本地服务器 用于拼接 编码 推流 导播等 其会对每个机位拍摄的内容生成完整的视频流 再通过导播系统选择某个 机位的视频流 经由网络注入VR直播平台 随着云计算技术的不断发展和普及 业界厂家将视频的拼接等对计算能力要求相对较高的环节移至云端处 理 以降低对采集端设备处理能力的要求 此时 采集端不进行视频拼接 而是将VR摄像机拍摄的原始视频传 至云端 由云端拼接 2 VR直播平台 VR直播平台整体上与传统直播平台相似 核心功能包括 业务播控 管理 主要负责用户 订购和计费等业务信息的管理 完成用户的接入认证 业务鉴权等业务权限 的管控 以及实现节目编排 列表管理等媒资内容的运营 内容处理与分发 对于采集端拼接的场景 主要实现采集端内容的注入 转码 转编码或转封装 等处理 并作为CDN的源站 实现内容的存储 缓存和分发等 对于云端拼接的场景 平台还需具备拼接处理能力 CDN节点 直接面向用户 主要负责内容的缓存与加速 用户视频数据的接入 以及响应调度请求 快速 向用户提供媒体流服务 图2 1 VR直播整体方案 VR直播白皮书12 2 1 CDN节点 骨干网 城域网 接入网 移动汇聚网 移动接入网 VR直播平台 直播采集端 终端 VR直播方案 图2 2 VR直播关键业务流程 采集端拼接 3 网络 与VR点播 Cloud VR游戏等各种Cloud VR业务一致 面向终端 VR直播需要大带宽 低时延的下行网络 传输保障用户体验 而不同的是 面向采集端 高码率的视频源需要实时回传至云端 对上行网络传输提出了新 的诉求 基于VR直播方案架构 VR直播的关键业务流程是明确的 根据视频拼接是在采集端还是云端完成 采集端 和云端的分工略有差异 使用采集端拼接时 直播采集端对各个机位VR摄像机采集的内容进行拼接 编码 封装 为每个机位分别 生成一份完整的视频流 再通过导播系统选择某个机位的视频流注入云平台 云平台对注入的视频流进行转码处 理 包括转分辨率 如8K转4K 转编码格式 如H 264转H 265 或转流媒体封装 如RTMP转HLS 等 再进行节目编排 分发至CDN 4 终端 在终端侧 用户使用VR头盔 手机和平板等终端设备 通过网络接入VR直播平台获取内容 涉及行业场所 的多用户接入 2B 家庭用户的接入 2H 和消费者用户的接入 2C 等多种场景 使用云端拼接时 采集端对VR摄像机拍摄的原始视频分别进行编码 封装 直接注入云平台 由于VR摄像 机一般具有多个摄像头 因此每个机位都有多份未经过拼接的视频流 云平台对注入的多份视频流分别进行解封 装 解码 还原出原始视频后进行拼接 编码封装 对每个机位生成一份完整的视频流 然后供导播系统选择某 个机位的视频流 进行后续的转码 编排和分发 VR直播关键技术 2 2 VR直播白皮书 13 直播采集端 CDN 分发 调度 编码 封装 内容 采集 视频 拼接 导播 内容 注入 转码 编排 发布 VR直播平台 网络 视频传输 视频 解码 视频 播放 视频解 封装 终端 VR直播方案 图2 3 VR直播关键业务流程 云端拼接 2 2 1 内容采集 内容采集即通过VR摄像机拍摄采集VR直播内容素材的过程 360 VR可以全方位呈现场景内容 比较适合于旅游 风景等相关题材场景的直播拍摄 这类场景的特点 是全景都有不同的精彩内容呈现 总的来看 VR直播关键技术主要包括内容采集 视频拼接 编码推流和内容分发等 1 当前VR直播的拍摄方案 2D或3D 180 或360 1 180 和360 VR直播各有优势 适用场景不同 VR直播根据视频画面覆盖的视场角不同 主要形式有360 VR和180 VR 这两种形式的关键技术基本一 致 当前均可实现 二者在不同的直播场景上各有优势 对于目前常见的VR直播场景如体育赛事 综艺节目等 通常建议采用180 VR 主要原因有 2 2D VR支持多机位拍摄 3D VR以单机位拍摄为主 直播通常会涉及多机位的切换 尤其是大型场合更需要现场的多方位呈现 人的双眼存在间距 因此在感知现实世界时 双眼存在视差 3D VR摄像机需要分别为双眼分配不同的摄像 头 并通过双眼对应的摄像头间的夹角模拟双眼间距 以捕获双眼所见的 存在视差的画面 进而营造立体感 如图2 4所示 为了增强VR沉浸感 VR拍摄优先选择3D VR VR直播白皮书14 场景展示范围集中 此类场景一般有舞台或展示中心 用户通常只需要专注地正视前方 不会频繁出现左顾 右盼 向后转头等行为 采用180 VR一般可覆盖用户正常观看的范围 此外 采用VR 180 直播更便于 在非直播内容区域构建虚拟场景或增加广告 植入互动 趣味元素 清晰度体验更好 内容分辨率及覆盖视场角是影响VR内容清晰度体验的重要因素 相同分辨率 覆盖的视 场角越小 单位角度内像素点密度越高 清晰度体验往往更好 以4K VR内容为例 360 VR等效于传统 TV 240P的体验 而180 VR可等效于480P TV的体验 直播采集端 CDN 分发 调度 内容 采集 编码 封装 内容 注入 转码 编排 发布 VR直播平台 网络 视频传输 视频 解码 视频 播放 视频解 封装 终端 编码 封装 导播 视频 拼接 VR直播方案 图2 4 双眼视差图 来源 我趣网 VR直播白皮书 15 当前单机位的3D VR拍摄的技术相对成熟 但多机位的3D VR拍摄并不是单机位拍摄的简单组合 其主要的 技术实现难点在于 一方面 不同机位的VR摄像机需要调整合适镜头角度 以实现多机位画面的自然切换 但 目前相关的硬件工程能力尚未完善 另一方面 2D VR视频有一路视频流 而3D VR视频有两路视频流 导播系 统在进行机位切换时 软件上无法很好地支持两路视频流的同时切换 因此 3D VR仍无法广泛应用于多机位拍 摄 多机位拍摄以2D VR为主 而单机位拍摄建议采用3D VR 提升沉浸感 2 PGC优选组合式VR摄像机 UGC常选一体式VR摄像机 VR摄像机一般由多个摄像头组合而成 主要可分为组合式与一体式VR摄像机两种形式 不同的VR直播场 景拍摄可综合考虑内容体验要求 成本 便携性等多方面要素 选择合适的VR摄像机 1 组合式VR摄像机 常用于PGC制作 组合式VR摄像机一般由多个专业的摄像机组合而成 可按需 灵活组成180 或360 VR摄像机 如图 2 5所示 其中VR摄像机进行视频拍摄 再配置额外的服务器 工作站进行视频拼接 编码和封装推流等环节 的处理 组合式VR摄像机通常会选择集成高质量的专业摄像机 成像效果好 一般应用于高品质要求的PGC制作 同时 视频处理环节与VR摄像机解耦 厂商对于原始视频素材有更多灵活的处理 优化空间 但组合式VR摄像 机价格较为昂贵 且由于需要配置处理设备 不便于携带 操作专业性要求也较高 3 2D 180 多机位拍摄适用于大型场合 3D 180 单机位拍摄适用于小型场合 2D 180 多机位拍摄的优势在于支持自由的机位切换 对于大型场合 如篮球比赛 往往需要通过切换机 位来呈现近景远景 不同角度下的精彩现场 因此采用2D 180 多机位拍摄更加合适 3D 180 拍摄的特色在于对近景细节进行逼真 立体还原 沉浸感更强 对于小型场合 如迷你演唱会 选择一个好的机位即可较好地满足用户现场观看的需求 拍摄以近景为主 因此可优选3D 180 单机位拍摄 左眼视觉原图右眼视觉 VR直播方案 图2 5 组合式VR摄像机示例 VR直播白皮书16 3 VR直播对环境布置和拍摄手法要求相对宽松 有利于内容的丰富 视频采集是视频制作中非常关键的环节 优质的视频采集有利于高品质素材的获取和后期的制作 其不仅需 要高质量的设备和技术等硬能力 也需要环境布置 拍摄手法等软能力的支持 VR视频涉及范围广泛 针对实景拍摄类视频 除了VR直播 还有电影 电视剧 纪录片等影视领域 不同 应用领域对视频拍摄要求也会有所不同 与传统影视相比 VR影视对环境布置和拍摄手法的要求更高 难度更大 而这也成为了专业 高品质的VR 影视作品较为稀缺的原因之一 举例来说 2 一体式VR摄像机 UGC常选消费级产品 PGC可选高性能专业级产品 一体式VR摄像机将多个摄像头集成到一个完整的一体化设备中 且集合了视频采集 拼接 投影 编码及 封装等功能 此类VR摄像机方便携带 容易使用 不需要额外配置视频处理设备 由VR摄像机 一站式 完成 处理 不需要过多的专业操作 但其输出的视频效果基本由VR摄像机自身的处理能力决定 目前业界多个厂家推出了一体式VR摄像机 包括消费级和专业级产品 消费级一体式VR摄像机价格便宜 主要用于消费者用户日常拍摄记录 网红直播等UGC内容的直播 专业级VR摄像机价格高于消费级产品 性能 更强 而由于不同厂商的硬件工艺 软件算法等各方面技术水平的差异 不同厂商 不同型号的专业级产品也存 在性能差异 如果选择一体式VR摄像机进行PGC制作 建议使用高性能的专业级产品 与消费级产品相似 专 业级一体机产品操作简易 也适用于质量要求高的UGC拍摄 180 VR摄像机 由2台摄像机 2个鱼眼镜头组合 来源 我趣网 360 VR摄像机 由4台摄像机 4个鱼眼镜头组合 来源 兰亭数字 VR直播方案 2 2 2 视频拼接 VR摄像机的每个摄像头负责拍摄一定视场角范围内的局部画面 而视频拼接是将这些局部画面视频拼接成 完整的VR视频画面的过程 如图2 6所示 其本质上是图像序列的拼接 拼接效果影响VR视频画质体验 图2 6 视频拼接示意图 环境布置上 需要 全部清场 VR视频往往需要360 全景拍摄 此时摄像机所能拍摄的环境范围内不能 出现与内容无关的人和物 要求 全部清场 或对无法撤离现场的人和物进行 适当伪装 而这带来了 一系列的难题 比如灯光师和摄影师位置 灯光摆放 演员走位 机位移动等等 拍摄手法上 尽量 一镜到底 传统视频拍摄一般通过多镜头切换来表达故事 而VR摄像机是定焦的 没有传统视频拍摄的特写镜头或走步移位 常常需要 一镜到底 在工作流程 铺排计划与传统拍摄都有 着较大差别 对演员的走位 演练熟悉程度 时间掌控等都有着更高的要求 需注意选择合适的机位 这其中涉及协调和沟通与传统机位的位置关系 避免相互穿帮 这部分冲突在大型 活动中往往会出现 VR摄像机的摆放需要考虑摄像机存在的安全距离问题 即拍摄的对象不能离摄像机太近 需要在安全距离 范围以外 以免出现画面变形和缝合不完整等问题 VR直播白皮书 17 相比VR影视制作 VR直播由于其场景及当前应用场合的特殊性 对环境部署和拍摄手法的要求会相对放 宽 首先 当前VR直播主要采用180 VR 不需要 全部清场 其次 VR直播以体育赛事 综合节目 新 闻现场等热点事件为主 拍摄的机位也相对固定 同时观众有明确的关注点 对环境的关注相对较少 再者 直 播天然具备 一镜到底 属性 不存在演员重演等过程 此外 像当前热门的UGC直播 拍摄更是灵活 由此 可见 相比其他VR视频内容制作 VR直播要求相对较低 而这有利于VR直播成为更易于丰富内容的VR视频场 景 尽管VR直播对环境布置和拍摄手法的要求相对宽松 但仍有许多需要特别注意的环节 尤其对于PGC直 播 需要考虑周全 保障VR直播的专业性和稳定性 比如 视频拼接 单个摄像头拍摄的局部画面 经过视频拼接的完整画面VR摄像机 VR直播方案 图2 8 摄像头成像时间不同步导致拼接错位问题示意 VR直播白皮书18 图2 7 摄像机未校准可能出现的画面问题示例 视频同步 不同摄像头的缓冲 曝光等存在差异 缓冲初始化时间和曝光时间的不同步 则不同摄像头生成 的帧画面时间不同步 使得视频拼接时可能出现同一时刻的帧画面匹配出错 导致拼接后的视频出现明显跳帧或 拼接错位等问题 如图2 8所示 因此需要通过同步缓冲初始时间 曝光时间等进行视频同步 1 图像拼接 VR直播相比传统直播独有的关键技术 图像拼接技术可基于特征 光流等多种不同的处理域进行拼接 以基于特征的图像拼接为例 其主要流程包 括 图像获取 预处理 配准和融合 每个环节的处理优劣都会影响最终的拼接质量 而其中最为关键是配准和 融合 1 图像获取与预处理 在进行图像拼接前 需要从VR摄像机采集的内容中获取待拼接的图像 VR摄像机的各个摄像头由于系统 安装等各方面存在差异 会影响图像拼接的效果 因此需要在拍摄前进行摄像头的标定和视频同步 以便为图像 拼接准备更优质的素材 摄像机标定 不同摄像头拍摄会由于镜头的焦距不一致或者出现平移 旋转等物理的差异 不仅会使画面本 身出现缩放 倾斜等一系列的问题 如图2 7所示 还会导致不同摄像头输出的画面难以对齐 拼接 因此需 要通过摄像机的预先校准 使不同摄像头输出的图像尽量一致 摄像头摆放 调焦精准 画面正常 摄像头调焦不准 画面缩小 放大 摄像头摆放不正 画面倾斜 T1时刻 摄像头 成像画面 摄像头 成像画面 拼接结果 拼接准确 拼接错位 摄像头 成像时间早于 两个画面时间不同步 T2时刻 箭头整体向右边移动 两个摄像头画面时间同步 VR直播方案 图2 10 等距柱状投影 VR直播白皮书 19 图2 9 图像畸变示意 摄像机标定和视频同步可分别视作不同摄像头在空间和时间上的同步 VR摄像机在进行标定和同步后正式 开始采集 但采集的画面可能会存在噪点 坐标不统一 畸变等情况 这些都会影响图像拼接的效果 因此需要 进行图像去噪 坐标变换 畸变校正等预处理 图像去噪 由于图像采集过程中环境复杂 多变 采集图像难免存在噪点 这些噪点会被视为图像中的一部 分 导致图像配准时误判 影响图像拼接效果 图像去噪可以除去噪声引入的干扰信息 方法很多且成熟 坐标变换 每个摄像头以自身作为空间坐标系的原点进行拍摄 不同摄像头的所在的原点和空间坐标系不 同 因此每个摄像头拍摄的局部画面实际上并不在同一个坐标系上 观看中心 也不同 如果直接拼接 拼接 画面与人在真实世界中实际观看的感觉不相符 使画面看起来不自然 因此需要先对图像进行坐标变换 统一坐 标系 再进行拼接 畸变校正 由于制造 安装 工艺等多方面的原因 镜头存在着各种畸变 其中以摄像机内部系统构造引入 的径向畸变最为典型 一般可分为枕形畸变和桶形畸变 如图2 9所示 图像的畸变校正则是根据导致图像畸 变的原因 建立相应的数学模型还原畸变失真的图像 投影映射 VR摄像机通常会配以鱼眼镜头等超广角镜头来扩大拍摄的范围 而其成像结果是球形画面 这 与传统平面画面不同 不便于图像的拼接 因此需要将球形画面投影至平面画面中 比如采用等距柱状投影 如 图2 10所示 正常情况枕形畸变桶形畸变 VR直播方案 VR直播白皮书20 2 图像配准 为了实现图像拼接 相邻摄像头采集的区域会有所重叠 在画面拼接处留下足够的冗余用于拼接 图像配准 则需要在重叠区域通过寻找合适的拼接缝合点 在理想条件下 不同图像的重叠区域是完全相同的 如此进行配准非常简单 事实上 由于摄像头自身系 统 拍摄环境等多个方面的差异 重叠区域不可能完全相同 而这也使得图像的配准变得复杂 图像配准涉及特征空间 相似性度量 搜索空间和搜索策略的选择 寻找拼接缝合点 本质上是在搜索空间 内依据搜索策略寻找相似特征点的过程 特征空间 在进行图像配准时 由于图像的原始数据量较大且冗余信息太多 一般不会针对原始数据进行处 理 而是会提取图像的特征数据 因此需要选择合适的特征空间 如灰度 亮度 轮廓等 搜索空间 相似特征点的搜索是针对性的 需要锁定可能配准的位置范围 搜索策略 搜索的过程需要选择合适的搜索策略 以尽可能地减少不必要的搜索
展开阅读全文
  麦档网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:华为&中国联通:VR直播白皮书
链接地址:https://www.maidoc.com/p-16758681.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2018-2020 maidoc.com版权所有  文库上传用户QQ群:3303921 

麦档网为“文档C2C模式”,即用户上传的文档所得金币直接给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的金币归上传人(含作者)所有。
备案号:蜀ICP备17040478号-3  
川公网安备:51019002001290号 


收起
展开