近日，速途元宇宙研究院召开“共话元宇宙XR视界”主题沙龙，旨在对当下活跃的AR/VR市场进行解析及探索，XR将在元宇宙热潮下释放新生命力，而年轻用户群体对于消费级VR、AR终端、游戏、直播的喜爱也孕育出新的消费蓝海领域，此次“共话元宇宙XR视界”沙龙也标志未来元宇宙领域依然有着无尽的挖掘空间。
本次沙龙我们邀请到花房集团VP 技术委员会主席唐赓先生，花房集团作为当下在线社交娱乐领域的领头企业，唐赓先生的出席让众多与会业内进行了更深入的思考。在沙龙中，唐赓先生对AR/VR技术在直播中的应用与挑战进行了解读，揭开了“元宇宙+直播”模式的全新方向。
唐赓先生简介
花房集团VP 技术委员会主席，拥有22年从业经验，在操作系统/嵌入式系统、系统架构、企业级网络安全、音视频编解码、云计算/云原生架构、AI/AR/VR、元宇宙等等技术领域有多年实践经验，拥有多项技术发明专利。曾在雅虎中国、阿里巴巴任职多年，也是原摩比神奇公司创始人/总经理、曾任360技术委员会委员。工业自动化控制专业学士，工商管理学博士。
当下，在元宇宙相关产业中，AR/VR 无疑是最受关注的赛道。AR技术是使用附加数据注释现实世界场景的最佳方式，随着智能手机提高其深度感应和处理能力，移动设备上的AR运用成为重要的一环；加之VR沉浸感的体验优势，使用者可以完全沉浸于虚拟现实世界中。AR、VR 产业随着需求和产业链推进，开启了新一轮增长期。
花房集团凭借旗下的花椒直播和六间房，从2006年创立至今，实现了从PC端到移动端的创新，一路上见证了直播产品的更迭。截至2021年12月31日，花椒直播注册用户约2.15亿名，六间房直播注册用户约7890万名，集团旗下海外社交网络产品有注册用户约9730万名。现如今，花房集团已拥有多元化的产品和服务矩阵，包括花椒、六间房、花吱、HOLLA、Monkey等十余款产品，服务全球用户。随着用户数量的不断增加，用户需求不断呈现多样化，也在反推着花房集团对技术创新的持续突破，秉持“用科技连接彼此，让陪伴传递美好”的使命，打造全球具有顶级影响力的在线社交娱乐生态。
随着直播应用从PC端到移动端的发展趋势，唐赓带领花房集团技术团队不断突破技术限制，寻找移动端直播的更多可能性。在谈及AR/VR技术在直播中应用时，唐赓直言“这是一个有趣的技术领域”。
在唐赓看来，AR/VR技术是元宇宙技术体系中的关键环节，无论是AR以虚强实，还是VR虚拟现实，都主要依赖视觉给予用户实时交互反馈。AR/VR技术不仅仅是大众所熟知的可穿戴设备（VR头显、AR眼镜），更多是作为底层交互技术的形式存在。
目前，直播领域已经融入了很多AR元素。以花房集团旗下的直播产品为例，花椒直播在移动直播早期(2015/2016年左右)就率先运用美颜、萌颜贴纸等功能，都是AR技术在移动端应用的代表。这种精准叠加的AR特效有效对主播所在的环境、屏幕以及人像做效果增强，大幅提升直播效果。
VR技术也在虚拟形象IP直播中大量使用，虚拟现实技术利用现实物理世界中采集到的数据（画面、动作、角度、力度等），通过计算机图形算法产生视频画面，结合各种输出设备，将其转化为用户可以看到的虚拟影像，再结合实时互动相关技术，最终为用户呈现出虚拟形象直播/连麦等终端用户体验。
在谈及AR/VR技术在直播中的挑战，唐赓认为，主要是目前基于手机摄像头的虚拟形象VR直播对硬件性能的要求非常高且效果还不是很完美，还有不少硬性限制（比如对于动作遮挡、大角度转身、大幅度动作等都可能出现识别错误），而基于可穿戴动捕设备的方案虽然价格已经比前几年有非常大幅度的降低，从上百万甚至数百万降到了现在的10万以内，但相对而言目前售价还是比较高，舍得投入的主播相对较少，且目前还存在厂商众多，协议不互通的情况。
“厂商协议不互通就导致目前无法‘邀请’到其他厂商的虚拟人在同一个场景中出现、互动，还只能是类似传统互动直播的形式，分屏分窗口展现。”唐赓说道。
“我们还看到存在一些不可逾越的物理定律障碍，比如VR眼镜为了减少眩晕感需要采用90Hz甚至120Hz以上的刷新率，只留给每一帧画面8ms-11ms的渲染时间，若采用云计算方案来实现，虽然理论上算力不成为瓶颈，但受光信号、电信号无法超越光速的物理定律限制，数据上行、下行、多人数据同步处理等已经非常困难，如果再加上要求跨国实时互动，则几乎不可能，所以需要设计非常精巧的架构，做出必要的妥协，隐藏物理距离导致的时延与不一致，尽量保证最好的用户体验。”
随着用户需求的多元化，网络直播逐渐从娱乐型应用过渡升级为数字多媒体信息分发窗口。如何通过技术的更新迭代来增强用户个体体验和用户与用户之间的情感联结需求，成为了花房集团技术团队的研究课题。而“元宇宙”的爆火，也为花房集团进一步提供了发展思路。
“元宇宙”概念虽然爆火于2021年，但事实上，元宇宙技术在直播中的运用由来已久。早在2018年，花房集团通过产品调研就发现有不少连麦用户希望以虚拟形象示人，但当时的直播技术还不足以实现这个需求。作为花房集团技术委员会主席的唐赓火速带领团队进行技术调研和开发。
“利用苹果手机刚刚推出的ARKit脸部表情肌识别功能，驱动虚拟形象脸部相应的表情肌，实现虚拟形象的嘴部、眼部、眉毛等都能跟随真正的人脸表情运动，能很好地通过VR画面向直播互动的对方传递表情、情感等信息，很好地满足了大V用户的需求。而当时安卓手机并没有相应的表情肌识别功能，我们携手AI表情肌识别供应商，共同研发了针对安卓系统高度优化的版本上线提供给用户使用。”唐赓回忆道。
此外，唐赓带领的技术团队又采用自研的3D引擎，实现了常见的动作捕捉、面部捕捉，迅速切入元宇宙领域并有所建树。
花房集团今年6月推出的虚拟主播“上古玄儿”，就是在此基础上诞生的。技术团队对软、硬件环境做了大量调优，充分发挥了软硬件系统的能力，将直播流畅度提升了超过200%，确保了直播画质、流畅度、特效表现效果都处于理想的状态，也让“上古玄儿”以完美的状态开播成功，受到众多粉丝的喜爱。
据悉，早在2019年，花房集团旗下花椒直播已在直播行业内率先推出“Avatar”，无论是主播还是用户，都能够用自己的虚拟形象在平台内进行互动、社交；在被业界称为“元宇宙元年”的2021年，花椒数字艺术展示平台——“花椒粒”上线并首发数字艺术藏品；2022年春节，花椒携手腾讯云「至信链」上链多款数字艺术礼物；2022年2月，花椒“舞台版”虚拟直播间开启，邀请主播和用户一键迈入直播元宇宙；今年6月，花椒虚拟主播上古玄儿首次开播即收获上万粉丝……成功示范了技术团队在元宇宙领域的创新基因和上线效率。
速途元宇宙研究院认为，花房集团在直播技术上的探索正是元宇宙技术多年发展的缩影，从VR直播、AR美颜技术、虚拟人交互、数字艺术藏品的出现，花房集团为直播生态的不断优化升级提供了巨大的空间和可能性，随着技术的不断融合，“元宇宙+直播”还将焕发出更加蓬勃的生命力。
作为在互联网前沿技术应用多年的技术专家，唐赓凭借着对新兴技术的敏锐触觉，不断进行技术的升级和更新，带领团队进行了多项社交娱乐产品的开发。
谈及元宇宙的出现，唐赓介绍道，“初期对元宇宙的理解，可以归纳为包含区块链经济系统的游戏。现在理解，已经不仅仅是游戏。游戏只是元宇宙内容的一种落地形式，基于元宇宙技术的远程会议、在线办公、城市规划、工业建设、教育培训、在线购物、虚拟直播等等都可以是元宇宙的落地场景。”
唐赓认为，元宇宙的底层技术将在直播中呈现出更完整的体现和融合。他举例说明，在元宇宙场景和VR技术加持下，将变幻出更多选择，在继续用固定视角传输音视频内容的同时，还可以传输音频和动捕数据，在参与各方的系统上用3D引擎重新渲染和展现，实现参与各方自由视角的显示和互动，为内容的创作和艺术表现提供了无限的可能。
在提及元宇宙技术安全方面，唐赓表示，数字化程度越高，安全挑战越大。“元宇宙”作为数字化的高级阶段，将重新定义网络安全。元宇宙技术的发展对内容安全提出了极大挑战，如何对虚拟空间的内容进行AI审核、如何保证内容安全合规等问题日渐凸显。花房集团将利用自身优势与用户圈层进行深度链接，加深扩大社会各界对网络安全的重视。
作为工商管理学博士，唐赓对于元宇宙技术人才管理与储备也有自己独特的管理思考。他认为，选拔人才的标准不是一成不变的，而是因人而异、因岗而异。元宇宙所覆盖的技术面较广，这也对技术团队和技术开发人才提出了大量新要求，多方位发展的全能型人才才能适应市场的发展，在项目成本、进度、目标等等各种制约因素下达成合理的项目产出。
“元宇宙”是由物质世界、信息世界互相影响、互相促进的虚拟共生的世界，这也正与花房集团旗下的产品业务属性相匹配。唐赓带领花房集团技术团队独辟蹊径，将元宇宙与传统直播相结合，是一种全新的尝试。而花房集团多年的技术沉淀，也为“新概念＋老行业”的融合提供了坚实的技术保障。
在多元与共创的元宇宙场景中，花房集团作为全球颇具影响力的在线社交娱乐服务提供商，将不断完善产品矩阵和服务体系，创造更多元宇宙的新型应用场景，为用户提供更为极致的沉浸体验。未来，我们期待花房集团在社交娱乐领域全球化布局元宇宙的模式或将成为下一个互联网新风口。
