在2022年6月中国足球超级联赛海口赛区现场,出现了一辆“中国(广州)智造”5G+4K大型转播车。观众在电视上收看到的比赛,正是通过这辆转播车完成现场直播信号制作的。
这是首辆主要采用国产超高清广播级设备建设完成的国造5G+4K大型转播车,牵头参与研发的公司是坐落于广东省广州市的四开花园网络科技(广州)有限公司(以下简称“4K花园”)。
4K、8K是一种高清显示技术,主要应用于电视、电影行业。在超高清视频产业成为广东十大战略性支柱产业之一的背景下,作为广东重点引进的超高清龙头企业和国家高新技术企业、广东省超高清视频前端系统创新中心牵头单位,4K花园一直致力于通过超高清视频等先进技术推进广东的超高清产业实力。
近几年,依托于超高清和5G的产业风口,4K花园也进一步在超高清8K内容创制、5G+4K/8K大型现场转播、户外裸眼3D 8K大屏制作和8K+VR(虚拟现实技术)整体解决方案等领域发力。
线上演唱会是怎样让普通观众感知8K超高清体验的?视频行业在5G的支持下又出现了哪些新转变?对于近年来一直被探讨的元宇宙赛道,8K+VR又能释放出怎样的活力?8K+VR还能应用在哪些领域?4K花园如何抓住机遇将总部迁移到了广东、在广东发展超高清事业?
针对上述问题,近日4K花园副总裁兼4K前端技术总工程师于路接受了南都专访。
4K花园副总裁兼4K前端技术总工程师于路。
5G与超高清相互加持
做国产化的超高清系统
南都:在5G的发展下,你觉得视频行业出现了什么转变?
于路:首先,5G技术所提供的高带宽和低延时传输特性,可以帮助视频以更大的码率进行直播和观看。过去可能只有几兆码率的720P视频,现在可以一跃升级到4K,加上HDR(高动态范围成像)等新技术加持,我们在终端观看的影像内容可以实现质变升级。
另外,对于视频制作领域,5G可以为现场直播提供更便捷的传输通道。例如,如果各个公共演出场地都覆盖了5G网络,我们的现场直播就无需依靠卫星或者专线网络,而是直接申请5G通道即可实现无线部署的低成本直播。而且无线连接5G网络也有助于系统的轻量化设计,无论从摄像机到转播系统,还是从转播系统到播出平台,5G实现了从有线到无线的部署能力,使得现场制作系统更加便携和机动,实际成本也会大幅下降。
同样,对于普通的网络视频制作者UP主们,5G也将带来福音。更多的高质量直播,借助于5G手机或者其他科技,可以以4K分辨率进行上传和播出,信号稳定可靠、成本低。这对于海量的互联网视频制作者来说,无疑是一大福音。我们可能在抖音、B站等视频平台,收看到越来越丰富、越来越平民化、内容多样的现场直播内容,特别是4K内容,对于我们的4K终端无疑是重要的内容输出通道,这也有助于推动中国4K更快速的普及。
“小型化”“轻量化”会成为制作领域的发展趋势,这一点毋庸置疑。并不是说这些轻量化的制作系统就能够取代过去广电的大型转播车,而是说,可以支持更多过去不便于实现现场制作的环境,能够通过小型化的5G+超高清转播系统完成便携化的直播制作。直播,相比于通过后期完成的节目,整体效率要高得多,可以几何级数增加内容总量,让观众具备更多的选择。海量直播必然会成为今后发展的主流趋势,这一点,对于国产的优质制作系统,也是一次成长的契机。
国造4K转播车为中超联赛直播赋能。
南都:4K花园与爱奇艺·奇遇VR在2022年推出了国内首个真8K+VR视频专区,专区中所有VR视频均由公司自主研发的VR拍摄系统“满天星”拍摄制作,包括2000+部超高清节目、500+小时真8K节目内容以及大量优质VR剧集、演唱会、纪录片,我们当时是在怎样的契机下开始做“满天星”系统?
于路:“满天星”系统的研发历程经历了几个阶段,首先是超高清产业国产化替代的需求,这个也是国家工信部、国家政策所支持和鼓励的,力推中国超高清产业快速发展。而在这个发展中,很重要的一点是要“国产化替代”过去广电影视制作领域的设备,之前基本上广电级别制作设备都来自于国外。我们也知道文化传播对中国来说是很重要的产业发展方向,我们不希望这个行业一直被国外技术所把持,所以在国产化这块我们一直在努力。
第二个原因,在这个时代,中国的互联网、移动通信的发展速度是极快的,这也促使中国的5G+超高清在协同高速发展。
在这一点上,我们相比欧美具备独特的优势,特别是在政府相关部门的大力推动和引导下,5G产业、超高清产业都是中国重点推动的方向,而5G与超高清相互加持,一方面更有助于超高清内容的普及,另一方面超高清技术也可以帮助5G技术更好地支撑跨行业的数字化转型。在这个方面,中国速度也被国外行业伙伴所认可。我们曾经前往欧洲做调研,对方的高层也提到他们本国的超高清发展恐怕需要漫长过程,而中国的超高清普及完全可以借助于5G的推进,实现跳跃式发展。
满天星8K+3D VR直播系统。
通过线上演唱会
培养观众的8K与5G感知度
南都:4K花园在疫情后推进了不少线上演唱会直播活动,为何会做这样的布局?
于路:事实上,线上演唱会4K直播从4K花园建立之初就已经展开,是4K花园最早的技术攻关和突破点。因为4K内容带给观众的视听震撼效果,借助于线上演唱会直播无疑是非常好的内容体验,这也有利于观众对于4K技术和价值的认可,有利于4K更好普及和发展。
4K花园的核心管理团队具备丰富的互联网从业经验,所以我们在优质内容直播和设计方面本身就具备先天的基因和优势。疫情之前,每年我们都会进行数十场的大型演唱会4K直播,也获得了非常好的行业及观众认可;疫情到来,线下演出中断,我们也适时规划启动了专为线上演艺设计的5G+4K+VR演唱会直播,通过与移动咪咕、华为、南方新媒体等展开合作,将5G技术、新的体验形式进行了更好的结合,为观众提供了新型的线上视听体验形式,同样获得了很好的反馈。
南都:如今,4K花园做线上演唱会直播都有了哪些新推进?和疫情前的演唱会直播有哪些差别?
于路:疫情开始之前,4K花园除了常规的4K演唱会公网直播外,也与三大运营商、华为、中兴等开展过一系列和合作,将5G技术更多应用于4K直播中。在初期,主要是作为替代卫星、专线的新型无线传输通道,实现大带宽的高质量4K直播能力。比较有代表性的案例是,2019年与国家大剧院、移动咪咕、华为、中兴、首都电影院等合作的5G+4K直播项目国家大剧院舞剧《天路》,真正实现了5G上下行的高带宽、低延时无线传输和高画质直播,这在当时也被认为是5G应用的标志性案例,为后来更多现场演艺内容基于5G的高效便携化直播提供了示范。
2020年随着疫情开始,线下演艺中断,我们就开始尝试基于静场演出进行现场制作和线上直播,同样是采用5G方式,但是在制作手段方面更趋于丰富,希望让线上观众能够获得与线下观看现场不一样的体验。
这里面主要也借助于5G大带宽的优势,提供了诸如多机位、多视角的4K直播(观众可以自己根据喜好选择观看视角),采用全新技术实现的8K多机位直播,以及5G+8K VR直播等,这些都在4K音乐现场大型直播中进行呈现。这也代表着5G+超高清向着更沉浸、更交互方向进行新的发展和尝试,我们也希望让观众获得更与众不同的体验,能够更好感知除了分辨率之外的更多新技术价值。
8K+VR演唱会直播,将成为未来主流趋势。
南都:2022年周杰伦、罗大佑、孙燕姿、老狼等著名歌手都举办了线上演唱会,让大众对线上演唱会的形式迅速感知。但也有不少观众质疑线上演唱会卡顿、不如现场,你怎么看这个问题?
于路:技术的发展需要一个过程,任何技术从起步到完成都不可能是一步到位的。目前可能我们所身处的还是5G发展的初期,网络条件、分发方式、平台升级,都需要一个过程,这个也希望观众们能够理解。
4K直播包括高清高码率的直播,都需要网络提供足够的上下行带宽保证。目前从直播现场向直播平台输送的上行节目信号,无论是卫星、专线或者5G,基本都能保证足量的带宽,因为基本是点对点的传输方式,并不需要考虑面向终端的海量分发,所以相对是稳定、可靠的。
但是从平台面向广大用户,这个过程的升级是涉及方方面面的,其中也包括成本的增加——更多5G基站的建设和覆盖,比如CDN(数据网络的内容分发网)分发的成本可能会随着带宽要求提升而大幅上升。对于运营商来说,当前的回报与前期的支出是否能成正比、是否能够平衡收支,都是需要去平衡和逐步解决的问题。同样,网络的升级建设,也是分批、分区域逐步去完成,所以难免在初期会出现各种各样的问题。
这个过程,就像我们今天可以轻松在4G网络下刷抖音、看视频一样,在十年前是不可想象的。从3G到4G,从4G到5G,都需要一个过程。一般无线通信每一代的升级大概是十年的周期,现在还只是处于5G的起步阶段,所以大家还是需要一点耐心,同样也可以去憧憬更好的未来。
5G下元宇宙赛道起飞
8K在VR里只是一个起点
南都:伴随着5G技术的推进,大家也经常聊“元宇宙”“虚拟现实”等话题,4K花园在这些方面有哪些新推进?
于路:前面我们所提到的,关于4K花园在超高清及5G时代前期的积累,包括应用技术、制作技术、相关研发等,其实都可以看作是为后面元宇宙时代的建设打下基础。原因就是,元宇宙内容建设,本身就需要超高清技术及高质量VR建设作为强大支撑。4K花园早先进行的8K直播及全流程制作经验积累,可以很好地转接到8K VR的前后期制作中来,实现无缝衔接。同时,我们团队在超高清、3D制作、VR制作等领域也都有相当的经验。所以8K+3D+VR的直播和内容创制策略就是将4K花园所有的优势相加,可以最大化释放我们的专业能力,同时带来最高规格的VR内容体验。
另外,从超高清发展角度来讲,我们近两年除了8K高端纪录片、常规直播制作外,也在开拓8K裸眼3D户外大屏,以及现在的8K VR内容和技术升级。其实这也是在寻找8K时代新的发展契机。可能对于家庭用户的电视大屏终端,8K几乎到了需求的上限;但对于360度视角的VR体验来说,8K分辨率可以认为是解决VR内容清晰度不足的起步和基础。随着技术升级,如果想满足VR头显端的内容体验实现超高清,可能分辨率还需要大幅提升,这也是我们所看好的超高清后续技术升级发展的重要突破点。
就目前的技术和制作能力来说,8K 3D VR可能已经是一个最高规格了,我们也以此为标准研发了一套8K 3D VR多机位现场转播制作系统,包括8K 3D VR摄像机、满天星8K VR服务器以及8K VR编码器等。最近我们在上海跟咪咕合作做“中国街舞大赛”的VR直播,我们就架设了6个机位的8K 3D VR摄像机,基于“满天星”的系统架构,实现了全链路的直播流程。
满天星系统应用到了街舞大赛直播中。
南都:4K花园在元宇宙赛道上可能会有哪些优势?
于路:4K花园在8K技术积累方面非常深厚,无论是现场转播、制作全流程以及软硬件开发方面,都具备了8K技术能力,拥有独立自主的解决方案。
同时,我们也主张生成和制作更多优质的8K乃至更高规格的VR内容,让用户在元宇宙体验初期可以通过VR头显终端感受到更具真实感和临场感的优质体验。我们在8K 3D VR直播以及通过满天星制作完成的各种VR自制内容方面,都是在这个点上发力,实现了规模化的优质内容输出。
当然,我们也在寻找新的突破点,例如将更多XR技术、全景声自由音频技术在未来结合进VR制作中,让观众能够获得更好的自由交互式体验。
我们也在评估和关注如虚拟数字人方面的技术和内容创制。但就目前的实际情况来说,高质量的直播体验,包括大量的虚拟场景植入,对于实际的算力要求还是过高,可能还无法达到理想的呈现效果,特别是基于8K乃至更高分辨率制作的算力要求,还是需要更强大的基础技术支撑,相信未来会有更好的体验升级出现。
8K+VR
在医疗、教育等多领域应用
南都:你刚刚一直强调的一个点,8K在VR里只是一个起点,我们还可以有更深的挖掘。未来8K+VR的应用还有哪些领域?
于路:内容生态合作方面,目前我们已经在与爱奇艺奇遇、移动咪咕、电信国脉等伙伴展开内容和直播技术方案的合作;演艺方面我们也在与多年的合作伙伴国家大剧院、中数传媒集团等进行项目方面的合作。
其他领域我们也在考虑,比如医疗、教育等。医疗方面,我们在与部分医院展开沟通,包括远程VR直播教学、手术VR直播,以及远程VR问诊等,进行综合解决方案的考量。8K 3D VR能够带来极其强烈的沉浸感和现场感,我举一个例子,我知道日本有一个厂家做3D医疗直播,有一种方式就是做成3D内窥镜探到人的腹腔内脏,通过3D方式投影到电视或大屏端,让大家可以戴眼镜看3D效果。为什么要看3D呢?就是因为3D双眼影像能拉大视差,观众能感受到逼真的距离和空间感,这时候你让医学生戴眼镜,他能感觉到真的像他把刀插进到人的内脏,带一些远近距离就是一个逼真的呈现。我们现在做的叫3D VR,也是双眼的,它的距离感是1:1的。
你想象一下,如果我们用3D内窥镜,我拍摄病人,或者我在手术台附近拍摄医生动刀,你的感受是什么?你就像站在手术台旁边,身临其境地看他动刀的距离,那种逼真感跟我们拿多机位转播去拍一场手术,再把每个细节放大缩小去呈现是不一样的。VR是把观众放在那了,就放在摄像机镜头的位置——这在我看来就是VR相较传统影视来说最大的价值。早年我在索尼时有关于高清3D技术在医疗直播方面的技术研讨,但是目前的8K 3D VR效果可以说相比当年是进一步的升级,所以在使用前景方面,我们还是非常看好的。
教育教学方面,同样也可以利用好8K 3D VR带来的沉浸感体验,将更多如生物、化学、历史、地理及其他需要通过演示效果来直观具象呈现的内容,包括互动式内容,通过VR来呈现,无疑是非常好的手段,这一点在VR领域应用已经能够看到很多的实际案例。同时,对于高等传媒院校相关专业,如数字媒体技术等,都可以将满天星系统作为VR内容创制学习的教具,也可以帮助师生更好地投入到高质量VR内容的创制和学习中来。
4K花园出品8K纪录片《万物之生》 制作场景。
南都:你刚介绍的更多像是在做To B端的服务,我们是否会有一些To C的案例可以介绍?
于路:目前VR产业所面临的一大问题,还是VR头显的普及率。确实VR头显的最终呈现效果,可能还没有达到最佳的体验,无论是显示效果,还是佩戴的体感等方面,这一定程度上影响了观众的选择,或者让他们无法实现长时间持久性的兴趣。这也是为什么我们首先从B端场景切入,因为直接面向C端,可能还是首先需要头显厂家和内容平台共同合作来攻克。
当然,目前国家也在大力推广VR和元宇宙相关领域在国内的发展,发布了《虚拟现实与行业应用融合发展行动计划(2022-2026年)》。未来5年,相信中国的虚拟现实产业将会有爆发式的增长。我们也将全力支持和配合行业的发展,贡献我们的力量。4K花园最终应该还是会把方向转向to C市场,不过还是要选择一个合适的时机、采取合适的方式,这块儿就让我们拭目以待吧。
在广东推进产业建设
超高清视频成十大战略性支柱产业之一
南都:4K花园是在什么契机下迁移到广东?
于路:4K花园在2017年底迁入广州,也是接受当时省领导的邀请,希望4K花园能够落户广州,参与到广东省超高清产业的建设大潮中来。作为当时国内最大的超高清内容生成和分发平台,4K花园也感受到这是一个非常好的发展契机。能够有幸参与到广东省的超高清产业建设,发挥所长,成为广东超高清内容输出的重要支撑,我们也倍感荣幸。在这几年中,我们看到了省市政府和相关部门对于整个产业投入的力量。他们对4K花园工作的指导和支持,也使我们获益匪浅。
8K+裸眼3D创意视频登陆广州市北京路户外8K大屏。
南都:4K花园还牵头创立了广东省超高清视频前端系统的创新中心,它主要的工作是什么?
于路:广东省超高清视频前端系统创新中心,是在省市工信领导下的、针对超高清产业前端制作系统和设备进行研发及建设产业合作联盟的一家机构,目前也是省级创新中心。创新中心主要任务是实现广电专业超高清制作设备和系统的国产化替代,特别是针对核心元器件、重点设备及系统集成方面,要逐步实现国产,避免出现被进口厂家卡脖子的局面。
创新中心是在2021年中成立,初期任务主要是完成市工信交给我们的重要任务,完成两辆国产大型超高清转播车的建设任务。目前项目已经基本完成,其中一辆转播车还参与了近期中超联赛海口赛区的公共信号直播制作任务。在今年4月底召开的广州世界超高清产业大会现场,这两辆大型国产超高清转播车应该会在现场进行展示,也欢迎大家能够现场参观交流指导。