关闭

杜比发布个性化耳机音频渲染方案

2022-04-28 11:08


 杜比发布个性化耳机音频渲染方案

 虚拟预演公司第三楼推出基于游戏引擎的动画制作工具集

 英伟达增强支撑数字孪生应用的AI平台与计算服务


                   

【点睛】

沉浸式音频是高新技术格式电影的核心组成要素,近年来发展极其迅猛。在视音频远程跨域协同制作需求持续增强的背景下,离开专业混音棚的声音制作人员可采用个性化音频渲染方案通过耳机实现沉浸式音频监听,有效提升制作效率与质量。


沉浸式音频类型主要分为三类:基于声道(Channel Based Audio, CBA)、基于对象(Object Based Audio, OBA)和基于场景(Scene Based Audio, SBA)。随着解码终端算力持续增强,后两类沉浸式音频可利用个性化适配硬件终端的能力,结合实时渲染计算技术,突破传统扬声器阵列还音方式,实现耳机和VR/AR等多元化终端的沉浸式音频体验。


01


杜比发布个性化耳机音频渲染方案



杜比公司于近日发布了一款基于手机应用程序的个性化音频渲染方案,以改善在耳机上监听沉浸式全景声(Atmos)格式时的聆听体验。


图片

耳机音频渲染


通过耳机创建空间音频内容需要经过“双耳渲染”过程,该过程允许耳机通过两个立体声通道创建空间和维度感知。头部相关传递函数(Head-Related Transfer Function, HRTF)是双耳渲染的核心算法,表示人体头部和耳部结构对来自不同音源方位的声音的滤波效果。


目前大多数双耳渲染工具都依赖于代表平均物理特性的人工头HRTF,而每个人的HRTF模型和默认HRTF模型之间存在物理差异,这将导致不同的人在听相同内容时的听觉体验有所差异。


图片

头部相关传递函数(HRTF)


杜比全景声个性化渲染应用程序PHRTF Creator通过测量用户的耳朵和头部物理数据,采用多达50000个点来创建个性化的头部相关传递函数(HRTF),用户可将生成的声学图加载到杜比全景声渲染器,以获得与自身特征相契合的空间听感体验。


这一渲染方式适用于在线游戏、音乐、电影和电视行业内工作的专业人士,有助于在不具备专业混音棚的情况下对全景声音频实现精准监听,便于远程或居家制作沉浸式音频。













02


虚拟预演公司第三楼推出基于游戏引擎的动画制作工具集

                


美国影视虚拟预演制作公司第三楼(The Third Floor)近日成立动画组,并推出一组服务动画制作的工具集,实现利用游戏引擎将早期预演内容制作成电影质量、风格化的动画成片。


图片

第三楼动画制作工具


该工具集综合了传统动画制作与游戏引擎的技术优势,基于虚幻引擎(UE)实现实时渲染角色、环境、特效等。用户可将资产放入共享开发沙盒(Sandbox),在场景内和场景间设置相关技术细节,例如摄影机位置、计时、光照、调色、材质等,最终制作完成动画成片,可根据目标设备输出包括4K杜比视界版本在内的多种格式。


第三楼称,通常动画长片在制作过程中,受制于制作成本和时间,创作者不能随意反复修改方案,使用该工具集制作动画则能够有效提升效率,用较小的代价对预演资产进行持续迭代,最终形成符合创意要求的动画成片,最高可减少70%的成片渲染与审看次数。


图片

动画短片《Skytribe》


第三楼还发布了首部利用该工具集制作的动画短片,以展示包括摄影机运动、面部建模、面部与身体动画制作等多项功能。


03


英伟达增强支撑数字孪生应用的AI平台与计算服务

                


数字孪生是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。


近日在GPU技术大会(GTC 2022)上,英伟达(NVIDIA)公布了在硬件、系统软件、平台、应用框架等方面的解决方案,用于加速数字孪生产业发展,利用硬件算力推动元宇宙创建。


图片

英伟达产品架构图


OVX计算系统


英伟达Omniverse是一个用于3D设计和多GPU实时仿真的数字孪生协作平台,为推动Omniverse落地,英伟达发布了用于驱动大规模数字孪生的OVX计算系统。


第一代OVX服务器由8个英伟达A40 GPU、3个英伟达ConnectX-6 Dx 200Gbps网卡、2个Intel IceLakeCPU、1TB系统内存和16TB NVMe存储组成,结合高性能GPU加速计算、图形处理和人工智能技术,配备高速存储访问、低延迟网络、精确计时功能,可用于模拟复杂的数字孪生,以构建建筑、工厂、城市等模型。


通过英伟达Spectrum-3交换机架构连接32台OVX服务器则可构成OVX SuperPOD,加速大规模数字孪生模拟。


第二代OVX服务器架构正在开发中,将从优化骨干网络入手,研制可在所有端口之间公平分配带宽、提供自适应路由和拥塞控制的交换机,以显著提升数据中心的整体吞吐量。