1.本技术总体涉及计算机模拟和其他应用中的音响效果(“sx”)渲染。


背景技术：

2.音响效果(sfx)广泛用于计算机模拟(诸如计算机游戏)中以提供逼真的音频。sfx不是对话，并且在一些情况下也不是音乐，而是用于强调或增强游戏内容的人工创建的声音。“人工创建”包括使用合成器和其他设备创建的sfx以及以“有机”方式创建的录制材料，例如来自自然的声音、来自foley会话的声音等。在特定情况下，sfx可能仅包括人工创建的声音，并且可能排除音乐。
3.通常，游戏设计师从供应商处购买他们期望使用的音响效果，并且然后将sfx酌情用于他们的游戏中。sfx还可用于包含交互元素的任何产品或体验中，所述产品或体验除了计算机模拟之外还包括基于位置的娱乐、交互电影、增强现实(ar)/虚拟现实(vr)和其他扩展现实(xr)体验，以及包括汽车部门的工业部门中的应用。


技术实现要素：

4.如本文所理解的，游戏设计师和具有sfx的应用程序的其他设计师无法修改他们购买的sfx的内部工作方式，除非购买全新的sfx或要求供应商以游戏设计师期望的方式修改sfx。因此，本发明原理向诸如游戏设计师的客户提供“多音轨容器”作为数字音频工作站(daw)会话，所述会话列出制作该音响所需的各种音轨以及该音响隐含的其他信息。换句话说，多音轨容器包含每个音响的“制作方法”。
5.以此方式，客户可修改sfx，而不必购买新音响或返回到音响供应商以请求他们做出期望的改变，这可能需要大量的反复操作。相反，游戏设计师可在管理音响本身的变化时践行更大的灵活性。因此，通过借助于作为单个产品的daw不仅提供sfx的音频文件(诸如.wav文件)而且提供所有隐含信息，游戏设计师在游戏开发中被给予了更大的灵活性。
6.应注意，此外，多音轨容器可导入到sfx创作工具/渲染引擎(诸如来自audiokinetic公司的wave works interactive sound engine(wwise))中，也可向游戏设计师提供所述sfx创作工具/渲染引擎以获得完整的解决方案，从而允许游戏设计师“在背景中”修改sfx。
7.因此，在一个方面，一种装置包括：至少一个处理器，所述至少一个处理器编程有用于进行以下项的指令：访问至少第一音响效果(sfx)wav文件，所述文件具有至少第一音轨和第二音轨并且由sfx的供应商提供。所述指令能够执行来进行以下项：将所述第一sfx文件与关于所述第一音轨和第二音轨的音轨修改信息捆绑以建立多音轨容器。所述音轨修改信息用于修改所述sfx文件。所述指令能够执行来进行以下项：将所述多音轨容器传输到计算机应用程序的至少第一开发者的至少一个计算机，以使得所述第一开发者能够以第一方式更改所述第一sfx文件以用于在由所述第一开发者开发的第一计算机应用程序中进行渲染。
8.在一些实施方案中，所述指令能够执行来进行以下项：将所述多音轨容器传输到计算机应用程序的至少第二开发者，以使得所述第二开发者能够以不同于所述第一方式的第二方式更改所述第一sfx文件。
9.在非限制性示例中，所述处理器在所述sfx的供应商的计算机中实现。
10.如果需要的话，所述第一开发者的所述计算机可编程有用于进行以下项的指令：在所述第一计算机应用程序中渲染所述第一sfx。所述第一开发者的所述计算机可编程有用于进行以下项的指令：在所述第一计算机模拟运行时使用所述音轨修改信息来修改所述第一sfx，和/或与所述第一计算机模拟的运行时离线地使用所述音轨修改信息来修改所述第一sfx。应注意，当提供离线修改时(这可被认为是制作阶段)，所有内容都以可能的最高分辨率(通常以脉冲编码调制格式(.wav))递送和创作，而在运行时阶段(其中存储器在运行时可能是有限资源)递送时，大多数sfx可使用由音响引擎或平台的操作系统(os)支持的编解码器(codec)(例如像vorbis、opus、adpcm、atrac9(playstation特定的codec)、xma(xbox特定的codec)和aac(apple特定的))中的一者进行压缩。
11.所述指令可能够执行来进行以下项：将sfx渲染引擎传输到所述第一开发者的所述计算机。所述sfx渲染引擎可包括sfx创作工具。
12.在示例性实现方式中，所述音轨修改信息可针对所述第一音轨和所述第二音轨包括相应的第一音轨修改信息和第二音轨修改信息，使得所述第一开发者能够与所述第二音轨分开地修改所述第一音轨。例如，所述第一音轨修改信息可包括以下项中的一者或多者：延迟、音量、衰减、压缩、失真、混响、声场定位、滤波器、时间伸缩、音高移位。所述sfx文件可包括三个或更多个音轨。
13.在另一个方面，一种方法包括：建立多音轨容器，所述多音轨容器具有第一多音轨音响效果(sfx)文件和用于所述第一多音轨sfx文件中的多个音轨中的至少一些音轨的信息，音轨修改信息用于修改相应的音轨。所述方法包括：向第一计算机应用程序的至少第一开发者提供所述多音轨容器，以允许所述第一开发者以第一方式使用所述音轨修改信息来修改所述第一多音轨sfx文件以用于在所述第一计算机应用程序中进行渲染。
14.在另一个方面，游戏开发者计算机包括：至少一个处理器，所述至少一个处理器配置有能够执行来进行以下项的指令：接收至少第一数据结构，所述至少第一数据结构包括：来自音响效果(sfx)的供应商的具有至少第一音轨和第二音轨的至少第一sfx文件，以及关于所述第一音轨和第二音轨的音轨修改信息。所述指令能够执行来进行以下项：使用所述音轨修改信息来更改所述第一sfx文件；并且在由第一开发者开发的第一计算机应用程序中渲染所述sfx文件。
15.可参考附图来最佳地理解本技术的关于其结构和操作的细节，在附图中，相同的参考数字是指相同的部分，并且在附图中：
附图说明
16.图1是包括根据本发明原理的示例的示例性系统的框图；
17.图2是示例计算机音响效果供应系统的框图；
18.图3以示例性流程图格式示出了与本发明原理一致的示例性总体逻辑；
19.图4至图6是示出了sfx用户接口(ui)的屏幕截图；
20.图7示出了将示例性sfx的四个音轨渲染为单个音轨；
21.图8示出了将示例性sfx的四个音轨渲染为多个音轨；
22.图9示出了可由多个游戏设计师制作的相同sfx的多个变型；并且
23.图10以示例性流程图格式示出了与本发明原理一致的示例性运行时渲染逻辑。
具体实施方式
24.本公开总体涉及计算机生态系统，其包括消费型电子(ce)装置网络的各个方面，诸如但不限于计算机游戏网络。本文的系统可包括服务器和客户端部件，所述服务器和客户端部件可通过网络进行连接，使得可在客户端与服务器部件之间交换数据。客户端部件可包括一个或多个计算装置，所述一个或多个计算装置包括游戏控制台(诸如sony 或由microsoft或nintendo或其他制造商制造的游戏控制台)、虚拟现实(vr)头戴式耳机、增强现实(ar)头戴式耳机、便携式电视(例如，智能tv、支持互联网的tv)、便携式计算机(诸如膝上型计算机和平板计算机)、以及包括智能电话和下面讨论的另外示例的其他移动装置。这些客户端装置可在多种操作环境下操作。例如，一些客户端计算机可采用例如linux操作系统、来自microsoft的操作系统、或unix操作系统、或由apple公司或google生产的操作系统。这些操作环境可用于执行一个或多个浏览程序，诸如由microsoft或google或mozilla制造的浏览器，或者可访问由下文所讨论的互联网服务器托管的网站的其他浏览器程序。而且，可使用根据本发明原理的操作环境来执行一个或多个计算机游戏程序。
25.服务器和/或网关可包括一个或多个处理器，所述一个或多个处理器执行配置服务器以通过诸如互联网的网络来接收和传输数据的指令。或者，客户端和服务器可通过本地内联网或虚拟专用网络连接。服务器或控制器可由游戏控制台(诸如sony )、个人计算机等实例化。
26.可通过网络在客户端与服务器之间交换信息。为此，并且出于安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储装置和代理，以及用于可靠性和安全性的其他网络基础设施。一个或多个服务器可形成一种设备，所述设备实现向网络成员提供安全社区(诸如在线社交网站)的方法。
27.处理器可以是可通过各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑的单芯片或多芯片处理器。
28.一个实施方案中包括的部件可以任何适当的组合用于其他实施方案中。例如，本文中所描述和/或图中所描绘的各种部件中的任一者可组合、互换或排除出其他实施方案。
[0029]“具有a、b和c中的至少一者的系统”(同样地，“具有a、b或c中的至少一者的系统”和“具有a、b、c中的至少一者的系统”)包括以下系统：仅具有a；仅具有b；仅具有c；同时具有a和b；同时具有a和c；同时具有b和c；和/或同时具有a、b和c等。
[0030]
现在具体地参考图1，示出了示例性系统10，其可包括上文所提及和下文根据本发明原理进一步描述的示例性装置中的一者或多者。系统10中包括的示例性装置中的第一者是诸如音频视频装置(avd)12的消费型电子(ce)装置，诸如但不限于带有tv调谐器(等效地，控制tv的机顶盒)的支持互联网的tv。替代地，avd 12还可以是计算机化的支持互联网的(“智能”)电话、平板计算机、笔记本计算机、hmd、可穿戴的计算机化的装置、计算机化的
支持互联网的音乐播放器、计算机化的支持互联网的头戴式电话、计算机化的支持互联网的可植入装置(诸如可植入皮肤装置)等。无论如何，应理解，avd 12被配置为采用本发明原理(例如，与其他ce装置通信以采用本发明原理，执行本文描述的逻辑，以及执行本文描述的任何其他功能和/或操作)。
[0031]
因此，为了采用此类原理，avd 12可以由在图1中示出的部件中的一些或全部建立。例如，avd 12可包括一个或多个显示器14，所述一个或多个显示器可由高清晰度或超高清晰度(“4k”)或更高的平面屏幕实现，并且可以是支持触摸的，以用于经由显示器上的触摸来接收用户输入信号。avd 12可包括：一个或多个扬声器16，其用于根据本发明原理输出音频；以及至少一个另外的输入装置18(诸如音频接收器/传声器)，其用于向avd 12输入可听命令以控制avd 12。示例性avd 12还可包括一个或多个网络接口20，其用于在一个或多个处理器24的控制下通过至少一个网络22(诸如互联网、wan、lan等)进行通信。还可包括图形处理器24a。因此，接口20可以是但不限于wi-fi收发器，所述wi-fi收发器是无线计算机网络接口的示例，诸如但不限于网状网络收发器。应理解，处理器24控制avd 12来采用本发明原理，包括本文描述的avd 12的其他元件，诸如控制显示器14以在显示器上呈现图像以及从显示器接收输入。此外，应注意，网络接口20可以是有线或无线调制解调器或路由器或其他适当接口(诸如无线电话收发器，或如上所提及的wi-fi收发器等)。
[0032]
除前述内容之外，avd 12还可包括一个或多个输入端口26，诸如用于物理地连接到另一个ce装置的高清晰度多媒体接口(hdmi)端口或usb端口和/或用于将耳机连接到avd 12以用于通过耳机将来自avd 12的音频呈现给用户的耳机端口。例如，输入端口26可经由电线或无线地连接到音频视频内容的有线或卫星源26a。因此，源26a可以是单独的或集成的机顶盒或卫星接收器。或者，源26a可以是包含内容的游戏控制台或盘播放器。源26a在实现为游戏控制台时可包括下文关于ce装置44描述的部件中的一些或全部。
[0033]
avd 12还可包括不是瞬时信号的一个或多个计算机存储器28，诸如基于磁盘的存储装置或固态存储装置，所述一个或多个计算机存储器在一些情况下在avd的机壳中体现为独立装置，或者体现为在avd的机壳内部或外部的用于回放av节目的个人视频记录装置(pvr)或视频磁盘播放器，或者体现为可移除存储器介质。而且在一些实施方案中，avd 12可包括位置或定位接收器(诸如但不限于手机接收器、gps接收器和/或高度计30)，所述位置或定位接收器被配置为从卫星或手机基站接收地理位置信息并且向处理器24提供所述信息和/或结合处理器24确定avd 12被设置处于的高度。部件30还可由惯性测量单元(imu)实现，惯性测量单元(imu)通常包括加速度计、陀螺仪和磁力计的组合，以确定avd 12在三个维度中的位置和取向。
[0034]
继续avd 12的描述，在一些实施方案中，根据本发明原理，avd 12可包括一个或多个相机32，所述一个或多个相机32可以是热成像相机、数字相机(诸如网络摄像头)和/或集成到avd 12中并且能够由处理器24控制以收集图片/图像和/或视频的相机。avd 12上还可包括蓝牙收发器34和其他近场通信(nfc)元件36，以用于分别使用蓝牙和/或nfc技术与其他装置进行通信。示例性nfc元件可以是射频识别(rfid)元件。
[0035]
更进一步地，avd 12可包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器诸如加速度计、陀螺仪、回转计或磁传感器、红外(ir)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。avd 12可包括无线tv广
interactive sound engine(wwise)。使用在客户计算机200上执行的创作工具，在框308处，客户游戏开发者使用随附于sfx文件的相应音轨修改信息来根据需要做出和管理对sfx文件的改变。
[0043]
现在转向图4，其示出了可在显示器400(诸如本文所述的任何显示器)上提供的屏幕截图。屏幕截图示出了与sfx文件(诸如wav或mp3文件)相关联的音轨修改信息。如图所示，音轨修改信息示出了构成sfx文件的多个音轨，在所示的示例中为低音音轨402、ac gtr音轨404、eg音轨406、pad01音轨408、lead vox eng音轨410和back end音轨412。可针对每个音轨呈现相应音响图像414，这表示该音轨对整个sfx文件的特定贡献。
[0044]
此外，屏幕截图示出了：可针对每个音轨呈现音轨的参数416。参数包括但不限于音量、延迟、衰减、压缩、失真和混响、声场定位、滤波器、时间伸缩、音高移位。总之，以上所有信息都可视为随附于sfx多音轨文件的音轨修改信息，并且诸如游戏开发者的应用开发者可修改任何此类信息。因此，游戏开发者可修改单个音轨的参数，从而修改单个音轨对sfx的音响贡献，并且可根据需要删除单个音轨，并对音轨建立的sfx文件做出其他修改。
[0045]
这在图5中进一步示出，其示出了在所示的示例中可使用wwise呈现在例如图2所示的客户应用开发者计算机204或本文公开的其他显示器上的屏幕截图500。为了简单起见，图5示出了用于编辑的四个音轨502。针对每个相应音轨提供编辑选择器504，以实现修改单个音轨或从最终sfx文件中删除某些音轨，其示例性音频图示出在图6的屏幕截图600中，如以602指示的。图6还指示可呈现sfx输出参数604，包括但不限于信道配置、补偿增益、修剪开始、修剪结束、覆盖wav循环点以及循环开始和结束时间、交叉淡变持续时间和交叉淡变形状、标记输入模式、标记检测灵敏度、淡入持续时间、淡入曲线和淡出持续时间。应注意，在非限制性示例中，这些输出参数604也可以是多音轨容器202中每个音轨的音轨修改信息的一部分。
[0046]
使用本文讨论的任何信息，游戏开发者可诸如通过添加或删除音轨的高频分量或低频分量来修改多音轨sfx以改变音轨之间的延迟、任何给定音轨的幅度、任何给定音轨的衰减以及任何音轨的滤波。一个音轨可以淡入或淡出或者完全删除。压缩、混响、声场定位、滤波器、时间伸缩、音高移位和失真可添加到一个或多个音轨。可通过指定一些音轨在前置扬声器上播放、指定另一些音轨在后置扬声器上播放等来适应环绕音响。
[0047]
图7示出了具有被渲染成单个sfx音响704的四个音轨702的简化sfx 700。例如，假设sfx 700用于脚步(鞋踏步)。一个音轨702可以用于鞋刮擦路面的音响，另一个音轨可以用于撞击路面的鞋跟音响，另一个音轨可以是鞋头撞击路面，并且另一个音轨可以用于在角色走路时衣服的哗哗声。
[0048]
图8示出了：可组合一些音轨800来渲染音响效果的第一层802，同时可组合另一些音轨804来渲染sfx的第二层806。渲染可离线地完成，其中游戏设计师可在渲染到单个音频文件之前根据他们的喜好修改/混合内容，所述音频文件将然后导入到音响引擎(例如wwise)中。
[0049]
或者，如图8所示，可根据游戏调用在游戏回放运行时完成渲染。本质上，声音设计师能够将多音轨会话导入到渲染引擎(诸如wwise)中，然后将一些音轨重新组合在一起，声音设计师在所述音轨上加入实时参数控制(rtpc)以及游戏引擎在运行时触发的状态。rtpc和状态是游戏引擎应用程序编程接口(api)调用的音响设计师友好的抽象。
[0050]
图9示出了sfx的视觉表示，所有这些都源自通用多音轨容器，以表明不同游戏设计师可对同一sfx做出许多不同的修改。
[0051]
图10示出了上面讨论的运行时逻辑。从框1000开始，可在运行时接收多音轨容器。在框1002处接收由游戏情况驱动的游戏调用。移动到框1004，访问所调用的sfx。前进到框1006，使用音轨修改信息，修改容器中的sfx文件，并且在框1008处渲染经修改的sfx。
[0052]
将了解，虽然已经参考一些示例性实施方案描述了本发明原理，但这些实施方案不意图为限制性的，并且可使用各种替代布置来实现本文所要求保护的主题。