音频解码器装置及音频编码器装置
1.本技术是申请人为弗劳恩霍夫应用研究促进协会、申请日为“2015年8月14日”、申请号为“201580044544.0”、发明名称为“音频解码器装置及音频编码器装置”的分案申请。
技术领域
2.本发明涉及语音及音频编码,尤其涉及用于处理音频信号(对于其,输入和输出取样率从先前帧变化至当前帧)的音频编码装置以及音频解码装置。本发明还涉及操作此类装置的方法以及执行此方法的计算机程序。
背景技术:3.语音及音频编码能够得到具有多节奏(multi
‑
cadence)的输入及输出的好处,并且得到能够立即地且无缝地将一个取样率切换至另一取样率。传统的语音及音频编码器对于确定的输出比特率使用单取样率并且在不彻底重设系统时无法对其进行改变。这随后在通信中以及在解码信号中造成不连续。
4.另一方面,通过选择通常取决于源和信道条件的多个优化参数,适应性取样率以及比特率允许较高质量。随后,重要的是当改变输入/输出信号的取样率时实现无缝过渡。
5.此外,重要的是对于此过渡限制复杂度增加。现代语音及音频编解码器,如将至的跨lte网络的3gpp evs,将需要能够开发此功能。
6.高效的语音及音频编码器需要能够从时域至另一者改变其取样率以更好地适合于源与信道条件。取样率的改变对于连续线性滤波器尤其是个问题,其仅可以在它们的过去状态显示与当前时间区间相同的取样率用以滤波时应用。
7.更特别地,预测性编码随着时间和帧在编码器及解码器处维持不同的存储器状态。在码激励线性预测(celp,code
‑
excited linear prediction)中,这些存储器通常是线性预测编码(lpc)合成滤波器存储器、去加重滤波器存储器以及适应性码本。直接的方案是当取样率改变发生时重设全部存储器。这在解码信号中造成非常恼人的不连续。恢复可能是非常久且非常明显的。
8.图1示出根据现有技术的第一音频解码器装置。使用此音频解码器装置,当来源于非预测性编码方案时,无缝地切换至预测性编码是可能的。此可以通过对用于维持预测性编码器所需的滤波器状态的非预测性编码器的解码输出的反向滤波来进行。例如,在amr
‑
wb+及usac中进行,用于从基于变换的编码器、tcx切换至语音编码器、acelp。然而,在此两种编码器中,取样率是相同的。反向滤波可直接用在tcx的解码的音频信号上。此外,在usac及amr
‑
wb+中的tcx传送并利用也被反向滤波所需的lpc系数。lpc解码的系数在反向滤波计算中被简单地再使用。值得注意的是,如果使用相同的滤波器和相同的取样率在两个预测性编码器之间切换,则不需要反向滤波。
9.图2示出根据现有技术的第二音频解码器装置。在两个编码器具有不同取样率的情况下,或在相同的预测性编码器中但使用不同取样率切换的情况下,如图1所示的先前音频帧的反向滤波不再足够。直接的方案是将过去解码的输出再取样为新的取样率并且然后
通过反向滤波计算存储器状态。如果一些滤波器系数是取样率依赖的,如针对lpc合成滤波器的情况,则需要进行再取样的过去信号的额外分析。为了以新的取样率fs_2得到lpc系数,重新计算自相关函数且对再取样的过去解码的样本使用列文逊
‑
杜宾算法(levinson
‑
durbin algorithm)。此方案是计算苛刻的并且难以在实际实施中使用。
技术实现要素:10.待解决的问题在于提供用于在音频处理装置处切换取样率的改进概念。
11.在第一方面中,通过用于对比特流进行解码的音频解码器装置解决问题,其中音频解码器装置包括:
12.预测性解码器,用于从比特流产生解码的音频帧,其中预测性解码器包括用于从比特流产生用于解码的音频帧的一个或多个音频参数的参数解码器,并且其中预测性解码器包括用于通过合成用于解码的音频帧的一个或多个音频参数而产生解码的音频帧的合成滤波器装置;
13.存储器装置,包括一个或多个存储器,其中每个存储器用于存储用于解码的音频帧的存储器状态,其中一个或多个存储器的用于解码的音频帧的存储器状态被合成滤波器装置用来合成用于解码的音频帧的一个或多个音频参数;以及
14.存储器状态再取样装置,用于通过针对所述存储器中的一个或多个再取样用来合成用于先前解码的音频帧的一个或多个音频参数的先前存储器状态,为所述存储器中的一个或多个确定用来合成用于解码的音频帧的一个或多个音频参数的存储器状态,解码的音频帧具有取样率,先前解码的音频帧具有不同于解码的音频帧的取样率的先前取样率;并用于将用于所述存储器中的一个或多个的用来合成用于解码的音频帧的一个或多个音频参数的存储器状态存储于各个存储器中。
15.术语“解码的音频帧”指当前正在处理的音频帧,而术语“先前解码的音频帧”指在当前正在处理的音频帧之前被处理的音频帧。
16.本发明允许预测性编码方案切换其内部取样率(intern sampling rate),而无需再取样整个缓冲区,用以重新计算其滤波器的状态。通过直接仅对必要的存储器状态再取样,可维持低复杂度,而无缝过渡仍是可能的。
17.根据本发明的优选的实施例,一个或多个存储器包括用于存储适应性码本存储器状态的适应性码本存储器,该适应性码本存储器状态用来确定用于解码的音频帧的一个或多个激发参数;其中,存储器状态再取样装置用于通过再取样用来确定用于先前解码的音频帧的一个或多个激发参数的先前适应性码本状态,确定用来确定用于解码的音频帧的一个或多个激发参数的适应性码本状态,以及存储器状态再取样装置用于将用来确定用于解码的音频帧的一个或多个激发参数的适应性码本状态存储于适应性码本存储器中。
18.例如,适应性码本存储器状态用于celp装置中。
19.为了能够再取样存储器,在不同取样率下的存储器大小必须关于其覆盖的时间持续而相同。换言之,如果滤波器在取样率fs_2下具有m阶,在先前取样率fs_1下更新的存储器应覆盖至少m*(fs_1)/(fs_2)个样本。
20.由于在适应性码本的情况下存储器通常与取样率成比例,不论取样率如何其都覆盖解码的残余信号的大约最后20ms,无需进行额外的存储器管理。
21.根据本发明的优选的实施例,一个或多个存储器包括用于存储合成滤波器存储器状态的合成滤波器存储器,合成滤波器存储器状态用来确定用于解码的音频帧的一个或多个合成滤波器参数;其中,存储器状态再取样装置用于通过再取样用来确定用于先前解码的音频帧的一个或多个合成滤波器参数的先前合成存储器状态,确定用来确定用于解码的音频帧的一个或多个合成滤波器参数的合成存储器状态,以及存储器状态再取样装置用于将用来确定用于解码的音频帧的一个或多个合成滤波器参数的合成存储器状态存储于合成滤波器存储器中。
22.合成滤波器存储器状态可以是lpc合成滤波器状态,其可例如在celp装置中使用。
23.如果不论取样率如何存储器的阶数都不与取样率成比例或者甚至是常数,则需要进行额外的存储器管理,以能够覆盖尽可能的最大持续时间。例如,amr
‑
wb+的lpc合成状态阶数总是16。在12.8khz的最小取样率下,其覆盖1.25ms,而其在48khz下仅表示0.33ms。为了能够在介于12.8khz与48khz之间的任何取样率下再取样缓冲区,lpc合成滤波器状态的存储器必须从16个样本扩展至60个样本,其在48khz下表示1.25ms。
24.存储器再取样随后可由以下伪码描述:
25.mem_syn_r_size_old=(int)(1.25*fs_1/1000);
26.mem_syn_r_size_new=(int)(1.25*fs_2/1000);
27.mem_syn_r+l_syn_mem
‑
mem_syn_r_size_new=resamp(mem_syn_r+l_syn_mem
‑
mem_syn_r_size_old,mem_syn_r_size_old,mem_syn_r_size_new);
28.其中resamp(x,l,l)输出从1到l个样本再取样的输入缓冲区x,l_syn_mem是存储器可覆盖的样本的最大大小。在本例中其对于fs_2<=48khz等于60个样本。在任何取样率下,需要使用最后l_syn_mem个输出样本来更新mem_syn_r。
29.for(i=0;i<l_sym_mem;i++)
30.mem_syn_r[i]=y[l_frame
‑
l_syn_mem+i];
[0031]
其中y[]是lpc合成滤波器的输出,以及l_frame是在当前取样率下的帧的大小。
[0032]
然而,将通过使用从mem_syn_r[l_syn_mem
‑
m]到mem_syn_r[l_syn_mem
‑
1]的状态执行合成滤波器。
[0033]
根据本发明的优选的实施例,存储器再取样装置以此方式配置:相同的合成滤波器参数被用于解码的音频帧的多个子帧。
[0034]
最后帧的lpc系数通常用于以5ms的时间粒度对当前lpc系数进行内插。如果取样率变化,则无法进行内插。如果重新计算lpc,可以使用新计算的lpc系数进行内插。在本发明中,不能直接进行内插。在一个实施例中,在取样率切换之后,lpc系数未被内插于第一帧中。对全部5ms的子帧,使用系数的相同集合。
[0035]
根据本发明的优选的实施例,存储器再取样装置以此方式配置:通过将用于先前解码的音频帧的合成滤波器存储器状态变换至功率谱以及通过再取样功率谱,进行先前合成滤波器存储器状态的再取样。
[0036]
在此实施例中,如果最后的编码器也是预测性编码器或如果最后的编码器也传送lpc的集合,如tcx,可在新的取样率fs_2下估计lpc系数,而无需重进行整个lp分析。在取样率fs_1下的旧的lpc系数被变换至被再取样的功率谱。然后对从再取样的功率谱中推论出的自相关使用列文逊
‑
杜宾算法。
[0037]
根据本发明的优选的实施例,一个或多个存储器包括用于存储去加重存储器状态的去加重存储器,去加重存储器状态用来确定用于解码的音频帧的一个或多个去加重参数;其中,存储器状态再取样装置用于通过再取样用来确定用于先前解码的音频帧的一个或多个去加重参数的先前去加重存储器状态,确定用来确定用于解码的音频帧的一个或多个去加重参数的去加重存储器状态,以及存储器状态再取样装置用于将用来确定用于解码的音频帧的一个或多个去加重参数的去加重存储器状态存储于去加重存储器中。
[0038]
例如,去加重存储器状态也用在celp中。
[0039]
去加重通常具有1的固定阶数,其在12.8khz下表示0.0781ms。此持续时间在48khz下被3.75个样本覆盖。随后,如果采用上述方法,需要4个样本的存储器缓冲区。可选地,可通过绕过再取样状态使用近似法。可看到非常粗糙的再取样,其包括保持最后的输出样本,不论取样率差异如何。此近似在大部分时间是足够的并且可出于低复杂度原因而被使用。
[0040]
根据本发明的优选的实施例,一个或多个存储器以此方式配置:用于解码的音频帧的所存储的样本的数量与解码的音频帧的取样率成比例。
[0041]
根据本发明的优选的实施例,存储器再取样装置以此方式配置:通过线性内插进行再取样。
[0042]
再取样函数resamp()可以使用任何类型的再取样方法实现。在时域中,传统lp滤波器以及抽取/过取样(decimation/oversampling)是常见的。在优选的实施例中,可采用简单线性内插,关于质量其足以用于再取样滤波器存储器。其允许节省甚至更多的复杂度。也可以在频域中进行再取样。在最后的方案中,由于存储器仅是滤波器的起始状态,不需要注意块效应(block artefacts)。
[0043]
根据本发明的优选的实施例,存储器状态再取样装置用于从存储器装置检索用于所述存储器中的一个或多个的先前存储器状态。
[0044]
当以不同的内部取样率使用相同编码方案时,可使用本发明。例如,当信道的可用带宽受限时针对低比特率以12.8khz的内部取样率使用celp以及当信道条件较好时针对较高比特率切换至16khz的内部取样率使用celp时,可以是此情况。
[0045]
根据本发明的优选的实施例,音频解码器装置包括反向滤波装置,反向滤波装置用于在先前取样率下的先前解码的音频帧的反向滤波,以确定所述存储器中的一个或多个的先前存储器状态,其中存储器状态再取样装置用于从反向滤波装置检索用于所述存储器中的一个或多个的先前存储器状态。
[0046]
这些特征允许针对此种情况实施本发明,其中由非预测性解码器处理先前音频帧。
[0047]
在本发明实施例中,不在反向滤波之前使用再取样,而是直接再取样存储器状态自身。如果处理先前音频帧的在先解码器是预测性解码器如celp,由于先前存储器状态总是维持于先前取样率下,则不需要且可绕过反向解码。
[0048]
根据本发明的优选的实施例,存储器状态再取样装置用于从另一音频处理装置检索用于所述存储器中的一个或多个的先前存储器状态。
[0049]
另一音频处理装置可以例如是另一音频解码器装置或用于噪声生成装置的房间。
[0050]
当使用传统celp在12.8khz下编码活跃帧时以及当使用16khz噪声生成器(cng)建模不活跃部分时,可在dtx模式下使用本发明。
[0051]
例如,当结合在不同取样率下运行的tcx及acelp时可使用本发明。
[0052]
在本发明另一方面中,通过用于操作用于对比特流进行解码的音频解码器装置的方法解决问题,该方法包括以下步骤:
[0053]
使用预测性解码器从比特流产生解码的音频帧,其中预测性解码器包括用于从比特流产生用于解码的音频帧的一个或多个音频参数的参数解码器,以及其中预测性解码器包括用于通过合成用于解码的音频帧的一个或多个音频参数而产生解码的音频帧的合成滤波器装置;
[0054]
提供包括一个或多个存储器的存储器装置,其中每个存储器用于存储用于解码的音频帧的存储器状态,其中一个或多个存储器的用于解码的音频帧的存储器状态被合成滤波器装置用来合成用于解码的音频帧的一个或多个音频参数;
[0055]
通过针对所述存储器中的一个或多个再取样用来合成用于先前解码的音频帧的一个或多个音频参数的先前存储器状态,为所述存储器中的一个或多个确定用来合成用于解码的音频帧的一个或多个音频参数的存储器状态,解码的音频帧具有取样率,先前解码的音频帧具有与解码的音频帧的取样率不同的先前取样率;以及
[0056]
将用于所述存储器中的一个或多个的用来合成用于解码的音频帧的一个或多个音频参数的存储器状态存储于各个存储器中。
[0057]
本发明的另一方面中,通过计算机程序解决问题,当在处理器上运行时,计算机程序执行根据本发明的方法。
[0058]
在本发明提供的方面中,通过用于对成帧的音频信号进行编码的音频编码器装置解决问题,其中音频编码器装置包括:
[0059]
预测性编码器,用于从成帧的音频信号产生编码的音频帧,其中预测性编码器包括用于从成帧的音频信号产生用于编码的音频帧的一个或多个音频参数的参数分析器,以及其中预测性编码器包括用于通过合成用于解码的音频帧的一个或多个音频参数而产生解码的音频帧的合成滤波器装置,其中用于解码的音频帧的一个或多个音频参数是用于编码的音频帧的一个或多个音频参数;
[0060]
存储器装置,包括一个或多个存储器,其中每个存储器用于存储用于解码的音频帧的存储器状态,其中一个或多个存储器的用于解码的音频帧的存储器状态被合成滤波器装置用来合成用于解码的音频帧的一个或多个音频参数;以及
[0061]
存储器状态再取样装置,用于通过针对所述存储器中的一个或多个再取样用来合成用于先前解码的音频帧的一个或多个音频参数的先前存储器状态,为所述存储器中的一个或多个确定用来合成用于解码的音频帧的一个或多个音频参数的存储器状态,解码的音频帧具有取样率,先前解码的音频帧具有与解码的音频帧的取样率不同的先前取样率,以及存储器状态再取样装置用于将用于所述存储器中的一个或多个的用来合成用于解码的音频帧的一个或多个音频参数的存储器状态存储于各个存储器中。
[0062]
本发明主要关注音频解码器装置。然而,其也可以用在音频编码器装置处。的确,celp是基于综合分析(analysis
‑
by
‑
synthesis)原则,其中在编码器侧进行本地解码。为此,如针对解码器所描述的相同原则可在编码器侧使用。此外,在切换编码的情况下,例如acelp/tcx,基于变换的编码器可能需要在下一帧中编码切换的情况下甚至在编码器侧也能够更新语音编码器的存储器。为此,在基于变换的编码器中使用本地解码器,以用于更新
celp的存储器状态。这可以是,基于变换的编码器在与celp不同的取样率下运行,并且随后可在这种情况下使用本发明。
[0063]
应理解的是,音频编码器装置的合成滤波器装置、存储器装置、存储器状态再取样装置以及反向滤波装置等效于前述音频解码器装置的合成滤波器装置、存储器装置、存储器状态再取样装置以及反向滤波装置。
[0064]
根据本发明的优选的实施例,一个或多个存储器包括用于存储适应性码本状态的适应性码本存储器,适应性码本状态用来确定用于解码的音频帧的一个或多个激发参数;其中,存储器状态再取样装置用于通过再取样用来确定用于先前解码的音频帧的一个或多个激发参数的先前适应性码本状态,确定用来确定用于解码的音频帧的一个或多个激发参数的适应性码本状态,以及存储器状态再取样装置用于将用来确定用于解码的音频帧的一个或多个激发参数的适应性码本状态存储于适应性码本存储器中。
[0065]
根据本发明的优选的实施例,其中一个或多个存储器包括用于存储合成滤波器存储器状态的合成滤波器存储器,合成滤波器存储器状态用来确定用于解码的音频帧的一个或多个合成滤波器参数;其中,存储器状态再取样装置用于通过再取样用来确定用于先前解码的音频帧的一个或多个合成滤波器参数的先前合成存储器状态,确定用来确定用于解码的音频帧的一个或多个合成滤波器参数的合成存储器状态,以及存储器状态再取样装置用于将用来确定用于解码的音频帧的一个或多个合成滤波器参数的合成存储器状态存储于合成滤波器存储器中。
[0066]
根据本发明的优选的实施例,存储器状态再取样装置以此方式配置:相同的合成滤波器参数被用于解码的音频帧的多个子帧。
[0067]
根据本发明的优选的实施例,存储器再取样装置以此方式配置:通过将用于先前解码的音频帧的先前合成滤波器存储器状态变换至功率谱以及通过再取样功率谱,进行先前合成滤波器存储器状态的再取样。
[0068]
根据本发明的优选的实施例,一个或多个存储器包括用于存储去加重存储器状态的去加重存储器,去加重存储器状态用来确定用于解码的音频帧的一个或多个去加重参数;其中,存储器状态再取样装置用于通过再取样用来确定用于先前解码的音频帧的一个或多个去加重参数的先前去加重存储器状态,确定用来确定用于解码的音频帧的一个或多个去加重参数的去加重存储器状态,以及存储器状态再取样装置用于将用来确定用于解码的音频帧的一个或多个去加重参数的去加重存储器状态存储于去加重存储器中。
[0069]
根据本发明的优选的实施例,一个或多个存储器以此方式配置:用于解码的音频帧的所存储的样本的数量与解码的音频帧的取样率成比例。
[0070]
根据本发明的优选的实施例,存储器再取样装置以此方式配置:通过线性内插进行再取样。
[0071]
根据本发明的优选的实施例,存储器状态再取样装置用于从存储器装置检索用于所述存储器中的一个或多个的先前存储器状态。
[0072]
根据本发明的优选的实施例,音频编码器装置包括反向滤波装置,其用于先前解码的音频帧的反向滤波,以确定用于所述存储器中的一个或多个的先前存储器状态;其中存储器状态再取样装置用于从反向滤波装置检索用于所述存储器中的一个或多个的先前存储器状态。
[0073]
根据本发明的优选的实施例的音频编码器装置,其中存储器状态再取样装置用于从另一音频编码器装置检索用于所述存储器中的一个或多个的先前存储器状态。
[0074]
在本发明另一方面中,通过用于操作用于对成帧的音频信号进行编码的音频编码器装置的方法解决问题,该方法包括以下步骤:
[0075]
使用预测性编码器从成帧的音频信号产生编码的音频帧,其中预测性编码器包括用于从成帧的音频信号产生用于编码的音频帧的一个或多个音频参数的参数分析器,其中预测性编码器包括用于通过合成用于解码的音频帧的一个或多个音频参数而产生解码的音频帧的合成滤波器装置,其中用于解码的音频帧的一个或多个音频参数是用于编码的音频帧的一个或多个音频参数;
[0076]
提供包括一个或多个存储器的存储器装置,其中每个存储器用于存储用于解码的音频帧的存储器状态,其中一个或多个存储器的用于解码的音频帧的存储器状态被合成滤波器装置用来合成用于解码的音频帧的一个或多个音频参数;
[0077]
通过针对所述存储器中的一个或多个再取样用来合成用于先前解码的音频帧的一个或多个音频参数的先前存储器状态,为所述存储器中的一个或多个确认用来合成用于解码的音频帧的一个或多个音频参数的存储器状态,解码的音频帧具有取样率,先前解码的音频帧具有与解码的音频帧的取样率不同的先前取样率;以及
[0078]
将用于所述存储器中的一个或多个的用来合成用于解码的音频帧的一个或多个音频参数的存储器状态存储于各个存储器中。
[0079]
根据本发明的另一方面,通过计算机程序解决问题,当在处理器上运行时,计算机程序执行根据本发明的方法。
附图说明
[0080]
本发明的优选的实施例将随后参考附图进行讨论,其中:
[0081]
图1在示意图中示出根据现有技术的音频解码器装置的实施例;
[0082]
图2在示意图中示出根据现有技术的音频解码器装置的第二实施例;
[0083]
图3在示意图中示出根据本发明的音频解码器装置的第一实施例;
[0084]
图4在示意图中示出根据本发明的音频解码器装置的第一实施例的更多细节;
[0085]
图5在示意图中示出根据本发明的音频解码器装置的第二实施例;
[0086]
图6在示意图中示出根据本发明的音频解码器装置的第二实施例的更多细节;
[0087]
图7在示意图中示出根据本发明的音频解码器装置的第三实施例;以及
[0088]
图8在示意图中示出根据本发明的音频编码器装置的实施例。
具体实施方式
[0089]
图1在示意图中示出根据现有技术的音频解码器装置的实施例。
[0090]
根据现有技术的音频解码器装置1包括:
[0091]
预测性解码器2,用于从比特流bs产生解码的音频帧af,其中预测性解码器2包括用于从比特流bs产生用于解码的音频帧af的一个或多个音频参数ap的参数解码器3,并且其中预测性解码器2包括用于通过合成用于解码的音频帧af的一个或多个音频参数ap而产生解码的音频帧af的合成滤波器装置4;
[0092]
存储器装置5,包括一个或多个存储器6,其中存储器6中的每个用于存储用于解码的音频帧af的存储器状态ms,其中一个或多个存储器6的用于解码的音频帧af的存储器状态ms被合成滤波器装置4用来合成用于解码的音频帧af的一个或多个音频参数ap;以及
[0093]
反向滤波装置7,用于具有与解码的音频帧af相同的取样率sr的先前解码的音频帧paf的反向滤波。
[0094]
为了合成音频参数ap,合成滤波器4向存储器6发送询问信号is,其中询问信号is取决于一个或多个音频参数ap。存储器6回复响应信号rs,其取决于询问信号is以及用于解码的音频帧af的存储器状态ms。
[0095]
现有技术音频解码器装置的此实施例允许从非预测性音频解码器装置切换至如图1所示的预测性解码器装置1。然而,其仍需要非预测性音频解码器装置与预测性解码器装置1使用相同的取样率sr。
[0096]
图2在示意图中示出根据现有技术的音频解码器装置1的第二实施例。除了图1所示的音频解码器装置1的特征之外,图2所示的音频解码器装置1包括音频帧再取样装置8,其用于再取样具有先前取样率psr的先前音频帧paf,以产生具有取样率sr的先前音频帧paf,取样率sr是音频帧af的取样率sr。
[0097]
然后,通过参数分析器9分析具有取样率sr的先前音频帧paf,参数分析器9用于确定用于具有取样率sr的先前音频帧paf的lpc系数lpcc。然后,lpc系数lpcc被反向滤波装置7用于具有取样率sr的先前音频帧paf的反向滤波,以确定用于解码的音频帧af的存储器状态ms。
[0098]
此方案是计算苛刻的且难以在实际实施中使用。
[0099]
图3在示意图中示出根据本发明的音频解码器装置的第一实施例。
[0100]
音频解码器装置1包括:
[0101]
预测性解码器2,用于从比特流bs产生解码的音频帧af,其中预测性解码器2包括用于从比特流bs产生用于解码的音频帧af的一个或多个音频参数ap的参数解码器3,并且其中预测性解码器2包括用于通过合成用于解码的音频帧af的一个或多个音频参数ap而产生解码的音频帧af的合成滤波器装置4;
[0102]
存储器装置5,包括一个或多个存储器6,其中存储器6中的每个用于存储用于解码的音频帧af的存储器状态ms,其中一个或多个存储器6的用于解码的音频帧af的存储器状态ms被合成滤波器装置4用来合成用于解码的音频帧af的一个或多个音频参数ap;以及
[0103]
存储器状态再取样装置10,用于通过针对所述存储器6中的一个或多个再取样用来合成用于先前解码的音频帧paf的一个或多个音频参数的先前存储器状态pms,为所述存储器6中的一个或多个确定用来合成用于解码的音频帧af的一个或多个音频参数ap的存储器状态ms,解码的音频帧af具有取样率sr,先前解码的音频帧paf具有与解码的音频帧af的取样率sr不同的先前取样率psr;并用于将用于所述存储器6中的一个或多个的用来合成用于解码的音频帧af的一个或多个音频参数ap的存储器状态ms存储于各个存储器中。
[0104]
为了合成音频参数ap,合成滤波器4向存储器6发送询问信号is,其中询问信号is取决于一个或多个音频参数ap。存储器6回复响应信号rs,其取决于询问信号is以及用于解码的音频帧af的存储器状态ms。
[0105]
术语“解码的音频帧af”指当前正在处理的音频帧,而术语“先前解码的音频帧
paf”指在当前正在处理的音频帧之前被处理的音频帧。
[0106]
本发明允许预测性编码方案切换其内部取样率,而无需再取样整个缓冲区,以重新计算其滤波器的状态。通过直接仅对必要的存储器状态ms再取样,可维持低复杂度,而无缝过渡仍是可能的。
[0107]
根据本发明的优选的实施例,存储器状态再取样装置10用于从存储器装置5检索用于所述存储器6中的一个或多个的先前存储器状态pms;pams,psms,pdms。
[0108]
当以不同的内部取样率psr、sr使用相同的编码方案时,可使用本发明。例如,当信道的可用带宽受限时针对低比特率以12.8khz的内部取样率psr以及当信道条件较好时针对较高比特率切换至16khz的内部取样率sr使用celp时,可以是此情况。
[0109]
图4在示意图中示出根据本发明的音频解码器装置的第一实施例的更多细节。如图4所示,存储器装置5包括第一存储器6a,其是适应性码本6a、第二存储器6b,其是合成滤波器存储器6b、以及第三存储器6c,其是去加重存储器6c。
[0110]
音频参数ap被提供至激发模块11,激发模块11产生由延迟插入器12延迟的输出信号os,该输出信号os被发送至适应性码本存储器6a作为询问信号isa。适应性码本存储器6a输出响应信号rsa,其含有被提供至激发模块11的一个或多个激发参数ep。
[0111]
激发模块11的输出信号os被进一步提供至合成滤波器模块13,滤波器模块13输出输出信号os1。输出信号os1被延迟插入器14延迟并被发送至合成滤波器存储器6b作为询问信号isb。合成滤波器存储器13输出响应信号rsb,其含有被提供至合成滤波器存储器13的一个或多个合成参数sp。
[0112]
合成滤波器模块13的输出信号os1被进一步提供至去加重模块15,去加重模块15输出在取样率sr下的解码的音频帧af。音频帧af被延迟插入器16延迟并提供至去加重存储器6c作为询问信号isc。去加重存储器6c输出响应信号rsc,其含有被提供至去加重模块15的一个或多个去加重参数dp。
[0113]
根据本发明的优选的实施例,一个或多个存储器6a、6b、6c包括用于存储适应性码本存储器状态ams的适应性码本存储器6a,适应性码本存储器状态ams用于确定用于解码的音频帧af的一个或多个激发参数ep;其中,存储器状态再取样装置10用于通过再取样用来确定用于先前解码的音频帧paf的一个或多个激发参数的先前适应性码本存储器状态pams,确定用来确定用于解码的音频帧af的一个或多个激发参数ep的适应性码本存储器状态ams;并用于将用来确定用于解码的音频帧af的一个或多个激发参数ep的适应性码本存储器状态ams存储于适应性码本存储器6a中。
[0114]
例如,适应性码本存储器状态ams用在celp装置中。
[0115]
为了能够再取样存储器6a、6b、6c,在不同取样率sr、psr下的存储器大小需要关于其覆盖的时间持续而相同。换言之,如果滤波器在取样率sr下具有m阶,在先前取样率psr下更新的存储器应覆盖至少m*(psr)/(sr)个样本。
[0116]
在适应性码本的情况下,由于存储器6a通常与取样率sr成比例,其不论取样率如何都覆盖解码的残余信号的大约最后20ms,则不需要进行额外的存储器管理。
[0117]
根据本发明的优选的实施例,一个或多个存储器6a、6b、6c包括用于存储用于确定用于解码的音频帧af的一个或多个合成滤波器参数sp的合成滤波器存储器状态sms的合成滤波器存储器6b,其中存储器状态再取样装置1用于通过再取样用来确定用于先前解码的
音频帧paf的一个或多个合成滤波器参数的先前合成存储器状态psms,确定用来确定用于解码的音频帧af的一个或多个合成滤波器参数sp的合成滤波器存储器状态sms,并用于将用来确定用于解码的音频帧af的一个或多个合成滤波器参数sp的合成存储器状态sms存储于合成滤波器存储器6b中。
[0118]
合成滤波器存储器状态sms可以是lpc合成滤波器状态,其可例如在celp装置中使用。
[0119]
如果不论取样率如何存储器的阶数都不与取样率sr成比例或者甚至是常数,则需要进行额外的存储器管理,以能够覆盖尽可能的最大持续时间。例如,amr
‑
wb+的lpc合成状态阶数总是16。在12.8khz的最小取样率下,其覆盖1.25ms,而其在48khz下仅表示0.33ms。为了能够在介于12.8khz与48khz之间的任何取样率下再取样缓冲区,lpc合成滤波器状态的存储器需要从16个样本扩展至60个样本,这在48khz下表示1.25ms。
[0120]
存储器再取样随后可由以下伪码描述:
[0121]
mem_syn_r_size_old=(int)(1.25*psr/1000);
[0122]
mem_syn_r_size_new=(int)(1.25*sr/1000);
[0123]
mem_syn_r+l_syn_mem
‑
mem_syn_r_size_new=resamp(mem_syn_r+l_syn_mem
‑
mem_syn_r_size_old,mem
‑
syn_r_size_old,mem_syn_r_size_new);
[0124]
其中resamp(x,l,l)输出从1到l个样本再取样的输入缓冲区x,l_syn_mem是存储器可覆盖的样本的最大大小。在本例中其对于sr<=48khz.等于60个样本。在任何取样率下,需要使用最后l_syn_mem个输出样本来更新mem_syn_r。
[0125]
for(i=0;i<l_sym_mem;i++)
[0126]
mem_syn_r[i]=y[l_frame
‑
l_syn_mem+i];
[0127]
其中y[]是lpc合成滤波器的输出,以及l_frame是在当前取样率下的帧的大小。
[0128]
然而,将通过使用从mem_syn_r[l_syn_mem
‑
m]到mem_syn_r[l_syn_mem
‑
1]的状态执行合成滤波器。
[0129]
根据本发明的优选的实施例,存储器再取样装置10以此方式配置:相同的合成滤波器参数sp被用于解码的音频帧af的多个子帧。
[0130]
最后帧paf的lpc系数通常用于以5ms的时间粒度对当前lpc系数进行内插。如果取样率从psr变为sr,则无法进行内插。如果重新计算lpc,可以使用新计算的lpc系数进行内插。在本发明中,不能直接进行内插。在一个实施例中,当取样率切换之后,lpc系数未被内插于第一帧af中。对全部5ms的子帧,使用系数的相同集合。
[0131]
根据本发明的优选的实施例,存储器再取样装置10以此方式配置:通过将用于先前解码的音频帧paf的先前合成滤波器存储器状态psms变换至功率谱以及通过再取样功率谱,进行先前合成滤波器存储器状态psms的再取样。
[0132]
在此实施例中,如果最后的编码器也是预测性编码器或如果最后的编码器也传送lpc的集合,如tcx,可在新的取样率rs下估计lpc系数,而无需重进行整个lp分析。在取样率psr下的旧的lpc系数被变换至被再取样的功率谱。然后对从再取样的功率谱中推论出的自相关使用列文逊
‑
杜宾算法。
[0133]
根据本发明的优选的实施例,一个或多个存储器6a、6b、6c包括用于存储去加重存储器状态dms的去加重存储器6c,去加重存储器状态dms用于确定用于解码的音频帧af的一
个或多个去加重参数dp;其中,存储器状态再取样装置10用于通过再取样用来确定用于先前解码的音频帧paf的一个或多个去加重参数的先前去加重存储器状态pdms,确定用来确定用于解码的音频帧af的一个或多个去加重参数dp的去加重存储器状态dms,并用于将用来确定用于解码的音频帧af的一个或多个去加重参数dp的去加重存储器状态dms存储于去加重存储器6c中。
[0134]
去加重存储器状态例如也用在celp中。
[0135]
去加重通常具有1的固定阶数,其在12.8khz下表示0.0781ms。此持续时间在48khz下被3.75个样本覆盖。随后,如果采用上述方法,需要4个样本的存储器缓冲区。可选地,可通过绕过再取样状态使用近似法。可看到非常粗糙的再取样,其包括保持最后的输出样本,不论取样率差异如何。此近似大部分时间是足够的并且出于低复杂度原因可被使用。
[0136]
根据本发明的优选的实施例,一个或多个存储器6;6a,6b,6c以此方式配置:用于解码的音频帧af的所存储的样本的数量与解码的音频帧af的取样率sr成比例。
[0137]
根据本发明的优选的实施例,存储器状态再取样装置10以此方式配置:通过线性内插进行再取样。
[0138]
再取样函数resamp()可以使用任何类型的再取样方法实现。在时域中,传统lp滤波器以及抽取/过取样是常见的。在优选的实施例中,可采用简单线性内插,关于质量其足以用于再取样滤波器存储器。其允许节省甚至更多的复杂度。也可以在频域中进行再取样。在最后的方案中,由于存储器仅是滤波器的起始状态,不需要注意块效应。
[0139]
图5在示意图中示出根据本发明的音频解码器装置的第二实施例。
[0140]
根据本发明的优选的实施例,音频解码器装置1包括反向滤波装置17,其用于先前取样率psr下的先前解码的音频帧paf的反向滤波,以确定所述存储器6;6a,6b,6c中的一个或多个的先前存储器状态pms;pams,psms,pdms;其中存储器状态再取样装置用于从反向滤波装置检索用于所述存储器中的一个或多个的先前存储器状态。
[0141]
这些特征允许针对此情况实施本发明,其中由非预测性解码器处理先前音频帧paf。
[0142]
在本发明实施例中,在反向滤波之前不使用再取样,而是直接再取样存储器状态ms自身。如果处理先前音频帧paf的在先解码器是预测性解码器如celp,由于先前存储器状态pms总是维持于先前取样率psr下,则不需要且可绕过反向解码。
[0143]
图6在示意图中示出根据本发明的音频解码器装置的第二实施例的更多细节。
[0144]
如图6所示,反向滤波装置17包括预加重模块18、延迟插入器19、预加重存储器20、分析滤波器模块21、另一延迟插入器22、分析滤波器存储器23、另一延迟插入器24、以及适应性码本存储器25。
[0145]
先前取样率psr下的先前解码的音频帧paf被提供至预加重模块18以及延迟插入器19,从其中被提供至预加重存储器20。然后,先前取样率下的如此建立的先前去加重存储器状态pdms被传送至存储器状态再取样装置10以及预加重模块18。
[0146]
预加重模块18的输出信号被提供至分析滤波器模块21以及延迟插入器22,从其中被设置至分析滤波器存储器23。通过如此做法,先前取样率psr下的先前合成存储器状态psms被建立。然后,先前合成存储器状态psms被传送至存储器状态再取样装置10以及分析滤波器模块21。
[0147]
此外,分析滤波器模块21的输出信号被设置至延迟插入器24并进入适应性码本存储器25。由此,先前取样率psr下的先前适应性码本存储器状态pams可被建立,然后,先前适应性码本存储器状态pams可被传送至存储器状态再取样装置10。
[0148]
图7在示意图中示出根据本发明的音频解码器装置的第三实施例。
[0149]
根据本发明的优选的实施例,存储器状态再取样装置10用于从另一音频处理装置26检索用于所述存储器6中的一个或多个的先前存储器状态pms;pams,psms,pdms。
[0150]
另一音频处理装置26可以例如是另一音频解码器装置26或用于噪声生成装置的房间。
[0151]
当使用传统celp在12.8khz下编码活跃帧时以及当使用16khz噪声生成器(cng)建模不活跃部分时,可在dtx模式中使用本发明。
[0152]
例如,当结合在不同取样率下运行的tcx及acelp时可使用本发明。
[0153]
图8在示意图中示出根据本发明的音频编码器装置的实施例。
[0154]
音频编码器装置用于对成帧的音频信号fas进行编码。音频编码器装置27包括:
[0155]
预测性编码器28,用于从成帧的音频信号fas产生编码的音频帧eaf,其中预测性编码器28包括用于从成帧的音频信号fas产生用于编码的音频帧eav的一个或多个音频参数ap的参数分析器29,并且其中预测性编码器28包括用于通过合成用于解码的音频帧af的一个或多个音频参数ap而产生解码的音频帧af的合成滤波器装置4,其中用于解码的音频帧af的一个或多个音频参数ap是用于编码的音频帧eav的一个或多个音频参数ap;
[0156]
存储器装置5,包括一个或多个存储器6,其中存储器6中的每个用于存储用于解码的音频帧af的存储器状态ms,其中一个或多个存储器6的用于解码的音频帧af的存储器状态ms被合成滤波器装置4用来合成用于解码的音频帧af的一个或多个音频参数ap;以及
[0157]
存储器状态再取样装置10,用于通过针对所述存储器6中的一个或多个再取样用来合成用于先前解码的音频帧paf的一个或多个音频参数的先前存储器状态pms,为所述存储器6中的一个或多个确定用来合成用于解码的音频帧af的一个或多个音频参数ap的存储器状态ms,解码的音频帧af具有取样率sr,先前解码的音频帧paf具有与解码的音频帧af的取样率sr不同的先前取样率psr,并用于将用于所述存储器6中的一个或多个的用来合成用于解码的音频帧af的一个或多个音频参数ap的存储器状态ms存储于各个存储器6中。
[0158]
本发明主要关注音频解码器装置1。然而,其也可以用在音频编码器装置27处。的确,celp是基于综合分析(analysis
‑
by
‑
synthesis)原则,其中在编码器侧进行本地解码。为此,如针对解码器所描述的相同原则可在编码器侧使用。此外,在切换编码的情况下,例如acelp/tcx,基于变换的编码器可能需要在下一帧中编码切换的情况下甚至在编码器侧也能够更新语音编码器的存储器。为此,在基于变换的编码器中使用本地解码器,以用于更新celp的存储器状态。这可以是,基于变换的编码器在与celp不同的取样率下运行,并且随后可在这种情况下使用本发明。
[0159]
为了合成音频参数ap,合成滤波器4将询问信号is发送至存储器6,其中询问信号is取决于一个或多个音频参数ap。存储器6回复响应信号rs,其取决于询问信号is以及用于解码的音频帧af的存储器状态ms。
[0160]
应理解的是,音频编码器装置27的合成滤波器装置4、存储器装置5、存储器状态再取样装置10以及反向滤波装置17等效于前述音频解码器装置1的合成滤波器装置4、存储器
装置5、存储器状态再取样装置10以及反向滤波装置17。
[0161]
根据本发明的优选的实施例,存储器状态再取样装置10用于从存储器装置5检索用于所述存储器6中的一个或多个的先前存储器状态pms。
[0162]
根据本发明的优选的实施例,一个或多个存储器6a、6b、6c包括用于存储适应性码本状态ams的适应性码本存储器6a,适应性码本状态ams用来确定用于解码的音频帧af的一个或多个激发参数ep;其中,存储器状态再取样装置10用于通过再取样用来确定用于先前解码的音频帧paf的一个或多个激发参数ep的先前适应性码本存储器状态pams,确定用来确定用于解码的音频帧af的一个或多个激发参数ep的适应性码本状态ams,并且用于将用来确定用于解码的音频帧af的一个或多个激发参数ep的适应性码本存储器状态ams存储于适应性码本存储器6a中。参见图4及前述与图4相关的说明。
[0163]
根据本发明的优选的实施例,一个或多个存储器6a、6b、6c包括用于存储用来确定用于解码的音频帧af的一个或多个合成滤波器参数sp的合成滤波器存储器状态sms的合成滤波器存储器6b;其中,存储器状态再取样装置10用于通过再取样用来确定用于先前解码的音频帧paf的一个或多个合成滤波器参数的先前合成存储器状态psms,确定用来确定用于解码的音频帧af的一个或多个合成滤波器参数sp的合成存储器状态sms,并用于将用来确定用于解码的音频帧af的一个或多个合成滤波参数sp的合成存储器状态sms存储于合成滤波器存储器6b中。参见图4及前述与图4相关的说明。
[0164]
根据本发明的优选的实施例,存储器状态再取样装置10以此方式配置:相同的合成滤波器参数sp被用于解码的音频帧af的多个子帧。参见图4及与前述图4相关的说明。
[0165]
根据本发明的优选的实施例,存储器再取样装置10以此方式配置:通过将用于先前解码的音频帧paf的先前合成滤波器存储器状态psms变换至功率谱以及通过再取样功率谱,进行先前合成滤波器存储器状态psms的再取样。
[0166]
根据本发明的优选的实施例,一个或多个存储器6;6a,6b,6c包括用于存储去加重存储器状态dms的去加重存储器6c,去加重存储器状态dms用来确定用于解码的音频帧af的一个或多个去加重参数dp;其中,存储器状态再取样装置10用于通过再取样用来确定用于先前解码的音频帧paf的一个或多个去加重参数的先前去加重存储器状态pdms,确定用来确定用于解码的音频帧af的一个或多个去加重参数dp的去加重存储器状态dms,并用于将用来确定用于解码的音频帧af的一个或多个去加重参数dp的去加重存储器状态dms存储于去加重存储器6c中。参见图4及前述与图4相关的说明。
[0167]
根据本发明的优选的实施例,一个或多个存储器6a,6b,6c以此方式配置:用于解码的音频帧af的所存储的样本的数量与解码的音频帧的取样率sr成比例。参见图4及前述与图4相关的说明。
[0168]
根据本发明的优选的实施例,存储器再取样装置10以此方式配置:通过线性内插进行再取样。参见图4及前述与图4相关的说明。
[0169]
根据本发明的优选的实施例,音频编码器装置27包括反向滤波装置17,其用于先前解码的音频帧paf的反向滤波,以确定用于所述存储器6中的一个或多个的先前存储器状态pms,其中存储器状态再取样装置10用于从反向滤波装置17检索用于所述存储器6中的一个或多个的先前存储器状态pms。参见图5及前述与图5相关的说明。
[0170]
关于反向滤波装置17的细节,参见图6及前述与图6相关的说明。
[0171]
根据本发明的优选的实施例,存储器状态再取样装置10用于从另一音频处理装置检索用于所述存储器6;6a,6b,6c中的一个或多个的先前存储器状态pms;pams,psms,pdms。参见图7及前述与图7相关的说明。
[0172]
关于所述实施例的解码器以及编码器以及方法,以下被提及:
[0173]
虽然已经在装置的上下文中描述一些方面,显而易见的是,这些方面也代表对应方法的描述,其中模块或装置对应于方法步骤或方法步骤的特征。类似地,在方法步骤的上下文中描述的方面也代表对应装置的对应模块或项或特征的描述。
[0174]
根据某些实施需求,可以以硬件或软件实施本发明的实施例。可使用具有与可编程计算机系统协作(或能够协作)的电子可读控制信号存储于其上的数字存储介质例如软盘、dvd、cd、rom、prom、eprom、eeprom或闪存,执行此实施,从而执行各个方法。
[0175]
根据本发明的一些实施例包括具有能够与可编程计算机系统协作的电子可读控制信号的数据载体,从而执行在此描述的方法的一个。
[0176]
一般地,本发明的实施例可作为具有程序代码的计算机程序产品被实施,当计算机程序产品在计算机上运行时,可操作程序代码用于执行方法的一个。程序代码可例如被存储于机器可读载体上。
[0177]
其他实施例包括用于执行在此描述的方法的一个的计算机程序,计算机程序被存储于机器可读载体或非瞬时存储介质上。
[0178]
换言之,本发明方法的实施例因而是具有程序代码的计算机程序,当计算机程序在计算机上运行时,程序代码用于执行在此描述的方法的一个。
[0179]
本发明方法的另一实施例因而是数据载体(或数字存储介质、或计算机可读介质),其包括记录于其上的用于执行在此描述的方法的一个的计算机程序。
[0180]
本发明方法的另一实施例因而是表示用于执行在此描述的方法的一个的计算机程序的数据流或信号序列。此数据流或信号序列可以例如被配置为经由数据通信连接例如因特网来传输。
[0181]
另一实施例包括处理构件,例如,计算机或可编程逻辑设备,用于或适于执行在此描述的方法的一个。
[0182]
另一实施例包括具有安装在其上的计算机程序的计算机,计算机程序用于执行在此描述的方法的一个。
[0183]
在一些实施例中,可编程逻辑设备(例如,现场可编程逻辑门阵列)可以被用于执行在此所述方法的一些或全部功能。在一些实施例中,现场可编程逻辑门阵列可与微处理器协作,以执行在此所述方法的一个。一般地,可通过任意硬件装置有利地执行方法。
[0184]
虽然本发明已关于多个实施例进行论述,存在落入本发明的范围的修改、变形及等效。应注意的是,实施本发明的方法及组成有许多可选方式,因此以下所附权利要求应被理解为包括如落入本发明的真正精神及范围的所有此类修改、变形及等效。
[0185]
附图标记:
[0186]
1:音频解码器装置
[0187]
2:预测性解码器
[0188]
3:参数解码器
[0189]
4:合成滤波器装置
[0190]
5:存储器装置
[0191]
6:存储器
[0192]
7:反向滤波装置
[0193]
8:音频帧再取样装置
[0194]
9:参数分析器
[0195]
10:存储器状态再取样装置
[0196]
11:激发模块
[0197]
12:延迟插入器
[0198]
13:合成滤波器模块
[0199]
14:延迟插入器
[0200]
15:去加重模块
[0201]
16:延迟插入器
[0202]
17:反向滤波装置
[0203]
18:预加重模块
[0204]
19:延迟插入器
[0205]
20:预加重存储器
[0206]
21:分析滤波器模块
[0207]
22:延迟插入器
[0208]
23:分析滤波器存储器
[0209]
24:延迟插入器
[0210]
25:适应性码本存储器
[0211]
26:另一解码器
[0212]
27:音频编码器装置
[0213]
28:预测性编码器
[0214]
29:参数分析器
[0215]
bs:比特流
[0216]
af:解码的音频帧
[0217]
ap:音频参数
[0218]
ms:用于音频帧的存储器状态
[0219]
sr:取样率
[0220]
paf:先前解码的音频帧
[0221]
is:询问信号
[0222]
rs:响应信号
[0223]
psr:先前取样率
[0224]
lpcc:线性预测编码系数
[0225]
pms:先前存储器状态
[0226]
ams:适应性码本存储器状态
[0227]
ep:激发参数
[0228]
pams:先前适应性码本存储器状态
[0229]
os:激发模块的输出信号
[0230]
sms:合成滤波器存储器状态
[0231]
sp:合成滤波器参数
[0232]
psms:先前合成滤波器存储器状态
[0233]
os1:合成滤波器的输出信号
[0234]
dms:去加重存储器状态
[0235]
dp:去加重参数
[0236]
pdms:先前去加重存储器状态
[0237]
fas:成帧的音频信号
[0238]
eaf:编码的音频帧