1.本发明实施例涉及通信技术领域，尤其涉及一种丢包补偿方法、装置、电子设备及存储介质。


背景技术：

2.随着无线网络的迅速发展，越来越多的无线设备应用到人们的日常生活中，例如，无线蓝牙耳机、音像、音响等。但由于网络环境参差不齐，使得传输的音频数据由于网络抖动、网络故障、网络异常等情况，会出现丢包，从而使得音频数据中存在中断，导致用户的体验下降。
3.目前，为了降低音频数据的丢包率，会插入一个补偿包对丢失的数据包进行补偿。补偿包一般都很简单，比如静音包、噪音包或重复前面的包。但是，这样的补偿存在丢包导致的不连续感，只适合很小的丢包间隔和极低的丢包率。当丢包间隔较大或丢包率较高时，补偿得到的音频数据会明显异于原有音频数据的音频，使得补偿的音频数据的音效较差，亟需改进。


技术实现要素：

4.本发明提供一种丢包补偿方法、装置、电子设备及存储介质，可以提高补偿包的相关性和连续性，有较好的丢包隐藏效果。
5.第一方面，本发明实施例提供了一种丢包补偿方法，该方法包括：
6.若监测到丢包事件，则从缓存中获取历史语音包；
7.根据所述历史语音包，确定基音周期；
8.将所述历史语音包中的目标数据以所述基音周期进行延时，确定当前丢包的第一补偿包；
9.对所述第一补偿包进行平滑，得到当前丢包的第二补偿包，并将所述第二补偿包存入所述缓存中。
10.第二方面，本发明实施例还提供了一种丢包补偿装置，该述装置包括：
11.历史包获取模块，用于若监测到丢包事件，则从缓存中获取历史语音包；
12.周期确定模块，用于根据所述历史语音包，确定基音周期；
13.第一确定模块，用于将所述历史语音包中的目标数据以所述基音周期进行延时，确定当前丢包的第一补偿包；
14.第二确定模块，用于对所述第一补偿包进行平滑，得到当前丢包的第二补偿包，并将所述第二补偿包存入所述缓存中。
15.第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：
16.一个或多个处理器；
17.存储装置，用于存储一个或多个程序，
18.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理
器实现本发明任意实施例所述的丢包补偿方法。
19.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的丢包补偿方法。
20.本发明实施例提供的一种丢包补偿方法、装置、设备及存储介质，若监测到丢包事件，则从缓存中获取历史语音包；根据所述历史语音包，确定基音周期；将所述历史语音包中的目标数据以所述基音周期进行延时，确定当前丢包的第一补偿包；对所述第一补偿包进行平滑，得到当前丢包的第二补偿包，并将所述第二补偿包存入所述缓存中。本技术的技术方案，通过基音周期重复跨越丢包数据来完成丢包补偿，同时通过重叠相加的方法将补偿包进行平滑，保证了补偿包的相关性和连续性，有较好的丢包隐藏效果，为无线语音设备的丢包补偿提供了一种新思路。
附图说明
21.图1a为本发明实施例一提供的一种丢包补偿方法的流程图；
22.图1b为本发明实施例一提供的连续丢包补偿方案的框图；
23.图2a是本发明实施例二提供的一种丢包补偿方法的流程图；
24.图2b是本发明实施例二提供的基音周期检测的示意图；
25.图2c是本发明实施例二提供的重叠相加平滑方案的示意图；
26.图3是本发明实施例三提供的一种丢包补偿装置结构框图；
27.图4是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
28.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
29.实施例一
30.图1a为本发明实施例一提供的一种丢包补偿方法的流程图，本实施例可适用于传输音频数据时丢包的情况，尤其适用于无线语音设备传输的音频数据由于网络抖动、网络故障、网络异常等情况，出现丢包，从而使得音频数据中存在中断，导致用户的体验下降的情况。该方法可以由本发明实施例提供的丢包补偿装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。
31.具体的，如图1a所示，本发明实施例提供的丢包补偿方法，可以包括如下步骤：
32.s110、若监测到丢包事件，则从缓存中获取历史语音包。
33.其中，丢包是指一个或多个数据数据包的数据无法透过网上到达目的地。无线语音设备所处的网络环境参差不齐，在传输音频数据时，由于网络抖动、网络故障、网络异常等情况，会出现丢包的情况，则无法通过无线网络连接到达无线语音设备终端。其中，无线语音设备则包括无线蓝牙耳机、音箱等，无线方式包括2.4g、wifi、蓝牙等无线连接方式。
34.缓存中存储有历史语音包，所谓历史语音包，可以理解为在丢包前一段时间内传输的语音数据包。当监测到丢包事件时，需要从缓存中获取历史语音包，从而便于后续根据历史语音包确定补偿包。
35.s120、根据历史语音包，确定基音周期。
36.根据人声带震动的方式的不同，可以将声音信号分为清音和浊音。其中，浊音需要声带周期性震动，具有明显的周期性，这种声带振动的频率称为基音频率，相应的周期就为基音周期。人声的基音频率范围为65hz
‑
400hz，对应基音周期的范围为15ms
‑
2.5ms。
37.可选的，本技术可以采用平均幅度差法计算基音周期，使用平均幅度差法计算基音周期要比常用的自相关法和频域的倒谱法计算基音周期的计算复杂度低。
38.s130、将历史语音包中的目标数据以基音周期进行延时，确定当前丢包的第一补偿包。
39.人在说话时发音的音频在频域和幅度上是一个连续的渐变过程，音频数据在时间上有很多重复数据，这种特性被称为时间冗余特性。本发明实施例中的语音数据丢包的补偿方法利用该特性对丢失的数据包进行预测补偿，基于声音的渐变特性，近似认为相邻周期的基音周期相同或变化趋势是稳定的。
40.由此，可以根据历史语音包中的目标数据和基音周期，确定当前丢包的第一补偿包，也就是最接近丢失帧的补偿数据。具体的，可以将历史语音包中丢包前一基音周期的语音数据作为目标数据，将目标数据基于基音周期进行延迟，得到第一补偿包。
41.s140、对第一补偿包进行平滑，得到当前丢包的第二补偿包，并将第二补偿包存入缓存中。
42.如果直接利用第一补偿包进行丢包补偿，显然，补偿处的语音连续性较差。为了增强丢包补偿前后语音的连续性，可以对补偿包的语音数据进行平滑。示例性的，可以通过加窗，将第一补偿包的前1/2包数据与历史语音包中在其前一基音周期的后1/2包数据重叠相加，得到第二补偿包的前1/2包数据；也可以通过加窗，将第一补偿包的前1/4包数据与历史语音包中在其前一基音周期的后1/4包数据重叠相加，得到第二补偿包的前1/4包数据。需要说明的是，本实施例，并未对重叠相加的包的大小进行限定，可以根据实际情况进行调整。
43.本实施例的技术方案，若监测到丢包事件，则从缓存中获取历史语音包；根据历史语音包，确定基音周期；将历史语音包中的目标数据以基音周期进行延时，确定当前丢包的第一补偿包；对第一补偿包进行平滑，得到当前丢包的第二补偿包，并将第二补偿包存入缓存中。通过基音周期重复跨越丢包数据来完成丢包补偿，同时通过重叠相加的方法将补偿包进行平滑，保证了补偿包的相关性和连续性，有较好的丢包隐藏效果，为无线语音设备的丢包补偿提供了一种新思路。
44.在上述技术方案的基础上，若连续监测到丢包事件，则将连续丢包的各个补偿包的增益设置为逐帧递减。由于补偿的语音数据为非真实语音，减小其能量可以减小对真实语音的影响，避免引入更大的失真，因此，在监测到连续丢包事件时，对平滑后的第二补偿数据进行衰减能够得到更好的语音效果。如图1b所示为连续丢包补偿方案的框图。示例性的，将对连续丢包的补偿包增益逐帧递减80％，以避免引入更大的信号失真。公式表示为：
45.gain_scale＝(80％)
m
‑146.其中，gain_scale表示补偿帧的增益系数，m表示连续丢包个数。
47.实施例二
48.图2a为本发明实施例二提供的一种丢包补偿方法的流程图，该方法在上述实施例
的基础上进一步的优化，将“根据历史语音包，确定基音周期”优化为“根据历史语音包，计算平均幅度差，并确定最小平均幅度差；根据最小平均幅度差，确定采样点数；根据采样点数，确定基音周期。”。
49.具体的，如图2a所示，该方法包括：
50.s210、若监测到丢包事件，则从缓存中获取历史语音包。
51.无线语音设备所处的网络环境参差不齐，在传输音频数据时，由于网络抖动、网络故障、网络异常等情况，会出现丢包的情况，则无法通过无线网络连接到达无线语音设备终端。其中，无线语音设备则包括无线蓝牙耳机、音箱等，无线方式包括2.4g、wifi、蓝牙等无线连接方式。
52.缓存中存储有历史语音包，所谓历史语音包，可以理解为在丢包前一段时间内传输的语音数据包。当监测到丢包事件时，需要从缓存中获取历史语音包，从而便于后续根据历史语音包确定补偿包。本实施例中缓存的长度为45ms，为6个蓝牙包(7.5ms)的长度。
53.s220、根据历史语音包，计算平均幅度差，并确定最小平均幅度差。
54.根据人声带震动的方式的不同，可以将声音信号分为清音和浊音。其中，浊音需要声带周期性震动，具有明显的周期性，这种声带振动的频率称为基音频率，相应的周期就为基音周期。
55.本实施例采用平均幅度差法计算基音周期，计算过程如下：
[0056][0057]
其中，r
n
(k)为平均幅度差，x
n
表示缓存里面存的语音数据，k为采样点数。
[0058]
s230、根据最小平均幅度差，确定采样点数。
[0059]
使得平均幅度差r
n
(k)最小的k值即为检测到的基音周期对应的采样点数。
[0060]
s240、根据采样点数，确定基音周期。
[0061]
如k
min
在8khz采样率时为20，采样时间为2.5ms，k
max
在8khz采样率时为120，采样时间为15ms。根据采样点数，可以确定基音周期。如图2b所示，为基音周期检测的示意图。
[0062]
s250、将历史语音包中的目标数据以基音周期进行延时，确定当前丢包的第一补偿包。
[0063]
人在说话时发音的音频在频域和幅度上是一个连续的渐变过程，音频数据在时间上有很多重复数据，这种特性被称为时间冗余特性。本发明实施例中的语音数据丢包的补偿方法利用该特性对丢失的数据包进行预测补偿，基于声音的渐变特性，近似认为相邻周期的基音周期相同或变化趋势是稳定的。
[0064]
由此，可以根据历史语音包中的目标数据和基音周期，确定当前丢包的第一补偿包，也就是最接近丢失帧的补偿数据。具体的，可以将历史语音包中丢包前一基音周期的语音数据作为目标数据，将目标数据基于基音周期进行延迟，得到第一补偿包。
[0065]
s260、对第一补偿包进行平滑，得到当前丢包的第二补偿包，并将第二补偿包存入缓存中。
[0066]
如果直接利用第一补偿包进行丢包补偿，显然，补偿处的语音连续性较差。为了增强丢包补偿前后语音的连续性，可以对补偿包的语音数据进行平滑。如图2c所示，为重叠相加平滑方案的示意图。可以通过加窗，将第一补偿包的前1/2包数据与历史语音包中在其前
一基音周期的后1/2包数据重叠相加，得到第二补偿包的前1/2包数据，表示为：
[0067]
y1(n)＝y(n)*h(n)+x(n)*h(k
‑
n)，n＝0，1，2，
…
，k
[0068]
其中，k为1/2包的采样点数30(8khz采样率，每包60个点)，y(n)为第一补偿包的前1/2包，x(n)为前一基音周期的后1/2包。
[0069]
本实施例的技术方案，给出了基音周期的确定方式，通过最小幅度差法确定基音周期可以降低确定基音周期的复杂度，进而在通过基音周期重复跨越丢包数据来完成丢包补偿，同时通过重叠相加的方法将补偿包进行平滑，保证了补偿包的相关性和连续性的同时，提高了补偿效率。
[0070]
实施例三
[0071]
图3是本发明实施例三所提供的一种丢包补偿装置的结构示意图，该装置适用于执行本发明实施例提供的丢包补偿方法，可以保证补偿包的相关性和连续性。如图3所示，该装置包括历史包获取模块310、周期确定模块320、第一确定模块330和第二确定模块340。
[0072]
其中，历史包获取模块310，用于若监测到丢包事件，则从缓存中获取历史语音包；
[0073]
周期确定模块320，用于根据历史语音包，确定基音周期；
[0074]
第一确定模块330，用于将历史语音包中的目标数据以基音周期进行延时，确定当前丢包的第一补偿包；
[0075]
第二确定模块340，用于对第一补偿包进行平滑，得到当前丢包的第二补偿包，并将第二补偿包存入缓存中。
[0076]
本实施例的技术方案，若监测到丢包事件，则从缓存中获取历史语音包；根据历史语音包，确定基音周期；将历史语音包中的目标数据以基音周期进行延时，确定当前丢包的第一补偿包；对第一补偿包进行平滑，得到当前丢包的第二补偿包，并将第二补偿包存入缓存中。通过基音周期重复跨越丢包数据来完成丢包补偿，同时通过重叠相加的方法将补偿包进行平滑，保证了补偿包的相关性和连续性，有较好的丢包隐藏效果，为无线语音设备的丢包补偿提供了一种新思路。
[0077]
优选的，上述第二确定模块340，还具体用于通过加窗，将第一补偿包的前1/2包数据与历史语音包中在其前一基音周期的后1/2包数据重叠相加，得到第二补偿包的前1/2包数据。
[0078]
优选的，装置还包括：增益设置模块，用于若连续监测到丢包事件，则将连续丢包的各个补偿包的增益设置为逐帧递减。
[0079]
优选的，上述周期确定模块320具体包括：幅度差计算单元、采样点计算单元和周期确定单元。其中，幅度差计算单元，用于根据历史语音包，计算平均幅度差，并确定最小平均幅度差；采样点计算单元，用于根据最小平均幅度差，确定采样点数；周期确定单元，用于根据采样点数，确定基音周期。
[0080]
本发明实施例所提供的丢包补偿装置可执行本发明任意实施例所提供的丢包补偿方法，具备执行方法相应的功能模块和有益效果。
[0081]
实施例四
[0082]
图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图4显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0083]
如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0084]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mca)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0085]
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0086]
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd
‑
rom,dvd
‑
rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0087]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0088]
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0089]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的丢包补偿方法。
[0090]
实施例五
[0091]
本发明实施例5还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术任意发明实施例提供的丢包补偿方法。
[0092]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者
任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0093]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0094]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0095]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0096]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。