1.本公开总体上涉及机器人与人的通信,并且具体地涉及机器人与人的通信中的降噪。
背景技术:2.机器人通常是由计算机或电子程序引导的机电机器。机器人可以用于广泛的应用,以及通常被认为是它们在工业应用中的使用的背景下。近来,机器人在人
‑
机器人交互领域的使用已经增加,以及多个人
‑
机器人交互可以受多种因素影响,诸如机器人识别由用户说出的话语的能力,以及机器人解释话语以及以适当的行为回应的能力。
3.为了对于人
‑
机器人交互提供更自然的环境,可能希望对于机器人提供姿态以及口头表达,以实现更自然的通信过程。向机器人的能力添加姿态,会带来额外的挑战,这种挑战能够影响机器人系统识别由用户说出的话语以及适当地解释话语的能力。
4.已经针对这些和其它一般考虑描述了实施例。尽管相对具体问题也已经被讨论,实施例不应被限制为解决在背景中识别的特定的问题。
技术实现要素:5.下面在简单的摘要中呈现为了提供对本文中描述的一些方面的基本理解。该摘要不是权利要求的主题内容的全面概述。旨在识别权利要求的主题内容的要点或重要元件,而不是旨在描绘其范围。其单独的目的是以简单的形式呈现一些概念作为后面呈现的更详细的描述的序言。
6.根据本公开的一个方面,用于在机器人系统中降噪的方法包括:获取要由机器人执行的姿态;接收输入音频,输入音频包括来自用户的音频以及由机器人执行姿态而引起的机器人噪声;从姿态库取回与姿态相关的噪声简档;以及应用噪声简档以从输入音频中移除机器人噪声。
7.在一些实施例中,姿态库包括多个预定姿态,机器人可能被期望执行该姿态。每个预定姿态与噪声简档配对,用于在机器人执行姿态时接收到包括用户音频的输入音频的情况下移除机器人噪声。
8.根据另一方面,在机器人系统中用于降噪的装置包括处理器以及被耦合到处理器以及处理用于由处理执行的指令的处理器。指令当由处理器执行是使得装置以:获取要由机器人执行的姿态;接收输入音频,输入音频包括来自用户的音频以及由机器人执行姿态而引起的机器人噪声;从姿态库取回与姿态相关联的噪声简档,以及应用噪声简档以从输入音频中移除机器人噪声。
9.根据另一方面,计算机可读介质包括计算机可执行指令,其中,当由计算机执行时,使得计算机执行在计算机系统中用于降噪的方法,其中机器人执行姿态。方法包括接收机器人正在执行姿态的指示;获取输入音频,输入音频包括与由机器人执行姿态而引起的机械机器人噪声混合的用户话语;从包括与噪声简档配对的多个预定的姿态姿态库取回与
姿态相关联的噪声简档;以及向音频输入应用噪声简档,以移除由机器人执行姿态而引起的机械机器人噪声。
附图说明
10.根据本发明的各种实施例将参考附图来描述,在附图中:
11.图1示出了机器人系统的示例性示意图,其中文中描绘的主题事件可以被实施。
12.图2示出了根据本公开的实施例的在机器人系统中的用于降噪的方法的流程图。
13.图3a示出了根据本公开的实施例的姿态的符号表示的类型的示意图。
14.图3b示出了机器人的主体部分的示例符号。
15.图4示出了指示用于根据本公开的实施例为姿态库的创建姿态噪声简档对的原理图。
16.图5示出了根据本公开的实施例的适合于实施在机器人系统中的降噪的计算机装置的示例性部件的高等级图示。
具体实施方式
17.在下面的详细描述中,参考附图被作为其一部分的附图,以及其中以示例性的方式示出了具体实施例。充分详细地描述这些实施例以使得本领域技术人员能够实践这些技术。其它实施例可以被利用,并且可以在不脱离本发明的精神及范围的情况下做出结构,逻辑及电改变。因此,下面的详细描述不应被认为是限制性的,并且范围仅由所附权利要求及其等同物限定。附图中相同的附图标记表示相同的部件从使用的上下文中是显然的。
18.图1示出了根据本公开的实施例的机器人系统400的示意图。如图1所示,机器人系统400通常包括机器人100,装置10以及服务器300。装置10可以控制机器人以执行各种姿态,通过,例如,向机器人100发送命令以控制马达/致动器110,使机器人100的主体部分以特定的方式定向。
19.除了执行姿态,机器人100可以例如是聊天机器人,其姿态伴随由机器人100说出的话语以在用户50以及机器人100之间提供更自然的、综合的以及有效的通信环境。在机器人
‑
人通信期间,用户50可以通过话语/话语或其他表达方式递送信息来和机器人100交互。包括用户50的话语的输入音频由机器人通过麦克风30接收,麦克风30可以或可以不嵌入在机器人200内。服务器300可以包括用于处理用户话语的语音识别模块310。服务器300可以是基于云的计算机的形式,例如,具有语音识别能力,用于交谈机器人和用户50的语言/话语交互的交谈智能。
20.装置10能够控制机器人100以执行预定数目的不同姿态。装置10接收来自服务器300的处理信息并且解释处理后的信息以控制机器人100执行特定的姿态。装置10包括动作控制模块14,该动作控制模块接收来自服务器300的处理信息并生成控制机器人100以特定方向移动一个或多个机器人本体部分以执行姿态的命令。例如,该命令可以是指示机器人100如何定向其正在移动的本体部位的一系列关节角度。
21.机器人100从装置10接收命令以及执行命令以执行由多个马达/致动器110操作的姿态。马达/致动器110以由装置100指导的形式定向机器人主体部分。此外,机器人100可以具有在这些涉及执行来自预定数目的不同姿态的姿态之外的动作控制能力。例如,机器人
100可以具有平衡能力,一旦未预期的运动在姿态执行期间发生。附加运动控制能力可以通过装置10的运动控制模块14完成,或可以是由机器人100自身的内部动作系统独立于装置10执行的运动控制。马达/致动器110(例如,伺服和/或步进马达)、变压器、柔性底盘以及连接、液压、机器人内部的腔回波、齿轮等,涉及在姿态控制、操作或移动函数产生机械噪声20。
22.在机器人
‑
人交互的过程期间,对于用户50当机器人执行姿态时期望和机器人100通信是自然的。例如,在用户50以及机器人500的正常交谈过程期间,用户50可以开始做出表达或向机器人100提问,继而期望获取回应。机器人100的回应可以包括由机器人100执行的姿态。当机器人100执行该姿态时,用户50可以期望对机器人100讲话(例如,询问后续问题)。为了实现在机器人100以及用户50之间的更自然的以及更平滑的通信过程,机器人系统400应当能够响应于来自用户50的、在机器人100执行姿态时发出的话语。然而,如果当机器人100执行姿态用户讲话,由麦克风30接收包括用户的话语/语言信号的输入音频,与由机器人100的姿态的执行引起的机械噪声混合。输入音频中机械噪声20的存在降低了服务器300的语音识别模块310提供的语音识别服务的性能,从而降低了机器人系统400理解和响应用户话语的能力。
23.根据本公开的不同的实施例,机器人系统100的语言识别系统针对由机器人的微处理器30感知的话语/语言信号由减少内部机械噪声改善,导致音频内容的信噪比的增长。本公开的各种实施例提供一种姿态库,其中机器人100被期望执行的姿态与噪声简档配对。在知晓机器人100可以被命令执行的姿态的情况下,可以取回相应的噪声简档以移除与用户50的声音混合的机械噪声成分。
24.本文中描述的主题的示例性实施将参考机器人系统400被描述,然而机器系统400仅出于说明的目的被描述,而没有暗示对如本文中描述的主题的任何限制。例如,这些想法和原则也适用于独立的机器。
25.图2示出了根据本公开的实施例在机器人系统400中用于降噪的方法。例如方法可以在根据图1所示的装置10上被执行。根据图示出的装置10可以是客户端设备或基于云的设备,或它可以是图1所示的服务器300或机器人100的一部分。方法也可以包括附加的未示出的行为和/或省略示例性步骤。本文中描述的主题事件的范围不限于此方面。
26.方法将参考图1以及图2被描述,在201,获取要由机器人100执行的姿态。姿态可以是机器人100能够执行的预定姿态中的一个姿态。例如,姿态可以由姿态的符号表示来表示。符号表示可以是数字信号格式,其中机器人100的主体部分的定向由如下符号来表示,该符号可以被装置100解释以生成对于机器人100的指示以在特定的方式来定向其主体部分。
27.本公开的实施例中,每个由机器人100执行的姿态可以使用姿态话语被表示,其中符号被用于代表机器人主体部分的定向。姿态话语优选是与机器无关的(或与硬件无关的),其中话语可以被解释以及被编译,而与机器人100执行姿态的类型无关。将被机器人100执行的特定的姿态可以例如,由服务器300通过姿态话语模块320来确定。服务器300可以继而提供要由机器人执行到装置10的姿态的符号表示
28.例如,服务器300可以利用将可以由机器人100形成的多个预定姿态与姿态的符号表示配对的库。因此,姿态话语模块320可以确定要由机器人100执行的适当姿态,并将姿态
的符号表示发送到设备10。然而,本公开不限于这种方式。例如,设备10自身可以备选地执行该功能。
29.机器人系统400可以使用的一种示例性姿态话语是拉班记谱法(labanotation)。图3a以及3b示出了用于执行姿态的典型的拉班记谱法。拉班记谱法是用于记录人体运动的符号系统,其中符号定义了各个主体部分的方向。拉班记谱法在文中特别地定义了机器人100的至少一个主体部分相对于多个时隙301的定向。拉班记谱法是独立于机器的以及因此可以由多种不同类型的硬件(或机器人)实施。此外,作为简明的符号表示,容易通过有限的通信信道在机器人和云计算机(例如,服务器300)之间传输拉班记谱法。拉班记谱法通常也需要比其它类型的表示更小的存储器。
30.在一些实施例中,通过连续被捕获/记录的姿态,可以确定机器人100的至少一个主体部分在多个时隙301中的定向,以及继而对应于该定向的符号可以被获取。此后,与相应时隙301相关联的,作为拉班记谱法的一部分的符号可以被保存。
31.在一些实施例中,至少一个主体部分包括多个主体部分,并且拉班记谱法包括对应于多个时隙301的第一维度和对应于多个主体部分的第二维度。图3a示出了表示特定姿态的这种标记。在该拉班记谱法中,每一列对应于一个特定的主体部分,诸如左手、左臂、支撑、右臂、右手、头部。每行对应于具有给定持续时间的时隙。此外,符号表示主体部分在那时被定向到哪一方向。注意到,图3a中的样本拉班记谱法仅作为说明的目的而示出,而不暗示对本文所述主题的范围的任何限制。换句话说,也可能涉及更多主体部分的,更复杂的拉班记谱法。
32.在202处,设备10可以使得机器人执行姿态。一旦设备10获取了将被执行的姿态,设备10指示机器人100定向其主体部分以执行特定姿态。例如,装置10可以从服务器300处接收姿态的符号表示,以及基于符号表示,确定关节角度以及指示机器人100以控制其马达110到特定的关节角度。机器人100的各种电动机110移动机器人100的特定部分,使得机器人100执行姿态。
33.通过执行由设备提供的指令的过程,在提供姿态中涉及的机器人100的马达110以及机械部件涉及提供产生可由麦克风30接收的产生机械噪声20的姿态。当在203中麦克风30接收到包括机器人系统400应当与之交互的用户音频(例如,用户话语)的输入音频时,该噪声20变得有问题。在这种情况下,来自用户的输入音频可以是执行语音识别的音频,以便机器人系统400确定其应当如何响应用户的话语。当输入音频被接收而机械噪声20由马达110以及机器人100的移动主体部分产生时,机械噪声20于输入音频混合。机械噪声在输入音频中的出现可以减少语音识别服务的执行,输入音频中机械噪声20的存在可能降低由服务器300的语音识别模块310提供的语音识别服务的性能,机器人系统400使用该语音识别服务来理解和响应用户话语的含义。
34.为了减少由麦克风30接收到并与输入信号混合的机械机器人噪声20,在204中,用于从输入音频中移除机械机器人噪声20的噪声简档inm
n
被取回。噪声简档最终用于消除和机器人100的姿态的执行相关联的机械噪声20,当在s205中,噪声简档被应用。通过消除来自输入音频的机械噪声20,输入音频的信噪比被改善,这增强了语音识别模块310的能力以识别、翻译以及有效地响应于用户被包含在输入音频中的话语
35.在本公开的实施例中,噪声简档从姿态库12中被取回,其中姿态(la1、la2、
…
、la
n
)
与噪声简档(inm1、inm2、
…
、inm
n
)配对。姿态库12包括机器人100被期望去执行的、用于和用户50交互的有限数目的姿态(即,多个预定的姿态(la1、la2、
…
、la
n
))。对于这些姿态中的每个,姿态库12包括噪用于消除由机器人100的执行姿态lan而引起的机械噪声20的噪声简档inm
n
。在应用205噪声简档inm
n
将移除由机器人100执行姿态la
n
而引起的机械噪声20时,与姿态的执行相关联的噪声信号可以例如与输入音频不同相地混合以获取更清晰的音频信号,该音频信号更好的表示当机器人100执行姿态时由用户50说出的话语。
36.在姿态由符号表示,诸如拉班记谱法la
n
表示的实施例中,姿态库12可以将每个噪声简档(inm1、inm2、
…
、inm
n
)索引至引起噪声20的姿态的拉班记谱法表示,噪声简档inm
n
是针对该噪声20被创建的。在这种情况下,当服务器300提供特定的拉班记谱法la
n
时,装置可以基于从服务器300接收的拉班记谱法la
n
,从姿态库12调取适当的噪声简档lnm
n
。
37.在示例性实施例中,每个噪声简档(inm1、inm2、
…
、inm
n
)可以是逆噪声模型,该逆噪声模型可以与由麦克风30接收的音频信号混合以执行噪声消除。逆噪声模型lnm
n
是当机器人执行与逆噪声模型lnm
n
相关的姿态时,由机器人100引起的噪声信号的逆。因此,逆噪声信号可以在机器人100的姿态的执行期间,通过添加逆噪声信号到音频信号与通过麦克风30接收的音频信号混合。
38.上述步骤的顺序不限于它们被描述的特定的顺序,以及可以以任何合适的顺序或同时执行。例如,从姿态库12噪声简档的取回可以与使机器人执行姿态和接收来自用户的输入音频同时,之前或之后发生。
39.此外,本文描述的行为可以是可由一个或多个处理器实现和/或存储在一个或多个计算机可读介质上的计算机可执行指令。计算机可执行指令可以包括例程、子例程、程序、执行线程等。更还,方法的行为结果可以存储在计算机可读介质中,显示在显示设备上等。计算机可读介质可以是任何合适的计算机可读存储设备,诸如存储器、硬盘驱动器、cd、dvd、闪存驱动器等。如本文中所使用的,术语“计算机可读介质”不旨在包括传播的信号。
40.图4是根据本公开的实施例的用于说明创建将被包含在姿态库12中的姿态噪声简档对的示意图。在图4示出的实施例中,拉班记谱法用作无关的姿态话语,该姿态话语用于符号地表示由机器人执行的姿态的机器。然而,用于创建姿态噪声配对的姿态话语不限于拉班记谱法。
41.图4示出了一个实施例,其中由机器人100的姿态的执行生成的机器噪声20被记录以创建噪声简档。在这种情况下,姿态库12包括基于预录制的噪声信号的噪声简档。
42.在获取拉班记谱法时,装置100的机器人控制器模块220控制机器人以执行姿态,例如通过向机器人100发送指示以在特定的方式定向一个或多个机器人主体部分。在执行姿态时,机器人100生成例如由机器人的马达110(例如,伺服和/或步进马达)、变压器、底盘弯曲以及接触、液压、机器人内部的腔回波、齿轮等引起的机械噪声20。机械噪声20被记录,以及噪声简档基于预定噪声20被创建。所创建的噪声简档继而与姿态(在此示例中,拉班记谱法表示该姿态)配对。被储存在库12中的噪声简档可以,例如是预录制的噪声信号的数字记录、预录制的噪声信号的逆、或其他基于预录制的噪声创建的噪声简档。
43.如上文所述,噪声简档将被用于消除机械机器人噪声,该机器人噪声是由麦克风30拾取的并且与输入用户音频混合。在示例性实施例中,噪声简档可以包括预录制的噪声信号,该预录制的噪声信号与输入用户音频不同相位的混合或被添加到输入用户音频的预
录制的噪声信号的逆。创建姿态噪声对的过程是针对被包含在姿态库12中的姿态/拉班记谱法中的每项而重复进行的。因为存在有限数目的机器人期望执行的姿态/拉班记谱法,可以对于机器人系统400使用与机器人100无关的姿态话语以提供可以执行预定数目的姿态,同时也提供用以执行专用于机器人的特定硬件的噪声的噪声消除的能力。因此,系统400可以最终提供姿态服务到多个不同类型的,与由机器人100实施的硬件和软件无关的机器人,同时具有用以执行专门对于不同类型机器人中的每种类型机器人的马达、机械部件等的噪声的噪声消除。
44.在实施例中,同样用于捕捉输入的用户音频的麦克风30被用于创建姿态库12。使用相同的麦克风30可以是有益的,因为用于预录制噪声信号的硬件部件与在机器人系统的操作期间接收姿态库12的噪声信号的硬件部件相同,因此还确保姿态库12的噪声信号是噪声的准确表示,当机器人200执行相关联的姿态时,该噪声信号要由麦克风30接收。
45.在实施例中,当创建姿态库12时,预录制的机器人噪声音频信号与相应的姿态同步,使得噪声消除发生在恰当的时间。如图3a所示,当执行拉班记谱法时,时间在301中从底部经过到顶部,以及指示多个主体部分的各种定向的各种符号的具体组合,在给定的时隙301将被执行,使得机器人100可以连续地执行相关于时间的对应的动作。当根据上述描述的方法构建姿态库12时,机器人100自身被用于生成预录制的机器人噪声,以及因此,噪声简档的预录制的噪声信号可以被假设为与机器人特定的动作,在特定动作出现的时隙时同步。为了将输入音频和选择的噪声简档同步,装置10可以在马达控制开始的点设置时间戳,继而同步该时间戳与和机器人执行的姿态相关的噪声模型,使得在麦克风30接收输入音频的开始点以及在开始点应用的噪声简档的开始点是同步的。
46.尽管参考图4描述的实施例示出了基于由麦克风30接收的预录制的噪声信号创建姿态库12的示例,该姿态库12的创建不限于此。例如,在实施例中,与特定姿态相关联的噪声简档可以从备选的源,在不要求机器人100自身记录机械噪声20的情况下被获取。此外,本公开发明的另一个实施例中,在姿态库12中的姿态的噪声简档可以使用表示当机器人执行姿态时,由机器人创建的噪声的物理模型创建。当机器人执行姿态时,物理模型可以预测发生的声传播。不同于从声传感器收集的数据等(如在使用从麦克风30获取的噪声信号创建噪声简档的情况下),物理模型包括对马达波形、底盘声音仿真、声反射模式等的预测。
47.本公开的实施例也可以包括能够集成非预期的声音与现有的姿态库12的覆盖(overlay)模型。覆盖模型可以例如根据物理模型、或使用可以被实时生成的扩展噪声记录而被计算。来自接收的马达动作的非预期的声音可以例如作为机器人100改正自身或消除当机器人执行姿态时发生的外部非预期的力的结果。用于非预期声音的重叠模型可以与预录制的噪声模型一起被应用,一旦额外的非预期的活动在机器人姿态的执行期间发生。
48.此外,在本公开的实施例中,环境噪声物理模型也可以被创建以表示可以由麦克风30当用户50和机器人交互时接收的环境噪声。用于环境噪声的物理模型预测由机器人在其中交互的环境创建的噪声。用于环境噪声的物理模型可以被添加到姿态库12,以及可以被不同相地混合,使用输入音频以减少由麦克风30接收的环境噪声。姿态库12可以包括多个环境模型,每个环境模型对其中可能存在有机器人的不同环境进行建模。
49.一旦噪声模型在205中已经被应用于输入音频信号,噪声消除音频信号可以被发送到语音识别模块310。语音识别模块310将消除噪声的音频信号翻译成由装置10使用并提
供给装置10的口头交互元素。例如,语音识别模块310可以执行基于噪声消除音频信号的内容的分析,以及可以准备话语,话语要由机器人100讲出,作为对包含在噪声消除音频信号中的用户话语的响应或回答。此外,姿态话语模块320可以基于语音识别模块310确定要由机器人100执行的姿态。姿态可以伴随要由机器人100说出的话语,或备选地,语音设备模块310可以确定话语将不由机器人执行,以及姿态话语模块320可以确定要由机器人100在没有伴随的机器人话语的情况下所执行的姿态。
50.在为机器人100确定伴随机器人话语的恰当姿态时,服务器300可以例如从要由机器人说出的话语提取概念并提取来自库的响应于提取概念的姿态。概念可以是从词汇聚类中提取的一种代表,并且这种概念可以包括例如“你好”、“好”、谢谢、“饿”等。然而,本公开不限于任何选择要由机器人100执行的姿态的特定的方法。
51.一旦姿态被获取,机器人系统400可以在次执行图4中示出的方法以从任何由麦克风30接收的输入音频中移除当姿态被执行时的机器人噪声。
52.图5是合适于实施本文中描述的主题事件的一个或多个实施例的装置10的框图。例如,装置10可以如上述讨论的参考图1而起作用。然而,装置10不旨在提出任何限制如使用的范围或本文中描述的主题时间的功能,因为各种实施可以在分散的通用或专用的计算机环境中被实施。
53.如图示出,装置10包括至少一个处理器120以及存储器140。处理器120执行计算机可执行指令以及可以是真实或虚拟处理器。在多处理系统中,多处理器执行计算机可执行指令以增加处理功率。存储器130可以是易失性存储器(例如,寄存器、缓存、ram),非易失性存储器(例如rom、eprom、闪存),或它们的组合。存储器130以及其相关联的计算机可读介质为装置10提供数据、数据结构、计算机可执行指令等的存储。
54.根据本文描述的主题事件的实施,存储器130被耦合到处理器120以及存储用于由处理器120执行的指令。这些指令,当由处理器120执行时使得装置:获取要由机器人执行的姿态,接收输入音频,该输入音频包括来自用户的音频和由机器人执行姿态而引起的噪声;从姿态库取回与姿态相关联的噪声简档,其用于从输入音频中移除由机器人执行姿态而引起的噪声;以及应用噪声简档以从输入音频中移除机器人噪声。
55.在图5中示出的示例中,装置10还包括一个或多个通信连接140。互联机械装置、诸如总线、控制器或网络或互联装置10的部件。通常,操作系统为在装置10中执行的其他软件提供操作环境,以及协调装置10的部件的活动。
56.通信连接140使能在一个通信介质上与另一个计算实体通信。另外,设备10的部件的功能可以在单一的计算机机器或在多个能够在通信连接上通信的多个计算机机器中实施。因此,装置10可以使用到一个或多个其他服务器、网络pc、或其他公共网络节点的逻辑连接在网络环境中操作(例如,机器人系统环境400)。通过示例而不是限制的方式,通信介质包括有线或无线连接网络技术。
57.本文描述的主题事件的实施包括包含计算机可执行指令的计算机可读介质。这些指令在由计算机执行时使得计算机执行用于机器人系统中的降噪的方法,在该机器人系统中机器人执行姿态,方法包括:接收机器人执行姿态的指示;接收输入音频,输入音频包括与由机器人的姿态的执行引起的机械机器人噪声混合的用户话语;从包括多个与噪声简档配对的预定的姿态的姿态库取回与姿态相关联的噪声简档;以及应用噪声简档到输入音频
以移除由机器人的姿态的执行引起的机械机器人噪声。
58.计算机存储介质包括但不限于ram、rom、eprom、eeprom,闪存或其它固态存储器技术、cd
–
rom、dvd或其它光存储、盒式磁带、磁带、磁盘存储或其它磁存储设备,或可用于存储所需信息并且可由计算机访问的任何其它介质。
59.本文使用的术语仅用于描述特定实施例的目的,而不旨在限制。根据本文所用,单数形式“一(a)”、“一个(an)”和“所述(the)”也旨在包括复数形式,除非上下文另有明确指示。当在本说明书中使用时,术语“包括”、“包含”、“有”、“包括有”、“包含有”和/或“具有”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或多个其它特征、整数、步骤、操作、元件、部件和/或其群组的存在或添加。
60.所有部件或步骤的相应的结构、材料、动作以及等效物加上功能元件,如果有的话,在下面的权利要求中旨在包括用于结合根据具体要求保护的其他要求保护的元件来执行该功能的任何结构,材料或动作。本说明书是为了说明和描述的目的而呈现的,但并不旨在穷举或限制所公开的形式。在不脱离本技术的范围和精神的情况下,许多修改和变化对于本领域的普通技术人员是显而易见的。选择和描述实施例是为了最好地解释技术的原理和实际应用,并且使本领域的其他普通技术人员能够理解具有适合于预期的特定用途的各种修改的各种实施例的技术。
61.虽然已经描述了特定实施例,但是本领域技术人员将理解,存在与所描述的实施例等效的其他实施例。因此,本技术不受具体示出的实施例的限制,而仅受所附权利要求的范围的限制。
62.根据本公开的一个方面,在机器人系统中用于降噪的方法包括获取要由机器人执行的姿态;接收输入音频,该输入音频包括来自用户的音频以及由机器人执行姿态而引起的机器人噪声;从姿态库取回与姿态相关联的噪声简档,噪声简档用于从输入音频中移除由机器人执行姿态而引起的噪声;以及应用噪声简档以从输入音频中移除机器人噪声。
63.在该方面,噪声简档可以是逆噪声模型,并且应用噪声简档以从输入音频中移除机器人噪声可以包括:向输入音频应用逆噪声模型。
64.在该方面,噪声简档可以包括机器人执行姿态的预录制的噪声信号,以及应用噪声简档以移除机器人噪声可以包括将预录制的噪声信号与输入信号不同相地混合。
65.在该方面,姿态库可以包括要由机器人执行的多个预定姿态,并且预定姿态中的每个预定姿态与用于移除机器人噪声的噪声简档配对。
66.在该方面,该方法可以还包括创建姿态库,其中创建姿态库可以包括:使机器人执行预定姿态;以及针对预定姿态中的每个预定姿态,记录由机器人执行姿态而引起的机器人噪声以创建噪声简档。
67.在该方面,输入音频可以由机器人麦克风接收,兵器针对预定姿态中的每个预定姿态记录由机器人执行姿态而引起的机器人噪声以创建噪声简档可以包括:针对预定姿态中的每个预定姿态,使用机器人麦克风来记录由机器人执行姿态而引起的机器人噪声。
68.在该方面,姿态库包括可以要由机器人执行的姿态的多个符号表示,并且符号表示中的每个符号表示与用于移除机器人噪声的噪声简档配对。
69.在该方面,获取要由机器人执行的姿态的符号表示可以包括获取定义机器人的至少一个主体部分相关于多个时隙的定向的拉班记谱法。
70.在该方面,至少一个主体部分包括多个主体部分,以及使得机器人执行姿态可以包括执行拉班记谱法以触发多个主体部分以根据在多个时隙中的相应的定向执行姿态。
71.根据本公开的另一方面,在机器人系统中用于降噪的装置包括处理器,以及被耦合到处理器并且存储用于由处理器执行的指令的存储器,指令当由处理器执行时,使得装置:获取要由机器人执行的姿态;接收输入音频,该输入音频包括来自用户的音频以及由机器人执行姿态而引起的机器人噪声;从姿态库中取回与姿态相关联的噪声简档,噪声简档用于从输入音频中移除由机器人执行姿态而引起的机器人噪声;以及应用噪声简档以从输入音频中移除机器人噪声。
72.从该方面,噪声简档可以是逆噪声模型,以及应用噪声简档以从输入音频移除机器人噪声可以包括:向输入音频应用逆噪声模型。
73.在该方面,噪声简档包括机器人执行姿态的预录制的噪声信号,并且应用噪声简档以移除机器人噪声可以包括:将预录制的噪声信号与输入音频不同相(out of phase)地混合。
74.在该方面,姿态库可以包括由机器人执行的多个预定姿态,并且预定姿态中的每个预定姿态与用于移除机器人噪声的噪声简档配对。
75.在该方面,当指令由处理器执行时,可以还使得装置创建姿态库,其中创建姿态库包括:使机器人执行预定的姿态;以及针对预定姿态中的每个预定姿态,记录由用户执行姿态而引起的机器人噪声以创建噪声简档。
76.在该方面,输入音频可以由机器人麦克风接收;并且针对每个预定的姿态,记录由机器人执行姿态而引起的机器人噪声以创建可以包括:使用机器人麦克风,针对预定姿态中的每个预定姿态,记录由机器人执行姿态而引起的机器人噪声以创建噪声简档。
77.在该方面,获取要由机器人执行的姿态可以包括:获取要由机器人执行的姿态的符号表示,以及当指令由处理器执行时,可以还包括:使得装置使机器人执行姿态,包括根据符号表示控制至少一个机器人的主体部分的定向。
78.在该方面,姿态库可以包括要由机器人执行的多个姿态的符号表示,以及每个符号表示配对到噪声简档用于移除机器人噪声。
79.在该方面,获取要由机器人执行的姿态的符号表示可以包括获取定义机器人的至少一个主体部分相对于多个时隙的定向的拉班记谱法。
80.在该方面,至少一个主体部分可以包括多个主体部分以及使得机器人执行姿态可以包括执行拉班记谱法以触发多个主体部分以根据在多个时隙中的各自的定向执行姿态。
81.根据本发明的另一方面,计算机可读存储介质包括计算机可执行指令,当由计算机执行时,使得计算机在机器人系统中执行用于降噪的方法,在该机器人系统中机器人执行姿态,方法包括:接收机器人正在执行姿态的指示;接收输入音频,该输入音频包括与由机器人执行姿态而引起的机械机器人噪声混合的用户话语;从包括与噪声简档配对的多个预定姿态的姿态库取回与姿态相关联的噪声简档;以及对输入音频应用噪声简档以移除由机器人执行姿态而引起的机械机器人噪声。
82.在该方面,姿态库的多个噪声简档可以包括机器人的执行预定的姿态的预记录的噪声信号,以及应用噪声简档以移除机器人噪声可以包括:将预录制的与姿态相关联的噪声信号与输入信号不同相地混合。
83.在该方面,多个预定姿态可以在姿态库中由预定姿态的多个符号表示而表示,其中符号表示限定机器人的至少一个主体部分在执行姿态时的定向。