首页 > 乐器声学 专利正文
一种基于语音交互的学习互动系统及方法与流程

时间:2022-02-17 阅读: 作者:专利查询

一种基于语音交互的学习互动系统及方法与流程

1.本发明涉及互动学习技术领域,具体涉及一种基于语音交互的学习互动系统及方法。


背景技术:

2.现在家长的事情越来越忙,无法陪伴监督学生进行作业练习;而且很多家庭都是独生子女,一个人学习也缺少学习氛围。学生学习过程中,如果有人能够互动陪伴则能极大增加学习的积极主动性和乐趣;但是也需要避免过度互动而且导致的时间浪费,避免聊天而忘记完成作业;
3.随着智能语音识别的成熟,学习领域也慢慢采用语音交互进行辅助学习。但是现有的语音学习偏被动,需要学生主动提问,系统在数据库内搜寻答案,如果恰好有这个问题才会作答。这样的交互效率低而且数据库建设难度大,同时答案非常单一生硬。而且现在的答案千篇一律,无法根据学生的能力进行适配。


技术实现要素:

4.针对上述问题,本发明旨在提供一种能够高效陪伴、低频打扰的基于语音交互的学习互动系统及方法。
5.为实现该技术目的,本发明的方案是:一种用于学习互动的语音学习机,包括:
6.语音采集单元,用于识别采集学生的语音信息或语音指令;
7.播放单元,用于播放指定旋律、音乐或语音信息;
8.数据单元,用于存放学生日常使用习惯信息及相关音频数据;
9.控制面板,用于手动切换模式或者参数选择;
10.所述语音采集单元识别语音指令后,通过服务器识别分析出语音中的指令信息,播放单元按照语音指令自动播放,或者按照语音指令自动控制模式选择和参数。
11.作为优选,还包括有灯效单元,用于发出指定颜色、闪动频率的灯光制造灯光氛围;
12.光线传感器,用于感知环境中光线强弱的变化;
13.识别模块,用于识别学生坐姿及作业内容完成情况。
14.一种基于语音交互的学习互动方法,所述方法包括:
15.语音学习机启动后接收获取环境参数信息,并发出提示语音并开启语音采集单元,语音采集单元采集学生发出的语音指令;
16.通过声纹识别学生身份并登陆系统,从学生数据库内导入当天学习内容及作业项目,并根据学生的选择构建当天的虚拟课室;
17.学生根据虚拟课室中的语音提示进行互动学习。
18.作为优选,学生能够通过语音或者控制面板选择虚拟课室中的灯光氛围、背景白噪音、互动对象及互动学习项目;
19.所述互动对象为同年级的学生或者ai宠物;
20.所述互动学习项目内插入有语音提示标签,学生可以通过语音与互动学习机对话获取指定题目的提示,获取指令后播放单元播放语音提示标签。
21.作为优选,当学生的虚拟课室选择在线的互动对象后,互动对象与该学生在做作业期间能随时向对方投送语音纸条,当某一学生主动唤起互动学习机时语音纸条则自动播放,同时当语音纸条送达后超过指定时间后灯效单元闪动提醒;
22.当检测到学生均完成指定作业后,互动对象与该学生能进入到实时聊天状态,互动对象与该学生能够一起讨论题目。
23.作为优选,当学生需要互动练习题,当有至少两个学生在指定时间段预约参与互动练习题题时,且作业项目中互动练习题题需相同,上述学生进行远程语音连接,语音学习机根据互动题给出指示进行口语练习。
24.作为优选,当一台语音学习机附近有两个学生时,语音学习机需要分辨参与学生对应的角色,分别录入指定学生的声音数据,将语音进行分割成段每一段声音数据:
[0025][0026]
上述公式中,s
(n)
为分段后的声音数据,n为分段数,w(n,a) 为傅里叶变换函数;将声音数据通过离散傅里叶变换并取模再平方获得每一帧的功率分布图谱;
[0027]
通过dct变换获得声音特征参数函数:
[0028][0029]
作为优选,当学生在虚拟课室启动ai互动功能时,根据学生往期各单元练习成绩匹配语音提示标签等级;
[0030]
当学生主动发出某题目的提示指令时,语音学习机根据语音提示标签等级给出对应的语音提示。
[0031]
作为优选,当学生的虚拟课室启动为番茄学习功能,无语音互动专注学习20

25分钟后,灯光氛围由弱变强、背景白噪音节奏变快;
[0032]
若此时学生发出指令要求休息,则灯光氛围和背景白噪音关闭;
[0033]
若此时学生仍专注学习,超过10s后,灯光氛围和背景白噪音恢复之前状态。
[0034]
本发明的有益效果,通过算法匹配合适互动对象,让学习过程不在单调无趣,同时通过语音纸条方式以最低限度的干扰让学生得以释放压力;通过算法让学生能在家完成需要多人互动英语口语练习,无需父母参与,由于ai充当旁白,学生更愿意参与到口语练习,还能提升口语的练习效果;通过算法为作业插入有语音提示标签,并匹配合适的提示等级,让每个学生能更精准的通过语音方式获得提示,培养良好的根据提示自己寻找答案的习惯,还能更有效率的完成作业;通过番茄学习功能并辅以ai宠物,能够让学生一个人高效的进行作业练习,提升学习效率,劳逸结合。
附图说明
[0035]
图1为本发明语音学习机的结构框图;
[0036]
图2为本发明实施例一的流程图;
[0037]
图3为本发明实施例二的流程图;
[0038]
图4为本发明实施例三的流程图。
具体实施方式
[0039]
下面结合附图和具体实施例对本发明做进一步详细说明。下面所列举的具体实施例为是示例性的而非限制性的,以下具体实施例中的术语“包括”和“具有”以及它们的常规变形表达方式,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。凡是依据本技术的技术实质对以下具体实施例所作的任何细微修改、等同替换和改进,均应包含在本技术技术方案的保护范围之内。
[0040]
为了方便解释本技术的学习互动方法,下面先对本技术涉及一种用于学习互动的语音学习机进行说明。如图1,该语音学习机包括:语音采集单元、播放单元和数据单元,其中语音采集单元能识别采集学生的语音信息或语音指令,语音采集单元为麦克风,通常采用至少 2枚麦克风进行拾音;播放单元能播放指定旋律、音乐或语音信息,通常包括至少一个中低音扬声器,有的还有高音扬声器和低音辐射器;数据单元能存放学生日常使用习惯信息及相关音频数据,该数据单元可以在本地也可以在云端;控制面板能手动切换模式或者参数选择;语音采集单元识别语音指令后,通过服务器识别分析出语音中的指令信息,播放单元按照语音指令自动播放,或者按照语音指令自动控制模式选择和参数,所述语音采集单元、播放单元和数据单元分别与控制模块电连接。具体的语音学习机的外形结构可以为智能音箱或者手持设备。
[0041]
为了获得更好的交互效果,语音学习机还包括有灯效单元、光线传感器和识别模块,灯效单元能发出指定颜色、闪动频率的灯光制造灯光氛围;光线传感器能感知环境中光线强弱的变化;距离传感器能感知学生与语音学习机之间的距离位置;识别模块能识别学生坐姿及作业内容完成情况,识别模块为摄像头。为了方便显示状态信息或者数据,还可以设置一个显示屏,当然当语音学习机为智能音箱,没有屏幕也能实现所有功能效果。
[0042]
实施例一
[0043]
如图2,所述图2为本技术实施例公开的一种基于语音交互的学习互动方法的流程示意图,一对一并通过ai辅助互动学习。具体学习互动方法具体步骤如下:
[0044]
s101、启动,使用者打开台灯和语音学习机,语音学习机获取环境参数信息,根据环境光线自动调节灯效单元的灯光强度、颜色和闪动频率,同时根据环境噪音调节音量大小并开启麦克风,播放单元发出启动声音;
[0045]
s102、登陆,使用者通过语音回答,语音学习机通过声纹识别身份,声纹验证无结果或者者是家长,进入普通模式等待下一步语音指令;若身份验证通过为学生则登陆系统,进入学习模式,并自动从该学生数据库内导入当天学习内容及作业项目,并根据学生的选择自动构建当天的虚拟课室,该虚拟课室为默认状态;
[0046]
s103、设定,学生可以采用默认状态的虚拟课室,也能通过语音或者控制面板选择调节虚拟课室中的灯光氛围、背景白噪音;同时学生能通过语音输入互动对象的特征参数,系统根据特征参数和往期各单元练习成绩通过算法自动匹配互动对象,互动对象为另一名同年级学生,互动对象至少有一门作业与学生相同;
[0047]
s104、作业练习,学生与互动对象独自开始写作业,当学生遇到疑难题目时,通过语音报出题目,语音学习机根据学生往期各单元练习成绩匹配语音提示标签等级,然后给出对应题目的语音提示。知识点提示方式例如:“万有引力定律和公式在物理课本第一册第*页,请参考”;参考题提示方式例如:“请查阅黄冈密卷第一卷第1题”;破题提示方式例如:“该题中等边三角形隐含有内角均为60
°”

[0048]
s105、陪伴互动,学生独自写作业10

15分钟或者完成一章节作业后可以获得一张小纸条和数分钟的闲聊时间;
[0049]
当学生作业疲惫或者遇到难题时,可以跟互动对象发送一端语音纸条,互动对象可以立刻或者稍后选择回复语音纸条;
[0050]
学生还可以发出闲聊邀请,在互动对象同意邀请后可以开启语音连线模式;双方可以进行闲聊或者一起跟着音乐跳动一下,一般闲聊时间为5

15分钟,修整完成后断开连线,各自独立自习;
[0051]
学生觉得和互动对象比较合拍,可以加为好友,下次选虚拟课室时可以作为优先匹配的互动对象。
[0052]
通过声纹登陆可以避免家长错误进入学习模式,而且音箱只适合输入简单明了的信息;同时日常该语音学习机可以充当普通的智能音箱使用。为了更好的匹配互动对象,可以在手机或者网页上录入兴趣爱好和喜欢的书、电影等信息,让算法更多维度的数据进行匹配。识别模块为摄像头,仅在完成作业时或者识别作业时需要,一般情况下可以保持关闭或遮盖,降低隐私泄露风险;摄像装置可以用于拍摄作业图像上传以确定作业完成情况,也可以通过扫码方式录入作业,避免系统作业有遗漏。
[0053]
同时由于语音很难表达长篇的解释或者复杂公式,这方面是不如显示屏的展示效果。但是语音恰恰适合引导学生字形通过指定工具书或资料寻找对应的知识点(公式、定理),或者题目中的隐含信息,或者相似题型;而且可以一边听着语音提示一边查找需要的内容,这样能够降低搜寻的门槛,培养强化学生自行搜寻答案的习惯。
[0054]
通过算法匹配合适互动对象,让没有家长陪伴的学生学习过程不在单调无趣(尤其适合父母繁忙的独生子女家庭),同时采用语音纸条方式进行非及时沟通,能够最低限度的干扰让学生,避免经常性打断学生的思考导致作业效率降低,由于有人可以聊天能够舒缓作业负担重带来的压力;而且该互动对象是通过算法匹配的,也有较多的共同话题可以聊。
[0055]
实施例二
[0056]
所述图3为本技术实施例公开的一种基于语音交互的学习互动方法的流程示意图,多人学习小组完成互动练习题。学习互动方法具体步骤如下:
[0057]
s201、登陆,使用者通过语音回答,语音学习机通过声纹识别身份登陆系统进入学习模式,并自动从该学生数据库内导入当天学习内容及作业项目;
[0058]
s202、多人虚拟课室,当作业项目中有需要多人互动练习题时(例如英语中的口语
对话练习、语文中的背诵题),学生能够自己搭接多人虚拟课室等待他人加入,或者加入他人搭建的多人虚拟课室;当加入多人虚拟课室并且人数达标后,自动匹配灯光氛围,关闭背景白噪音;
[0059]
s203、互动练习题,语音学习机作为旁白分配角色,当点到名字的同学则开始发言,仅该同学的语音学习机的麦克风能够拾取声音信息,其他同学的麦克风处于禁用状态,当发言完成后有语音学习机引导下一名同学发言;
[0060]
例如:在进行英语口语练习时,需要三名学生扮演三名角色进行对话(a学生,b学生,c学生),语音学习机作为旁白分配角色,引导学生对照课本进行口语练习;练习完一轮后能切换角色继续练习。
[0061]
为了分辨出在同一台语音学习机附近的两个及以上学生。让学生分别录入指定学生的声音数据。其中梅尔频率倒谱系数与实际声音频率之间的关系为首先将声音数据进行降噪处理提升信噪比,然后通过将学生语音进行分割成段每一段声音数据,分割长度为10

20ms,根据分割出的声音数据与傅里叶变换函数相乘获并取模再平方获得每一帧的功率分布图谱;
[0062][0063]
上述公式中,s
(n)
为分段后的声音数据,n为分段数,w(n,a) 为傅里叶变换函数,a的取值小于1;
[0064]
通过滤波器处理功率分布图谱,滤波器的输出取完对数以后对其作过dct变换获得声音特征参数函数:
[0065][0066]
其中m为声音功率,l为声音长度。
[0067]
每次切换角色时,获取该学生的f
mfcc
并与数据库内的f
mfcc
作比较,自动分辨出是哪位学生在说话,能够更智能的充当对话练习的旁白。
[0068]
由于智能音箱的处理能力较弱,并不适合多人采用会议方式聊天,同时缺少控制界面,切换发言人相对麻烦,而本技术采用语音学习机作为旁白分配角色,每次只有一个设备的麦克风被激活,能够有效进行英语口语练习避免干扰,同时每个人都能在发言时充分自由的进行发挥。而通常情况遇到需要口语对话练习,或者背诵练习时,需要父母协助完成,现在可以通过本技术的语音学习机进行联机互动,虽然学生身处不同区域仍能够高效的完成上述互动练习题。
[0069]
实施例三
[0070]
所述图4为本技术实施例公开的一种基于语音交互的学习互动方法的流程示意图,一个人高效完成作业。学习互动方法具体步骤如下:
[0071]
s301、启动ai,当学生选择活动对象为ai宠物时,可以根据喜好设定宠物类型、专注时间和奖励;
[0072]
s302、ai虚拟课室,开始学习时启动番茄学习功能,ai宠物在学生15

30分钟期间内的专注时间保持静默,当专注时间达到后,灯光氛围闪动、背景白噪音节奏变快、ai宠物发出数声呼唤;
[0073]
s303、反馈,若此时学生发出指令要求休息,则灯光氛围停止闪动和背景白噪音关闭,ai宠物主动与学生互动并发出随机奖励(奖励通常为ai宠物的使用的物品,能用于解锁不同ai宠物能力);
[0074]
若此时学生仍专注学习未做反馈,超过10s后,灯光氛围和背景白噪音恢复之前状态。
[0075]
成绩优秀的学生一般都具有较强的专注力,而专注力需要长期练习来培养,番茄工作法能够很好的提升专注力,尤其适合成绩基础薄弱的学生使用(成绩较好的学生,做题得心应手,很容易进入心流状态,提醒反而会打算思路)。番茄工作法能够分割任务,提高学生单位时间段的效率,让学生集中注意力、保持专注的做题练习。到那时传统的番茄工作法需要借助手机或者闹钟实现,手机虽然设置灵活但诱惑较大,闹钟虽然方便,但是提醒简单粗暴。本技术的配合ai宠物,让提醒变得更生动丰富,提醒更温和,不会过度打断学生的思绪,当学生进入心流状态也能继续保持,而实时的随机奖励机制也增加了趣味性,让学生休息调整后能够迎接下一个专注的番茄时间。
[0076]
在本技术的具体实施例中,各个过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
[0077]
在本技术各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0078]
上述功能单元可以软件形式实现并作为独立的产品销售或使用时,可以存储在一个计算机设备可获取的存储器中。故本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备执本技术的各个实施例上述方法的部分或全部步骤。