1.本发明涉及触觉学习研究技术领域,具体为一种盲人触觉学习系统及其方法。
背景技术:2.根据最新世界卫生组织统计数据显示,目前世界上有2.85亿视障患者,其中约有4000万人处于完全丧失视觉功能。对于患有视觉功能障碍者,学习、工作和生活中都有着大大小小的不便之处,这些都严重影响了正常的生活质量。
3.普通人获取知识的方式是通过阅读和聆听,但盲人在视觉上的缺陷导致无法通过阅读的方式来进行学习工作,这给他们的生活带来了极大的不便。为了解决这种问题,目前有依靠学习盲文书来进行文化知识的学习,但这种学习方式效率较低,花费时间成本较大,往往会引发盲人投入大量的精力来进行相关学习却获得微量的学习成果等问题。
技术实现要素:4.针对现有技术中存在的不足,本发明提供了一种通过语音识别将语音信息转换为触觉信息帮助盲人感知学习的方法和思路;本发明提高了视障患者的学习效率,同时也降低了视障患者学习和感知新事物的障碍和成本。
5.技术方案:为实现以上目的,本发明通过以下技术方案予以实现:一种盲人触觉学习系统,包括振动控制模块、振动实现模块、语音识别模块、接口转换模块和上位机系统,所述语音识别模块的输出端与振动控制模块的输入端连接,所述振动控制模块的输出端与振动实现模块输入端连接,所述接口转换模块的输出端与振动控制模块输入端连接,所述接口转换模块的输入端与上位机系统连接。
6.优选的,所述语音识别模块为ld3320&stc11l08xe芯片、5v-3.3v电源转换模块,语音识别算法为基于参数模型的隐马尔可夫模型的方法,隐马尔可夫模型λ可用三元符号表示,即λ=(a,b,π),设c={c1,c2,
…
,cn},d={d1,d2,
…
,dm},i={i1,i2,
…
,i
t
},f={f1,f2,
…
,f
t
},其中c是所有可能的状态集合,d是所有可能观测的集合,i是长度为t的状态序列,f为对应的观测序列。在c的合集中取任意某时刻的状态,命名为隐藏状态i
t
,在d的集合中取任意某时刻的状态,命名为观察状态f
t
。其中a为观察概率矩阵,形式如下:
7.a
ij
=p(i
t+1
=cj|i
t
=ci),i=1,2,
…
,n;j=1,2,
…
,n
8.a=[a
ij
]n×n[0009]
式中,c
i-t时刻的隐藏状态;c
j-t+1时刻的隐藏状态。
[0010]
其中b为观测概率矩阵,形式如下:
[0011]bjh
=p(f
t
=dh|i
t
=cj),h=1,2,
…
,n;j=1,2,
…
,n
[0012]
b=[bj(h)]n×n[0013]
式中,c
j-t时刻的隐藏状态;d
h-cj对应的观察状态。
[0014]
其中π是初始状态概率向量,表示在t=1时处于状态qi的概率,形式如下:
[0015]
π=[π(i)]n[0016]
π(i)=p(i1=ci),i=1,2,
…
,n
[0017]
根据状态转移概率矩阵的不同采用从左向右型hmm,即在状态转移过程中,当前状态只能向后面的时刻状态转移,或者停留在原始状态。该结构的状态转移概率矩阵a表达式如下:
[0018][0019]
该结构可以清晰地反映语音时序的转移,适合大容量语音识别模型的建立。
[0020]
同时语音识别模块内部的5v-3.3v电源转换模块采用ams1117-3.3芯片,负责将输入的5v电压通过1n4148二极管及滤波电容作用后,输出稳定的3.3v电压,供语音识别模块芯片使用。
[0021]
语音识别模块的软件实现中将编译好的程序文件导入串口调试助手中,设置好对应的单片机型号、串口号,进行烧录工作。完成后使用者对着咪头说出关键词,经过语音识别模块的识别后即可在串口调试助手界面出现关键词对应的语音识别序号,
[0022]
优选的,所述振动控制模块为stm32f407vet6芯片、5v-3.3v电源转换芯片、5v-1.8v电源转换芯片。
[0023]
振动控制模块负责对接收数据处理和操作,前端语音识别模块识别声音处理的结果,需要mcu进行接收并转换为数字信号输出给到后端的7
×
7振动马达阵列。从软件方面将mcu复用gpio通过寄存器调用出来,以达到控制马达的需求,gpio的复用功能由afrl及afrl两个寄存器来设定。软件实现过程中用来进行gpio复用的pin脚如下表所示。
[0024]
pe2pe3pe4pe5pe6pc13pc0pc1pc2pc3pa0pa1pa2pa3pa4pa5pa6pa7pc4pc5pb0pb1pe7pe8pe9pe10pe11pe12pe13pe14pe15pb10pb11pb12pb13pb14pd0pd1pd2pd3pd4pd5pd6pd7pb3pb5pb6pb7pb8
[0025]
复用时首先使能gpio时钟,再进行普通输出模式、推挽输出、频率设定等端口配置,然后进行拉高输出以便后续控制振动实现模块的电机进行起振。选定定时器time4来控制每个gpio口都可以输出可调节的pwm singal,定时器time4设定中时间设定为0.5ms,周期为5ms。设定pwm输出为上表中选中的pin脚,最后使能pwm控制器,即可起到通过改变pwm方波信号频率来起到控制马达振动频率的作用。
[0026]
同时振动控制模块内部的5v-3.3v电源转换芯片采用ams1117-3.3芯片,负责将5v电压从vcc端输入,并通过滤波电容作用转换为稳定的3.3v电压,继而从out端输出。用来供给stm32芯片的电源电压、模拟电路电源输入及rtc电池电源输入。
[0027]
同时振动控制模块内部的5v-1.8v电源转换芯片采用bat54c芯片,用来为时钟电源提供备用电源使用。
[0028]
优选的,所述振动实现模块为7*7振动电机板,所述接口转换模块为ch340t转接芯片,所述上位机系统为pc端。
[0029]
硬件实现中7*7振动电机板由小功率电机、固定板、固定胶、杜邦线等原材料组成。
[0030]
软件实现中通过给定时器设置中断子程序,分别判断01到49一共49个电机是否置1,如若出现任何一个电机没有置1,则清0,继而跳过此电机判断下一个电机,函数设定一个7
×
7的二维数组,其中矩阵中的每一个数既对应上表中一个gpio输出pin,也对应着一个7
×
7振动马达中一个对应位置的振动马达,达到每个pwm输出对应一个振动马达的作用。这样前面电机控制模块收到语音识别模块后的结果,经过处理后输出每一个位置的pwm信号,从而控制每一个电机起振与否,最终呈现出不同的文字。
[0031]
本发明还公开了一种盲人触觉学习方法;包括如下步骤:
[0032]
s1、当盲人坐在位置上之前,用usb线接通pc端与接口转换模块,接通接口转换模块4与振动控制模块,接通振动控制模块与语音转换模块,接通振动控制模块与振动实现模块。给振动控制模块烧录好程序,确保房间内处于安静状态,无多余噪音干扰。
[0033]
s2、对着咪头说出语音词,语音识别模块识别到语音词后会对语音词进行识别、处理,将处理后的结果发送给上位机,上位机会自动识别语音词,以振动控制模块可以识别的信号将其发送给振动控制模块;
[0034]
s3、振动控制模块再将此信号转换为振动实现模块可以识别的信号发送给振动实现模块,从而启动振动实现模块中的电机,每一个电机按照指令进行起振或静置,从而表示出语音词的轮廓,从而盲人可以用手去触摸电机方阵,感知听到的关键词具体的表现形状。
[0035]
本发明的有益效果为:
[0036]
该盲人触觉学习系统及其方法,通过语音识别模块的输出端与振动控制模块的输入端连接,振动控制模块的输出端与振动实现模块输入端连接,接口转换模块的输出端与振动控制模块输入端连接,接口转换模块的输入端与上位机系统连接,采用语音识别技术和声音触觉转换技术结合的盲人触觉学习系统,可以利用语音识别迅速、干扰小、功耗低等优点实现盲人学习成本的降低及学习环境门槛的降低,利用语音信号触发电机振动表现语音词改变传统的盲人学习方法及提高学习效率,当盲人独处时,可以减少他人指导学习的成本,也可以减少外出学习的风险。
附图说明
[0037]
图1为本发明系统的结构原理框图;
[0038]
图2为本发明语音识别模块的结构原理框图;
[0039]
图3为本发明振动控制模块的结构原理框图;
[0040]
图4为本发明振动实现模块的结构原理框图;
[0041]
图5为本发明接口转换模块的结构原理框图;
[0042]
图6为本发明上位机系统的结构原图框图。
[0043]
图中:1、语音识别模块;2、振动控制模块;3、振动实现模块;4、接口转换模块;5、上位机系统。11、stc11l08xe单片机;12、ld3320芯片;13、咪头;21、stm32f407vet6单片机;22、外围电路;31、振动电机;32、固定板;41、ch340t芯片;42、外围电路;51、pc端;52、usb线。
具体实施方式
[0044]
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完
整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0045]
请参阅图1-4,本发明实施例提供一种技术方案:一种盲人触觉学习系统,包括语音识别模块1、振动控制模块2、振动实现模块3、接口转换模块4和上位机系统5,语音识别模块1的输出端与振动控制模块2的输入端连接,振动控制模块2的输出端与振动实现模块3的输入端连接,接口转换模块4的输出端与振动控制模块2的输入端连接,接口转换模块4的输入端与上位机系统5连接。
[0046]
本发明中,语音识别模块1包括stc11l08xe单片机11、ld3320芯片12和咪头13,振动控制模块2包括stm32f407vet6单片机21和外围电路22,可与语音识别模块1进行双向连接,振动实现模块3包括振动电机31和固定板32,振动电机31固定与固定板32上。
[0047]
本发明中,接口转换模块4包括ch340t芯片41和外围电路42,上位机系统5包括pc端51和usb线52。
[0048]
本发明还公开了一种盲人触觉学习的方法,具体包括以下步骤:
[0049]
s1、当盲人坐在位置上之前,用usb线52接通pc端51与接口转换模块4,接通接口转换模块4与振动控制模块2,接通振动控制模块2与语音转换模块1,接通振动控制模块2与振动实现模块3。给振动控制模块2烧录好程序,确保房间内处于安静状态,无多余噪音干扰。
[0050]
s2、对着咪头13说出语音词,语音转换模块1识别到语音词后会对语音词进行识别、处理,将处理后的结果发送给上位机5,上位机会自动识别语音词,以振动控制模块2可以识别的信号将其发送给振动控制模块2;
[0051]
s3、振动控制模块2再将此信号转换为振动实现模块3可以识别的信号发送给振动实现模块3,从而启动振动实现模块中的电机31,每一个电机31按照指令进行起振或静置,从而表示出语音词的轮廓,从而盲人可以用手去触摸电机31方阵,感知听到的关键词具体的表现形状。
[0052]
需要说明的是,在本发明中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下。
[0053]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。