基于rfid的体感游戏动作识别方法、打分方法及系统
技术领域
1.本发明涉及物联网技术领域，更具体地，涉及一种基于rfid的体感游戏动作识别方法、打分方法及系统。


背景技术：

2.随着社会的发展，人们的生活水平也在不断提高，越来越多的人开始接触到体感游戏。体感游戏作为一种新兴的游戏形式，相比于传统的依靠显示屏的游戏来说，能带给用户更加真实的沉浸式体验，增加游戏的趣味性，同时将运动与游戏结合在了一起，真正实现了健康游戏。近年来，以“舞力全开”、“健身环大冒险”等游戏为代表的跨越多平台的体感游戏迅速风靡全球，正在逐渐成为新的风尚。
3.目前广泛使用的体感游戏动作识别方式主要有两种：基于摄像头和基于可穿戴充电式外设。基于摄像头的方法通过单目摄像头或多目摄像头采集外部图像，通过机器视觉的方法实现动作识别；这种方法依赖于具有强大计算能力的游戏机和足够清晰的摄像头，成本昂贵；且基于摄像头的方法难以在无光或较暗的环境下使用；在家用设备上使用摄像头采集图像会也带来隐私安全的问题。基于可穿戴充电式外设的方式往往借助外部设备上的红外发射器或陀螺仪等传感器，对用户动作产生响应进行动作识别，但此方法需要用户额外购买充电式的可穿戴硬件设备，需要花费更高的成本，且这些传感器本身具有一定重量，佩戴后会有不适感，如头戴式外设会引起颈椎酸痛，手持式外设必须持续握住等，影响游玩者对游戏的沉浸式体验。
4.目前有基于射频信号进行动作识别的研究。现有研究往往采用一个或多个固定的射频信号发射源和一个固定的射频信号接收源，通过一个或多个发射源与接收源之间的射频信号变化来匹配相应的动作。但此类方法的问题在于，采用一个或多个固定发射源会使动作感知的粒度很粗。在现有方法中，为防止信号干扰，多个射频信号发射源和接收源之间的固定距离往往大于6cm，电磁波的衍射效应使电磁波倾向于绕过尺度小于其波长的物体，这使得系统难以识别动作幅度小于6cm的动作。尽管有些研究通过测量规律动作引起的微小变化实现了尺度6cm以下的检测，但这利用了动作的周期性，对非周期性微小动作的识别依然受限于常用射频设备的波长限制。例如，在一个具有多个固定射频发射源和一个固定射频接收源的无干扰的检测区域内，如果动作实施者此时在发射源和接收源之间实施的动作为转动手臂，则绝大部分发射源的菲涅尔区不会发生很大变化，其发射出的射频信号的传播路径也几乎不变，其产生的信道状态信息变化经常被当作射频信号中的高斯噪声而被过滤掉。在体感游戏领域，绝大部分要识别的动作都是非周期性的，且出于对动作准确度的评判需求，对微小动作的识别要求更高，现有方法难以满足体感游戏的动作识别需求。


技术实现要素：

5.本发明的第一发明目的在于提供一种基于rfid的体感游戏动作识别方法，该方法能够显著提高对微小动作的识别准确率。
6.本发明的第二发明目的在于提供一种应用上述动作识别方法的体感游戏动作识别系统。
7.本发明的第三发明目的在于提供一种应用上述动作识别方法的体感游戏动作打分方法。
8.本发明的第四发明目的在于提供一种应用上述动作识别方法的体感游戏动作打分系统。
9.为实现以上第一发明目的，采用的技术方案是：基于rfid的体感游戏动作识别方法，包括：将多个rfid标签环绕用户肢体布置并固定；用户根据游戏指示做出相应动作，获取多个rfid标签的信号变化数据；对所述多个rfid标签的信号变化数据进行特征提取；将提取的特征输入至预先训练好的动作识别模型中，动作识别模型输出动作识别的结果。
10.为实现以上第二发明目的，采用的技术方案是：基于rfid的体感游戏动作识别系统，包括显示器、多个rfid标签和体感游戏机；所述体感游戏机包括rfid阅读模块、特征提取模块和动作识别模块；显示器用于给予用户游戏指示；以及接收动作识别模块发送的动作识别结果并进行显示；rfid阅读模块用于获取多个rfid标签的信号变化数据；特征提取模块用于对所述多个rfid标签的信号变化数据进行特征提取；动作识别模块用于将提取的特征输入至预先训练好的动作识别模型中，动作识别模型输出动作识别的结果。
11.为实现以上第三发明目的，采用的技术方案是：基于rfid的体感游戏动作打分方法，包括：将多个rfid标签环绕用户肢体布置并固定；用户根据游戏指示做出相应动作，获取多个rfid标签的信号变化数据；对所述多个rfid标签的信号变化数据进行特征提取；将提取的特征输入至预先训练好的动作识别模型中，动作识别模型输出动作识别的结果；所述动作识别模型输出的动作识别结果为所述动作属于具体动作类别的预测概率；将所述预测概率作为所述动作与标准动作之间的匹配度对所述动作进行打分。
12.为实现以上第四发明目的，采用的技术方案是：基于rfid的体感游戏动作打分系统，包括显示器、多个rfid标签和体感游戏机；所述体感游戏机包括rfid阅读模块、特征提取模块、动作识别模块和分数获取模块；显示器用于给予用户游戏指示；以及接收分数获取模块发送的分数并进行显示；rfid阅读模块用于获取多个rfid标签的信号变化数据；特征提取模块用于对所述多个rfid标签的信号变化数据进行特征提取；动作识别模块用于将提取的特征输入至预先训练好的动作识别模型中，动作识别模型输出动作识别的结果；所述动作识别模型输出的动作识别结果为所述动作属于具体动
作类别的预测概率；分数获取模块用于将所述预测概率作为所述动作与标准动作之间的匹配度对所述动作进行打分。
13.与现有技术相比，本发明的有益效果是：1）提高射频信号对微小动作的识别准确率：本发明改进了原有的固定式射频信号发射设备，将多个柔性rfid标签环绕用户肢体布置并固定，放大了用户微小动作对射频信号造成的干扰，使用户动作的特征更加明显，提高射频信号对微小动作的识别准确率，使基于射频信号的体感游戏成为可能。
14.2）增加用户体验：通过本发明，体感游戏中的动作识别时间被大幅减小。使玩家感受到的延迟大幅降低。同时以柔性rfid标签为可穿戴外设，重量轻，佩戴简单舒适，可大大提高用户进行体感游戏时的体验。
15.3）降低动作识别成本：本发明不需要额外购买昂贵的摄像头、红外传感器等外部设备，只需要廉价的柔性rfid标签和阅读器，可大大降低体感游戏的硬件成本，有利于体感游戏的大规模推广。
16.4）可在黑暗环境下运行：本发明采用rfid信号，即电磁波信号进行动作识别，对环境亮度无要求，相比于基于摄像头的方法，对使用环境的要求低。
17.5）避免隐私问题：本发明采用rfid信号进行动作识别，相比于摄像头设备给用户隐私带来的高风险，本发明只对经过预先采集的特定动作产生反应，对其他隐私信息完全不进行捕捉，保护了用户的隐私安全。
附图说明
18.图1为实施例1基于rfid的体感游戏动作识别方法的系统原理图。
19.图2为实施例1基于rfid的体感游戏动作识别方法的流程示意图。
20.图3为实施例2基于rfid的体感游戏动作打分方法的系统原理图。
21.图4为实施例3基于rfid的体感游戏动作打分方法的应用实例示意图。
具体实施方式
22.附图仅用于示例性说明，不能理解为对本专利的限制；以下结合附图和实施例对本发明做进一步的阐述。实施例1本实施例提供了一种基于rfid的体感游戏动作识别方法，该方法在具体实施时，需要使用到柔性rfid环、体感游戏机和显示器，具体如图1所示。其中柔性rfid环上设置有多组柔性rfid标签；体感游戏机包括rfid阅读模块、信号解析模块、降噪模块、特征提取模块、动作识别模块、显示模块和操作系统。
23.方法的基本思想为，通过检测人体做标准运动时固定在人体上的多组rfid标签发射的rfid信号的变化，使用信号强度变化反映rfid标签和rfid阅读模块间的距离变化，使用到达角变化反映rfid标签和rfid阅读模块间的角度变化，提取出相关特征训练所设计的cnn-xgboost模型。用训练好的cnn-xgboost模型对穿戴柔性rfid环的使用者的动作进行识别。由于体感游戏对用户细微动作的识别精度要求高，且更加注重用户体验感和成本，本发
明可以有效满足体感游戏的需求。
24.各部分说明如下：1）柔性rfid环1.1）柔性rfid环：用于将多个rfid标签固定在用户肢体或其他想要被感知的部位，是实现体感游戏动作识别所必须的可穿戴外设；1.2）rfid标签：负责接收体感游戏机的rfid阅读模块发送的信号并反馈rfid信号，可使用有源和无源标签。每个rfid标签具有编号且能被体感游戏机识别。rfid标签组以环的形式围绕在用户肢体处，如手腕和脚腕。
25.2）rfid阅读模块2.1）阅读器：负责接收来自多个rfid标签的rfid信号，并进行初步解析后，将其信息封装为数据包，转发给信号解析模块。
26.3）信号解析模块3.1）数据包解析：负责将rfid阅读模块得到的规定格式数据包解析成信道状态信息包，并发送给降噪模块；4）降噪模块4.1）降噪滤波处理：使用滤波算法对得到的信道状态信息包进行滤波，其目的为保留一定频率范围内人体运动引起的波动，消除人体动作之外的其他因素引起的波动。本发明中，所述滤波方法如下：首先把信道状态信息包的波形使用均值滤波法初步滤波后，使用巴特沃斯滤波器保留人体运动产生的低频波动，使用小波变换来进一步得到去除大部分噪声的人体运动波动。
27.daubechines小波对非平稳时间序列具有优秀的处理能力。本发明使用db1小波变换。分解层数主要与信噪比有关，信噪比较低时，输入信号主要以噪声为主，这时应该选择较大分解层数，有利于去除噪声；信噪比较高时，输入信号主要以信号为主，这时应该选择较小分解层数，否则会使信号失真严重。本发明的分解层数可根据信号质量动态选择，信噪比高的信号可以采用一层分解，信噪比低的信号可以采用三层以上分解。db1小波变换使用matlab中的dwt函数实现：[ca,cd]=dwt(x,
‘
db1’)[ca,cd]=dwt(x,
‘
db1’)使用指定的小波基函数db1对信号x进行分解，ca、cd分别为近似分量和细节分量。使用方差s来衡量细节分量的平稳程度，若s大于预设阈值，这说明细节分量不够平稳，需要进行更多层的信号分解。当细节分量足够平稳后，提取对应的近似分量作为降噪后的波形，细节分量被认为是环境噪声丢弃。
[0028]
5）特征提取模块5.1）特征提取：本发明中首先将动作样本根据体感游戏内容分割成一系列可用于识别的相同长度的时间片段。由各时间片段内的采样次数和对应的信号波动幅度得到初始动作信息的二维矩阵。提取该二维矩阵的平均值、方差、波动峰值位置、短时能量系数、超出平均值的波峰数量、极大值和极小值这7个特征作为识别特征。作为此处给出一示例，若采用10个rfid芯片，提取出信号强度和到达角的上述7个特征，时间片段为2s，该时间片段中存在20个时间戳（100ms一个时间戳，采样频率为10次/s），则此时提取出的特征矩阵为10
×2×7×
20的四维矩阵。其中，10代表10个芯片，2代表信号强度和到达角这2个物理量，7代表
7个特征，20代表20个时间戳。
[0029]
6）动作识别模块6.1）cnn-xgboost模型训练：该部分是在体感游戏开发过程中进行的，在游戏运行时直接将训练好的模型载入系统内，不需重复训练。模型训练过程如下：在标准动作与不标准动作下得到多组rfid信道特征信息，组成训练数据集，使用上述训练数据集训练所设计的cnn-xgboost模型。
[0030]
所述训练过程描述如下：首先，对所采集的到达角数据和信号强度数据进行特征提取。由于不同动作的持续时间不同，以舞蹈游戏为例，采集各节拍相同时间片段内的动作信息，以保证采集到的各数据构造出的二维矩阵尺寸相同。根据动作的不同为各数据集打上数字化的标签作为数据标注（如1,2,3
…
）。记录来自多位测试者的多组标准动作和多组不标准动作后，将标准动作标签设为1，不标准动作的标签根据其标准程度设置为0-1，标签记为l。采集10个rfid芯片对所有动作的信号强度数据和到达角数据相应上述7个特征，得到4维特征矩阵[10
×2×7×
20]和标签l。对多维数据，使用图像分类的基本思路，将4维特征矩阵[10
×2×7×
20]输入cnn-xgboost模型。在本发明中，考虑到收集的特征矩阵对微小动作具有响应，容易过拟合，且其同时具有正值和负值，所设计的cnn-xgboost网络结构为3层卷积层+2层激活函数为elu的采样层+1层最大池化层+1层sigmoid全连接层+1层xgboost层，其loss函数为交叉熵，采用随机梯度下降算法和反向传播来更新各神经元的权重。
[0031]
模型的具体训练过程为，先定义cnn-xgboost网络的初始参数，采用随机梯度下降算法，将随机选择的部分处理好的四维特征矩阵作为训练集输入到cnn-xgboost模型，输出该动作的分类结果及概率，根据其与标签l的对应关系得到cnn-xgboost模型的全局loss，并将全局loss作为cnn-xgboost模型的loss，反向传播梯度得到新的cnn-xgboost模型参数后，再次选择部分处理好的四维特征矩阵作为训练集进行训练，迭代直到测试集测试出的全局loss值小于目标阈值。该模型的输入为四维特征矩阵[10
×2×7×
20]，可以输出该动作所属动作类型的预测概率p。
[0032]
6.2）模型使用：用于根据动作样本的特征预测出动作识别结果，将rfid信号的变化特征的四维特征矩阵[10
×2×7×
20]输入cnn-xgboost模型，输出该动作属于动作a的预测概率p作为识别结果。
[0033]
7）显示模块7.1）分数显示：负责将动作识别结果通过显示器等设备反馈给用户；7.2）游戏运行：负责进行游戏内容的输出，如显示游戏内容、提示和下一步游戏等；8）操作系统8.1）全局管理：负责体感游戏机的全部功能实现以及下一步游戏内容的决策；9）显示器9.1）显示器：负责动作识别结果反馈，以及反馈体感游戏机希望反馈给用户的画面或声音信息。包括但不限于电视、投影仪等。
[0034]
如图2所示，本实施例提供的基于rfid的体感游戏动作识别方法的具体方法步骤如下：
s201：用户按要求佩戴好柔性rfid环，打开体感游戏机和显示器，开始游戏；s202：体感游戏机加载相应的体感游戏，并加载预先训练好的cnn-xgboost模型；s203：游戏开始，用户首先不动，等到体感游戏机的rfid阅读模块获取柔性rfid环的初始信号信息；s204：用户根据显示器的引导做出相应动作，引起柔性rfid环与体感游戏机相对位置的变化；s205：体感游戏机的rfid阅读模块持续获取柔性rfid环上不同rfid标签的信号变化，并将这些信号封装成数据包发送给信号解析模块；s206：信号解析模块从数据包中提取各rfid标签的信道信息，并发送到降噪模块；s207：降噪模块将信息中包含的噪声去除后，发送给特征提取模块；s208：特征提取模块提取出信号的相应特征后，将这些特征发送给动作识别模块；s209：动作识别模块使用预加载的cnn-xgboost模型，输入rfid信号的变化特征矩阵，输出对相应动作动作识别结果，并发送给显示模块及操作系统；s210：游戏机的操作系统根据识别结果判断的该动作引起的游戏内容的变化，并决定是否进行下一步游戏流程，通过显示器反馈给用户；s211：用户根据显示器的显示内容进行下一个动作，继续完成体感游戏。
[0035]
实施例2本实施例提供了一种基于rfid的体感游戏动作打分方法，该方法在具体实施时，需要使用到柔性rfid环、体感游戏机和显示器，具体如图3所示。其中柔性rfid环上设置有多组柔性rfid标签；体感游戏机包括rfid阅读模块、信号解析模块、降噪模块、特征提取模块、动作识别模块、分数获取模块、显示模块和操作系统。
[0036]
其中，以上柔性rfid环、显示器、rfid阅读模块、信号解析模块、降噪模块、特征提取模块、动作识别模块、显示模块和操作系统的功能作用、原理与实施例1的体感游戏动作识别方法中相应模块的功能作用、原理一致，本实施例提供的基于rfid的体感游戏动作打分方法主要在实施例1的基础上，增设了利用所述动作识别结果对用户的动作进行打分的步骤，并增设了分数获取模块。
[0037]
在具体使用时，动作识别模块输出的识别结果为相应动作属于具体动作类别的概率，分数获取模块将该概率作为动作的匹配度，基于所述匹配度对用户的游戏动作进行打分。比如，动作识别模块输出的相应动作属于动作a的预测概率p为0.921，取证后得到0.95，乘以游戏内最大分值100，得到用户该动作得分为95分。
[0038]
在具体实施时，所述打分结果通过显示模块、显示器等设备反馈给用户。
[0039]
实施例3本实施例提供了基于rfid的体感游戏动作打分方法的应用实例，如图4所示，柔性rfid环被做成手环和脚环的形式，被用户佩戴在左手手腕和右脚脚腕。用户手臂上的柔性rfid环中的rfid标签以顺时针次序依次编号。rfid信号接收端为一台智能体感游戏机，信号接收、信号处理、降噪、特征提取和动作识别由智能体感游戏机完成，cnn-xgboost模型训练阶段在游戏开发时已完成，在游戏装载时所要使用的cnn-xgboost模型已载入智能体感游戏机，显示器连接智能体感游戏机，负责显示智能体感游戏机输出的画面。使用者站在指定位置，用游戏手柄或其他方式向智能体感游戏机发送游戏开始指令后，即可开始体感游
戏。此时用户在进行一种体感舞蹈游戏。应用的具体流程如下：1）使用者站在指定位置，通过游戏手柄给智能体感游戏机发送游戏开始指令，显示器随着音乐进度显示出相应的舞蹈指导动作展示给用户，同时采集用户的柔性rfid环发射的初始信号信息；2）玩家做出相应动作：手臂向左旋转后向右旋转。与此同时，柔性rfid环向智能体感游戏机发送识别数据包；3）智能体感游戏机的rfid阅读模块持续接收到包含信息的数据包，并将数据包传递给信号解析模块；4）信号解析模块将数据包转换成rfid信号的信道状态信息，传递给降噪模块；5）降噪模块在所选频率范围内滤波，将干净的波动传递给特征提取模块；6）特征提取模块对信息进行分割时间片的操作，并发现2号标签的信号强度降低而1号标签的信号强度升高，之后1号标签的信号强度降低而3号标签的信号强度升高。将此特征传递给动作识别模块；7）动作识别模块加载预训练的cnn-xgboost模型，输入rfid信息预测出动作预测概率，发送给分数获取模块给用户打分，分数获取模块发现用户动作与“手臂向左旋转后向右旋转”的匹配度为90%，将该次动作对应的分数设置为90分后传递给显示器，反馈给用户；8）此时音乐刚好进行到下一个动作，用户得到反馈后，继续跟着音乐做出下一个舞蹈动作，重复以上步骤。
[0040]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。