1.本发明属于民用航空空中交通管理技术领域，具体地说，涉及一种基于空管语音识别的管制员违规操作监控与分析方法。


背景技术：

2.随着我国民航业的飞速发展，给人们的出行带来了极大便利，民航安全运行不仅与人们的生命安全和财产安全紧密相连，也和经济发展密切相关。空中交通管制员在空管系统中发挥着不可或缺的重要作用。随着空中交通流量逐年增加，空中交通管制员面对的空域指挥环境也越来越复杂，管制过程中出现各种“错、漏、忘”等违规操作也越来越多，造成诸多安全隐患。
3.管制员违章是指管制员忽视和违反空管组织机构或安全生产单位的规章制度、操作规范、运行标准程序等的工作行为。为贯彻“安全第一”的运输理念，空中交通管理者们结合实际管制运行环境就空中交通管制员的行为风险以及如何建立防范对策进行了深入研究与探讨，并取得了一些实质性的成果。
4.严格遵守规章制度能有效的防止和减少空管不安全事件和航空事故的发生，虽然我国民航空中交通管理水平在不断提升，管理制度不断优化，相关硬件、软件也得到了快速发展，但是仍难以彻底杜绝空中交通管制员违章行为的发生。归根结底，主要是管制员的违章行为得不到准确有效的监控以及合理的分析。传统安全管理模式有着“重结果，轻过程，重惩罚，轻奖励”的弊端，目前常用的管制安全分析工具如空中自动化系统的景象记录与回放系统、数字记录仪系统等，都只能针对管制事故的事后回放与分析，一直缺少直接对管制过程进行精准监督管理的量化工具。


技术实现要素：

5.本发明针对现有技术的上述缺陷和需求，提出了一种基于空管语音识别的管制员违规操作监控与分析方法，利用最新人工智能技术，将管制员与航空器之间的语音通话以及管制员实际的操作行为与标准操作规范进行比对，判断管制员是否有违章操作行为。根据本发明记录的管制员违章操作行为以及分析结果，再结合合理的管理制度，可以更有效的减少管制员违章行为，减少空管不安全事件和事故的发生。
6.本发明具体实现内容如下：本发明提出了一种基于空管语音识别的管制员违规操作监控与分析方法，用于对航空飞行过程中管制员的操作是否有违规进行监控和分析；所述方法包括以下步骤：步骤1：接收航空飞行过程中管制员和飞行员的实时地空通话的上下行语音通话数据，对接收的上下行语音通话数据进行预处理，输出预处理后的语音通话音频文件；步骤2：采用深度学习算法，结合航空空管用专业术语语库，事先构建用于将语音音频转换为文字指令的识别引擎；然后再在实际操作过程中，采用识别引擎将预处理后的语音通话音频文件转换为文本标签；
步骤3：采用深度学习算法，结合航空空管用专业术语语库，事先离线构建用于从文本标签中筛选出有意义的空管指令对话的语义模型解析模块；然后再在实际操作过程中，将实时获取的文本标签发送到语义模型解析模块中进行解析，得到管制员实时说出的空管指令结果；所述有意义的空管指令对话为包含实质确定的空管指令内容的对话；步骤4：获取管制员在实时说出空管指令结果的时候在atc系统上发布的对应操作信息；步骤5：将步骤3获取的空管指令结果与步骤4获得的操作信息进行比较，并按照行业制定的规范进行对比，判断管制员是否有违规行为；步骤6：将步骤1-步骤5生成的数据记录进行存储，根据记录的综合航迹监视信息、管制席位扇区信息进行数据关系的关联，结合管制需求统计并生成可视化数据，作为空管管理人员决策量化依据。
7.为了更好地实现本发明，进一步地，所述步骤3的具体操作为：首先，在事先的离线阶段：步骤3.1：采集空管语音通话样本集，从中筛选出有意义的空管指令对话；步骤3.2：采用空管指令标注工具，结合航空空管用专业术语语库对筛选出的有意义的空管指令对话进行标注；步骤3.3：基于深度学习的神经网络，使用标注后的有意义的空管指令对话进行空管语义解析模型的训练，并择优训练出最终的空管语义解析模型；然后，在实际处理的在线阶段：步骤3.4：获取步骤2得到的文本标签，对文本标签进行预处理；步骤3.5：将步骤3.3训练得到的最终的空管语义解析模型嵌入到语义模型解析模块中，使用语义模型解析模块对预处理后的文本标签进行解析，得到解析出空管员发出的一个个具体的空管指令；步骤3.6：对解析出的空管指令进行后处理优化，输出最终的空管指令结果。
8.为了更好地实现本发明，进一步地，所述解析操作包括角色解析和指令意图解析；所述角色解析为解析对话方各自的对话角色；所述指令意图解析为解析出对话中包含的空管员发出的一个个具体的空管指令；所述空管指令包括：上升、下降、保持、调速、飞导航台、左转、右转、左偏、右偏、取消偏置、联系频率。
9.为了更好地实现本发明，进一步地，所述步骤2的具体操作为：步骤2.1：获取语音数据样本集，对语音数据样本集进行语音特征的特征提取；获取包含航空空管用专业术语语库的文本数据样本集；步骤2.2：使用语音特征，基于深度学习，进行声学模型的预训练，得到训练后的声学模型；使用文本数据样本集，基于深度学习，进行语言模型的预训练，得到训练后的语言模型；步骤2.3：将训练得到的声学模型和语言模型结合，获得用于从音频中获得文字的识别引擎；步骤2.4：将步骤1获得的语音通话音频文件进行特征提取，将提取到的音频特征送入到识别引擎中，获得文本标签。
10.为了更好地实现本发明，进一步地，所述步骤4的具体操作为：
步骤4.1：获取管制员在实时说出空管指令结果的时候在atc系统上进行的操作的数据：开始下达指令的时间、管制员指令下达完毕的时间、管制员下达的指令类型和相关参数；获取机组响应操作的数据：开始复诵指令的时间、机组复诵完成的时间、机组复诵的指令类型和相关参数；步骤4.2：根据步骤4.1获取的数据，结合步骤2和步骤3获取的数据，对管制员是否有违规行为进行判定。
11.为了更好地实现本发明，进一步地，所述步骤4.2中的具体判定包括：判定1：在机组复诵准确无误的情况下进行管制员空管指令和实际操作不一致违章行为的判定；判定方式为：判断系统处理结果中空管指令类型是否与管制员操作类型以及对应的参数都一致；判定2：在机组复诵准确无误的情况下进行管制员管制流程违章行为的判定；判定方式为：判断在管制员下达空管指令和实际操作一致的前提下，管制员实际执行相关操作时间不能早于机组复诵完成时间。
12.为了更好地实现本发明，进一步地，在进行判定的时候还要遵守以下原则，否则不进行判定：原则1：管制员在atc系统上实际执行相关指令操作的时间需要比机组复诵完成的时间晚至少一秒；且管制员在atc系统上实际执行相关指令操作的时间需要比机组复诵完成的时间晚不超过五秒；原则2：系统在判断机组复诵准确无误的情况下才进行是否有违章行为的监控判定；原则3：机组复诵完成时间不能晚于管制员指令下达完毕时间后20s。
13.为了更好地实现本发明，进一步地，所述步骤6的具体操作为：根据步骤1-步骤5的结果，结合综合航迹信息、飞行计划数据、扇区信息，得到飞行量、通话量、波占比、各种指令类型数量以及对应类型的违章行为数量、对应时段的违章行为数量；然后将数据整合进行可交互操作的可视化展示，从而作为空管管理人员决策辅助资源；最后由管理人员分析违章行为产生的原因，并制定相应防护措施。
14.为了更好地实现本发明，进一步地，所述步骤1中，对接收的上下行语音通话数据进行预处理，输出预处理后的语音通话音频文件的具体操作为：对接收到的上下行语音通话数据进行语音质量分析、语音平滑处理、语音降噪处理、语音端点检测处理后，对处理后的语音通话数据进行连续语音信号的切割，得到切割后的语音通话音频文件。
15.为了更好地实现本发明，进一步地，步骤1中的所述语音通话音频文件为wav格式语音文件。
16.本发明与现有技术相比具有以下优点及有益效果：（1）传统的管制员行为监督方法一般为管理人员现场监督，不仅费时费力，而且监控结果准确性不高；而本发明提出管制员违章行为监控能大量减少管理人员的工作量，并提高管制员行为监控结果的覆盖面和准确性；（2）传统的安全管理模式有着“重结果，轻过程”的弊端，特别是在发生管制员违章行为情况下，无法合理的进行分析与管理；而本发明提出的管制员违章行为分析方法能够
统计出管制员工作期间的工作负荷，违章占比等数据，从而能有效辅助管理人员针对违章行为进行更加合理有效的分析与处理。
附图说明
17.图1为本发明的具体流程示意图。
18.图2为步骤2的语音数据接入与预处理框架示例图。
19.图3为空管语音识别框架流程示例图。
20.图4为空管指令解析逻辑流程示例图。
21.图5为管制标准流程与系统处理数据结果图。
具体实施方式
22.为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
24.实施例1：本实施例提出了一种基于空管语音识别的管制员违规操作监控与分析方法，用于对航空飞行过程中管制员的操作是否有违规进行监控和分析；如图1所示，所述方法包括以下步骤：步骤1：接收航空飞行过程中管制员和飞行员的实时地空通话的上下行语音通话数据，对接收的上下行语音通话数据进行预处理，输出预处理后的语音通话音频文件；步骤2：采用深度学习算法，结合航空空管用专业术语语库，事先构建用于将语音音频转换为文字指令的识别引擎；然后再在实际操作过程中，采用识别引擎将预处理后的语音通话音频文件转换为文本标签；步骤3：采用深度学习算法，结合航空空管用专业术语语库，事先离线构建用于从文本标签中筛选出有意义的空管指令对话的语义模型解析模块；然后再在实际操作过程中，将实时获取的文本标签发送到语义模型解析模块中进行解析，得到管制员实时说出的空管指令结果；所述有意义的空管指令对话为包含实质确定的空管指令内容的对话；步骤4：获取管制员在实时说出空管指令结果的时候在atc系统上发布的对应操作信息；步骤5：将步骤3获取的空管指令结果与步骤4获得的操作信息进行比较，并按照行业制定的规范进行对比，判断管制员是否有违规行为；步骤6：将步骤1-5生成的数据记录进行存储，根据记录的综合航迹监视信息、管制
席位扇区信息进行数据关系的关联，结合管制需求统计并生成可视化数据，作为空管管理人员决策量化依据。
25.工作原理：本发明提出了一种基于空管语音识别的管制员违规操作监控与分析方法，利用最新人工智能技术，将管制员与航空器之间的语音通话以及管制员实际的操作行为与标准操作规范进行比对，判断管制员是否有违章操作行为。根据本发明记录的管制员违章操作行为以及分析结果，再结合合理的管理制度，可以更有效的减少管制员违章行为，减少空管不安全事件和事故的发生。
26.实施例2：本实施例在上述实施例1的基础上，提出了一种基于空管语音识别的管制员违规操作监控与分析方法，用于对航空飞行过程中管制员的操作是否有违规进行监控和分析；如图1、图2所示，具体包括以下步骤：步骤1：接入实时空管地空通话语音信号，并完成话音信号的预处理，包括采语音质量分析、语音平滑处理、语音降噪处理、语音端点检测等，实现连续语音信号的切割，输出wav格式语音文件；步骤2：将步骤1处理后的语音文件按照民用航空行业标准《空中交通无线电通话用语》（mh/t 4014-2003）进行空管专业术语识别，识别内容包括但不限于：航空器呼号、管制单位呼号、数字、字母、联系频率、地标点、空管指令及参数等。最后输出文字指令信息；步骤3：将步骤2识别出的空管通话指令文字信息进行语义智能解析，包括角色解析和指令意图解析，指令意图包括但不限于：上升、下降、保持、调速、飞导航台、左转、右转、左偏、右偏、取消偏置、联系频率等。最后输出空管指令解析结果；步骤4：接收并处理管制员发布空管指令后的对应操作信息，包括操作的时间，操作的对象以及操作的参数等，比如在语音发布高度调整指令后，获取管制员在atc系统中操作航空器标牌时的时间点，对应航班号以及选择的cfl高度值等；步骤5：将步骤3和步骤4的处理结果与空管标准操作规范进行比对，判断管制员“言、行”是否一致，是违反了标准操作规范，主要进行比对的是管制员的操作顺序是否符合规范以及指令中涉及的数值或对象与实际操作的数值或对象是否一致；步骤6：根据记录的综合航迹监视信息、管制席位扇区信息以及步骤1-5处理结果的关联关系，结合管制需求统计并生成可视化数据，作为空管管理人员决策量化依据。
27.本实施例的其他部分与上述实施例1相同，故不再赘述。
28.实施例3：本实施例在上述实施例1-2任一项的基础上，提出了一种基于空管语音识别的管制员违规操作监控与分析方法，用于对航空飞行过程中管制员的操作是否有违规进行监控和分析；如图1、图2、图3、图4、图5所示，具体包括以下步骤：步骤1：语音数据接入与预处理语音数据接入与预处理的过程如图2所示，从记录仪配线架和内话系统主配线架接入多路话音数据（上下行语音），并完成话音数据的预处理，包括语音质量分析、语音平滑处理、语音降噪处理、语音端点检测等，实现连续语音信号的切割，输出以语音开始时间命名的wav格式语音文件，通过消息中间件供空管语音识别与指令解析使用，并在数据库中进行相应的存储，存储内容包含但不限于二进制语音文件，音频时长等。
29.步骤2：空管语音识别空管语音识别的主要目的是将实时地空通话（管制员-飞行员）识别为人类可读的文字，实现地空通话语音信号表现的转换，即从模拟语音信号到计算机可显示的人类可读文本。本发明采用了如图3所示的空管语音识别框架以实现管制通话语音识别，从图中描述可知，语音识别系统包含训练和应用两个流水线阶段。训练阶段，将语音信号提取为特征，并与标注文本一起训练语音识别声学模型和语言模型。应用阶段，根据实时接收到的语音数据进行特征提取并结合已训练的模型，得到文本标签。再将识别结果发送到消息中间件，并在数据库中进行相应的存储，支持后续环节使用。
30.步骤3：空管指令解析空管指令解析的主要目的是从空管语音通话中筛选出有意义的空管指令对话，并解析出航班实时的管制意图及其对应的状态参数。本发明采用了一种基于循环神经网络（rnn）的深度学习方法，通过对大量的空管语音对话样本数据进行训练并建立模型，最终利用模型对空管对话语句进行语义解析，在满足实时性的同时达到了良好的效果。
31.从逻辑流程的角度看，管制语义解析包括离线和在线两个过程，如图4所示。离线过程实现空管语义解析模型的训练，主要包括从空管语音通话中筛选出有意义的空管指令对话，然后利用空管指令标注工具制作为训练样本数据，通过空管语义解析模型训练择优得到空管语义解析模型。
32.在线过程实现运行系统中的实时空管指令语义解析功能，包括接收系统其他模块的空管指令语义解析请求，经过预处理后将待解析指令传送给语义模型解析模块，该模块使用空管语义解析模型对其进行解析，模型解析的结果再经由后处理优化后输出，将空管指令语义解析结果反馈给请求方，并在数据库中进行相应的存储。
33.步骤4：管制员管制操作信息接入与处理管制员在实际管制过程中下达空管指令后往往需要与atc系统进行交互操作，交互内容和下达的指令息息相关，而这些交互操作atc系统都需记录。比如当区管管制员下达高度调节的语音指令后，在atc系统的管制席位上需要手动选择修改对应航班标牌中cfl高度，atc系统会记录下此操作的相关信息，包括航班号、cfl值、操作时间等，并保存在飞行计划报文中；系统则根据实时航迹和飞行计划报文信息整合得到该管制员的实际操作信息。然后进行下一步处理。
34.步骤5：结合标准规范，判断管制员“言、行”是否一致，是否存在违章操作管制标准规范规定管制员下达的指令和实际操作需要一致，并且必须在机组正确复诵完成后才能进行实际操作。标准管制流程与本发明提出的基于空管语音理解技术的管制员违章操作监控方法涉及的数据如图5所示。
35.结合步骤1，步骤2，步骤3和步骤4的处理结果，可以将实时地空通话语音，通过切分和空管语音识别与解析，确认管制员开始下达指令的时间t-control_start，管制员指令下达完毕的时间t-control_end，以及管制员下达的指令类型c_type和相关参数c_value1,c_value2
…
；机组开始复诵指令的时间t-plane_start，机组复诵完成的时间t_plane_end以及机组复诵的指令类型p_type和相关参数p_value1,p_value2
…
。然后再结合标准规范，判断管制员是否有违章操作行为并将相关信息存储到数据库和本地日志文件中。
36.在机组复诵准确无误的情况下进行管制员空管指令和实际操作不一致违章行为
的判定；判定方式为：(c_type == o_type) and (c_value1 == o_value1) and(c_value2 == o_value2)
…
即判断系统处理结果中空管指令类型是否与管制员操作类型以及对应的参数都一致。
37.在机组复诵准确无误的情况下进行管制员管制流程违章行为的判定；判定方式为：(t-control_operation
ꢀ–ꢀ
t-plan_end 》= 0)即判断在管制员下达空管指令和实际操作一致的前提下，管制员实际执行相关操作时间不能早于机组复诵完成时间。
38.本发明方法依赖于空管语音识别，其准确性也与空管语音理解结果紧密相关，在高识别率的空管语音理解技术支持下，本发明仍然采取了多种保护措施，进一步提高监控结果准确性。保护措施包括但不限于：1.系统在判断机组复诵准确无误的情况下才进行违章行为监控判断；2.机组复诵完成时间不能晚于管制员指令下达完毕时间后20s；3.(t-control_operation
ꢀ–ꢀ
t-plan_end 》 t1) and (t-control_operation
ꢀ–ꢀ
t-plan_end 《 t2),t1和t2可在参数文件中配置，默认取t1=1,t2=5，这两个参数的设定需要根据记录结果以及实际管制情况分析，从而取得最佳值，达到少漏警，少误警。
39.步骤6：结合各方面综合数据，生成可用分析数据准确的管制员违章操作监控结果需要结合合理的分析才能真正有效的减少管制员违章行为，减少空管不安全事件和事故的发生。本发明提出的分析方法主要是根据步骤1-5的结果结合综合航迹信息、飞行计划数据、扇区信息等，得到准确的的飞行量、通话量、波占比、各种指令类型数量以及对应类型、对应时段的违章行为数量等，提供可交互操作的可视化展示功能，从而作为空管管理人员决策辅助资源，由管理人员分析违章行为产生的原因，并制定防护措施。
40.本实施例的其他部分与上述实施例1-2任一项相同，故不再赘述。
41.实施例4：本实施例在上述实施例1-3任一项的基础上，如图3所示，为了更好地实现本发明，进一步地，所述步骤2的具体操作为：步骤2.1：获取语音数据样本集，对语音数据样本集进行语音特征的特征提取；获取包含航空空管用专业术语语库的文本数据样本集；步骤2.2：使用语音特征，基于深度学习，进行声学模型的预训练，得到训练后的声学模型；使用文本数据样本集，基于深度学习，进行语言模型的预训练，得到训练后的语言模型；步骤2.3：将训练得到的声学模型和语言模型结合，获得用于从音频中获得文字的识别引擎中；步骤2.4：将步骤1获得的语音通话音频文件进行特征提取，将提取到的音频特征送入到识别引擎中，获得文本标签。
42.本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
43.实施例5：本实施例在上述实施例1-4任一项的基础上，为了更好地实现本发明，进一步地，如图4所示，所述步骤3的具体操作为：首先，在事先的离线阶段：步骤3.1：采集空管语音通话样本集，从中筛选出有意义的空管指令对话；步骤3.2：采用空管指令标注工具，结合航空空管用专业术语语库对筛选出的有意义的空管指令对话进行标注；步骤3.3：基于深度学习的神经网络，使用标注后的有意义的空管指令对话进行空管语义解析模型的训练，并择优训练出最终的空管语义解析模型；然后，在实际处理的在线阶段：步骤3.4：获取步骤2得到的文本标签，对文本标签进行预处理；步骤3.5：将步骤3.3训练得到的最终的空管语义解析模型嵌入到语义模型解析模块中，使用语义模型解析模块对预处理后的文本标签进行解析，得到解析出空管员发出的一个个具体的空管指令；步骤3.6：对解析出的空管指令进行后处理优化，输出最终的空管指令结果。
44.为了更好地实现本发明，进一步地，所述解析操作包括角色解析和指令意图解析；所述角色解析为解析对话方各自的对话角色；所述指令意图解析为解析出对话中包含的空管员发出的一个个具体的空管指令；所述空管指令包括：上升、下降、保持、调速、飞导航台、左转、右转、左偏、右偏、取消偏置、联系频率。
45.本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。
46.以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。