1.本发明涉及冰箱技术领域，尤其涉及一种冰箱及冰箱的食材定位方法。
背景技术：
2.随着物联网的发展以及人类生活水平的提高，在智能家居领域，基于冰箱的食材跟踪定位的应用研究得到了越来越多人的重视。食材的跟踪定位技术潜力巨大、应用前景广泛，在超市农产品经营过程和日常家居生活中，冰箱根据食材的定位提示购物人所需食材位置，能够节省人工成本以及时间成本，因此如何实现冰箱内的食材定位对冰箱的智能化发展具有重要意义。
技术实现要素：
3.本发明实施例提供一种冰箱及冰箱的食材定位方法，能够实现食材存取位置的自动识别。
4.本发明一实施例提供一种冰箱，包括：
5.箱体，所述箱体上安装有门体，所述箱体内划分为多个存储区域；
6.图像采集装置，设置于所述箱体上；
7.控制器，其被配置为：
8.控制所述图像采集装置采集所述箱体内的当前图像；
9.从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
10.将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
11.根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
12.判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制所述图像采集装置采集所述箱体内的当前图像的步骤。
13.作为上述方案的改进，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
14.对所述当前图像进行预处理，得到预处理后的当前图像；
15.将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
16.通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
17.通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
18.根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
19.根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处
理，得到所述当前图像的检测框数据；
20.获取上一次采集的图像的检测框数据；
21.将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
22.作为上述方案的改进，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
23.对所述当前图像进行缩放，得到缩放后的当前图像；
24.对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
25.对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
26.作为上述方案的改进，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
27.分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
28.根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
29.基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
30.若是，则将关联的轨迹作为匹配结果；
31.若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
32.作为上述方案的改进，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
33.当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
34.当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
35.本发明另一实施例提供一种冰箱的食材定位方法，包括：
36.控制冰箱箱体上的图像采集装置采集所述箱体内的当前图像；其中，所述箱体内划分为多个存储区域；
37.从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
38.将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
39.根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
40.判断是否结束食材跟踪，若是，则根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置，若否，则返回至所述控制
所述图像采集装置采集所述箱体内的当前图像的步骤。
41.作为上述方案的改进，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
42.对所述当前图像进行预处理，得到预处理后的当前图像；
43.将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
44.通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
45.通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
46.根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
47.根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
48.获取上一次采集的图像的检测框数据；
49.将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
50.作为上述方案的改进，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
51.对所述当前图像进行缩放，得到缩放后的当前图像；
52.对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
53.对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
54.作为上述方案的改进，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
55.分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
56.根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
57.基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
58.若是，则将关联的轨迹作为匹配结果；
59.若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
60.作为上述方案的改进，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
61.当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
62.当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的
卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
63.与现有技术相比，本发明实施例提供的冰箱及冰箱的食材定位方法，利用图像采集装置采集冰箱箱体内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。
附图说明
64.图1是本发明一实施例提供的一种冰箱的结构示意图；
65.图2是本发明一实施例提供的cspdaknet53网络的特征提取流程示意图；
66.图3是本发明一实施例提供的轨迹关联匹配流程示意图；
67.图4是本发明一实施例提供的冰箱实现食材定位的具体流程示意图；
68.图5是本发明一实施例提供的冰箱的食材定位方法的流程示意图。
具体实施方式
69.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
70.参见图1，是本发明一实施例提供的一种冰箱的结构示意图。
71.本实施例提供的冰箱100，包括：
72.箱体10，所述箱体10上安装有门体，所述箱体10内划分为多个存储区域；
73.图像采集装置20，设置于所述箱体10上；
74.控制器30，其被配置为：
75.s11、控制所述图像采集装置20采集所述箱体10内的当前图像；
76.s12、从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
77.s13、将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
78.s14、根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
79.s15、判断是否结束食材跟踪，若是，则执行步骤s16，若否，则返回至步骤s11；
80.s16、根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置。
81.示例性地，所述箱体10内可以是通过多个隔板划分为多个层，每层可作为一个存储区域。在具体实施时，可以是预先通过图像采集装置20采集箱体10内的图像，并获取该图像上各存储区域的位置信息，从而得到每一存储区域对应的位置信息。
82.作为其中一个可选的实施方式，图像采集装置20可以是安装在箱体10顶部靠近中间的位置，图像采集装置20为可伸缩的摄像头，当进行数据采集时，控制器30可以控制摄像头探出箱体10外侧，获取最佳的拍摄角度。
83.在一个具体实施方式中，图像采集装置20采集的图像中包含箱体10内的完整图像信息，在另一个具体的实施方式中，图像采集装置20采集的图像中可以是至少包含用户存取食材过程中的操作区域和靠近冰箱100门体的全部隔板边缘区域的图像信息，通常第一图像是冰箱100门区域，所述冰箱100门区域包括冰箱100门体前后、以及门体至用户的区域，从而，图像采集装置20可以采集到用户存取食材过程中的动作、存取的食材以及食材与各存储区域的位置关系。
84.示例性地，可以是通过判断门体是否关闭来确定是否结束食材跟踪，若门体关闭，则确定食材已存取完毕，此时可确定结束食材跟踪，否则，则继续跟踪。另外，也可以是根据最新轨迹判断目标食材的位置是否发生变化来确定是否结束食材跟踪，若目标食材的位置长时间未发生变化，则确定食材已存取完毕，此时可确定结束食材跟踪，否则，则继续跟踪。
85.可以理解的，对目标食材进行跟踪的过程中，所得到的目标食材的最新轨迹属于正在跟踪中的轨迹。
86.本发明实施例提供的冰箱100，利用图像采集装置20采集冰箱100箱体10内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱100中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体10内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。
87.作为其中一个可选的实施例，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
88.s121、对所述当前图像进行预处理，得到预处理后的当前图像；
89.s122、将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
90.s123、通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
91.s124、通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
92.s125、根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
93.s126、根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
94.s127、获取上一次采集的图像的检测框数据；
95.s128、将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
96.示例性地，本实施例中的特征提取网络为cspdaknet53网络，如图2所示，该网络由一系列的残差块组成，利用卷积不断地进行特征提取，在此过程中特征层的宽和高不断地被压缩，通道数不断地扩张，最后得到三个大小分别为52*52*256、26*26*512、13*13*1024的有效特征层，以作为第一特征数据。空间特征金字塔网络可以是掺杂在cspdaknet53特征层的卷积里，空间特征金字塔网络可以是分别使用四个不同尺度的最大池化对第一特征数据进行处理，最大池化卷积核大小分别为13*13、9*9、5*5、1*1，spp结构能够极大地增加感受野，分离出上下文特征，得到第二特征数据。之后利用路径聚合网络分别从上到下和从下到上反复提取第二特征数据中的特征。
97.示例性地，根据所述第三特征数据进行食材检测获得的预测结果并不是直接对应最终检测框在图片上的位置，所以还需要进行解码，解码过程为将每个网格点加上它对应的水平方向的偏移和竖直方向的偏移，处理完之后就可以得到许多候选检测框的位置，再利用各候选检测框的预测置信度和位置进行非极大值抑制处理，从而得到目标检测结果。
98.在本实施例中，通过特征提取网络、空间特征金字塔网络和路径聚合网络进行特征提取，能够极大程度提高特征的准确性，并且，根据每一候选检测框的预测置信度进行去重处理，能够提高检测框的准确性，从而，提高了食材定位的准确性，并且，通过将当前图像的检测框数据与上一次采集的图像的检测框数据进行比对，可以快速确定正在移动中的食材对应的检测框。
99.进一步地，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
100.s1211、对所述当前图像进行缩放，得到缩放后的当前图像；
101.s1212、对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
102.s1213、对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
103.在本实施例中，通过对图像进行缩放、灰条填充和归一化操作，能够保证图片不失真，从而保证食材定位的准确性。
104.作为其中一个可选的实施例，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
105.s131、分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
106.s132、根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
107.s133、基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
108.s134、若是，则将关联的轨迹作为匹配结果；
109.s135、若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
110.示例性地，余弦距离可以是检测框位置的外观矩阵与正在跟踪的多条轨迹之间的余弦距离，外观矩阵指的是把检测框送入卷积神经网络得到的一个特征向量。
111.在本实施例中，参见图3，通过余弦距离可以得到检测框位置与每个轨迹的相似性，接着对检测框位置和每个轨迹计算其位置的马氏距离，来排除掉特征相似但是距离很远的匹配，之后把两个矩阵按照一定的权重进行相加，作为最终的代价矩阵，通过匈牙利算法进行轨迹关联匹配，若匹配失败，则进一步将检测框和每个轨迹以交并比为代价，通过匈牙利算法进行匹配，能够提高轨迹关联的准确性。
112.示例性地，在所述步骤s135中，若确定匹配结果为不存在关联的轨迹，还可以是删除长时间未匹配的轨迹。
113.作为其中一个可选的实施例，所述根据所述匹配结果和所述检测框位置对所述目
标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
114.s141、当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
115.s142、当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
116.在本实施例中，每一正在跟踪的轨迹均对应一个卡尔曼滤波器，卡尔曼滤波器能够实现对目标的运动状态估计。若关联匹配成功，则将关联的轨迹作为匹配结果，当匹配结果为关联的轨迹时，将关联的轨迹作为目标食材的轨迹，并获取目标食材的轨迹对应的卡尔曼滤波器，以及，基于检测框位置，通过卡尔曼滤波器对目标食材进行运动状态估计，从而更新目标食材的轨迹，以得到目标食材的最新轨迹；若关联匹配失败，则确定匹配结果为不存在关联的轨迹，当匹配结果为不存在关联轨迹时，基于检测框位置新建目标食材的卡尔曼滤波器，并且新建目标食材的轨迹，以作为正在跟踪中的轨迹，以供后续进行跟踪定位。
117.由于冰箱100中的食材较多且结构复杂，在存取食材时，容易出现被遮挡的问题而导致食材跟踪定位失败，本实施例通过卡尔曼滤波算法进行食材跟踪，能够提升遮挡情况下食材跟踪定位的准确率。
118.在一个具体的实施方式中，冰箱100的具体食材定位步骤如图4所示，在此不作赘述。
119.参见图5，是本发明实施例提供的一种冰箱的食材定位方法的流程示意图。
120.本实施例提供的冰箱的食材定位方法，可以是应用于上述实施例提供的任一冰箱，具体包括：
121.s21、控制冰箱箱体上的图像采集装置采集所述箱体内的当前图像；其中，所述箱体内划分为多个存储区域；
122.s22、从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置；
123.s23、将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果；
124.s24、根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹；
125.s25、判断是否结束食材跟踪，若是，则执行步骤s26，若否，则返回至所述步骤s21；
126.s26、根据所述目标食材的最新轨迹和预先获取的每一所述存储区域对应的位置信息，确定所述目标食材的存取位置。
127.本发明实施例提供的冰箱的食材定位方法，利用图像采集装置采集冰箱箱体内的图像，基于该图像，通过目标识别和追踪算法对能够实时的识别和追踪冰箱中移动的目标食材，以得到目标食材的运动轨迹，并基于箱体内的存储区域的位置划分和运动轨迹，确定目标食材的具体存取位置，从而，能够实现食材存取位置的自动识别。
128.作为其中一个可选的实施例，所述从所述当前图像中识别处于移动状态的目标食材，得到所述目标食材的检测框位置，包括：
129.s221、对所述当前图像进行预处理，得到预处理后的当前图像；
130.s222、将所述预处理后的当前图像输入特征提取网络进行特征提取，得到第一特征数据；
131.s223、通过空间特征金字塔网络对所述第一特征数据进行池化，得到第二特征数据；
132.s224、通过路径聚合网络对所述第二特征数据进行特征提取，得到第三特征数据；
133.s225、根据所述第三特征数据进行食材检测，得到多个候选检测框及其对应的预测置信度；
134.s226、根据每一所述候选检测框对应的预测置信度，对多个所述候选检测框进行去重处理，得到所述当前图像的检测框数据；
135.s227、获取上一次采集的图像的检测框数据；
136.s228、将所述当前图像的检测框数据与所述上一次采集的图像的检测框数据进行比对，确定所述目标食材的检测框位置。
137.进一步地，所述对所述当前图像进行预处理，得到预处理后的当前图像，包括：
138.s2211、对所述当前图像进行缩放，得到缩放后的当前图像；
139.s2212、对所述缩放后的当前图像中的空白区域进行灰条填充，得到填充后的当前图像；
140.s2213、对所述填充后的当前图像进行归一化操作，得到预处理后的当前图像。
141.作为其中一个可选的实施例，所述将所述检测框位置与正在跟踪的多条轨迹进行关联匹配，得到匹配结果，包括：
142.s231、分别计算所述检测框位置与正在跟踪的多条轨迹的余弦距离和马氏距离，并构建余弦距离代价矩阵和马氏距离代价矩阵；
143.s232、根据预设的余弦距离代价矩阵的权重和马氏距离代价矩阵的权重，对所述余弦距离代价矩阵和所述马氏距离代价矩阵进行加权求和，得到目标代价矩阵；
144.s233、基于所述目标代价矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹；
145.s234、若是，则将关联的轨迹作为匹配结果；
146.s235、若否，则计算所述检测框位置与每一所述轨迹的交并比，并构建交并比矩阵；以及，基于所述交并比矩阵，采用匈牙利算法判断多条所述轨迹中是否存在与所述检测框位置关联的轨迹，若是，则将关联的轨迹作为匹配结果，若否，则确定匹配结果为不存在关联的轨迹。
147.作为其中一个可选的实施例，所述根据所述匹配结果和所述检测框位置对所述目标食材进行跟踪，得到所述目标食材的最新轨迹，包括：
148.s241、当所述匹配结果为关联的轨迹时，将所述关联的轨迹作为所述目标食材的轨迹，并获取所述目标食材的轨迹对应的卡尔曼滤波器；以及，基于所述检测框位置，通过所述卡尔曼滤波器对所述目标食材的轨迹进行更新，得到所述目标食材的最新轨迹；
149.s242、当所述匹配结果为不存在关联轨迹时，基于所述检测框位置建立所述目标食材的卡尔曼滤波器和轨迹，以得到所述目标食材的最新轨迹。
150.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述实施例中的方法的具体描述和有益效果，可以参考前述装置实施例中的对应描述和有
益效果，在此不再赘述。
151.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。