1.本发明涉及通过机器学习来学习成膜条件的技术。


背景技术：

2.近几年，为了制造耐磨损性高的切削工具，通过对成为切削工具的基材实施物理蒸镀法(pvd法)来进行tin、tialn、crn等硬膜的成膜(例如专利文献1)。为了制造耐磨损性高的工具，要求恰当地决定成膜条件。
3.然而，以往，成膜条件依靠熟练技术人员的长年经验来决定。因此，难以容易地决定恰当的成膜条件。
4.现有技术文献
5.专利文献
6.专利文献1：日本专利公开公报特开2014-114507号


技术实现要素：

7.本发明为了解决上述那样的课题而作，其目的在于提供一种能够容易地决定恰当的成膜条件的机器学习方法等。
8.近几年，在云端上提供各种各样与包括深度学习的机器学习有关的服务，使用者可以容易地利用这样的服务。因此，本发明人得出了如下的见解从而想到了本发明，即，如果对成膜条件以及关于成膜的性能评价的物理量进行机器学习，便能够容易地决定恰当的成膜条件。
9.本发明的一个方面所涉及的机器学习方法是机器学习装置决定成膜装置对作为基材的工件进行成膜的成膜条件的方法，所述成膜装置包含用于使腔室成为真空的真空排气系统、对所述腔室进行加热及冷却的加热冷却系统、使目标蒸发的蒸发源系统、用于载置工件的工作台系统、将工艺气体导入到所述腔室的工艺气体系统、以及蚀刻系统，所述机器学习方法包括以下步骤：获取状态变量，该状态变量包含关于成膜的性能评价的至少1个物理量、以及至少1个成膜条件；根据所述状态变量，计算对所述至少1个成膜条件的决定结果的回报；根据所述回报，更新用于根据所述状态变量决定所述至少1个成膜条件的函数；以及，通过反复进行所述函数的更新，从而决定获得所述回报最多的成膜条件；其中，所述至少1个成膜条件是关于所述真空排气系统的第1参数、关于所述加热冷却系统的第2参数、关于所述蒸发源系统的第3参数、关于所述工作台系统的第4参数、以及关于所述工艺气体系统的第5参数中的至少1个，所述至少1个物理量是关于皮膜的膜质特性、机械特性、以及物理特性中的至少1个。
10.本发明的另一个方面所涉及的机器学习装置是决定成膜装置对作为基材的工件进行成膜的成膜条件的装置，所述成膜装置包含用于使腔室成为真空的真空排气系统、对所述腔室进行加热及冷却的加热冷却系统、使目标蒸发的蒸发源系统、用于载置工件的工
作台系统、将工艺气体导入到所述腔室的工艺气体系统、以及蚀刻系统，所述机器学习装置包括：状态获取部，获取状态变量，该状态变量包含关于成膜的性能评价的至少1个物理量、以及至少1个成膜条件；回报计算部，根据所述状态变量，计算对所述至少1个成膜条件的决定结果的回报；更新部，根据所述回报，更新用于根据所述状态变量决定所述至少1个成膜条件的函数；以及，决定部，通过反复进行所述函数的更新，从而决定获得所述回报最多的成膜条件；其中，所述至少1个成膜条件是关于所述真空排气系统的第1参数、关于所述加热冷却系统的第2参数、关于所述蒸发源系统的第3参数、关于所述工作台系统的第4参数、以及关于所述工艺气体系统的第5参数中的至少1个，所述至少1个物理量是关于皮膜的膜质特性、机械特性、以及物理特性中的至少1个。
11.本发明的另一个方面所涉及的机器学习程序是使计算机作为机器学习装置发挥作用并且计算机可读的程序，所述机器学习装置是决定成膜装置对作为基材的工件进行成膜的成膜条件的装置，所述机器学习程序中，所述成膜装置包含用于使腔室成为真空的真空排气系统、对所述腔室进行加热及冷却的加热冷却系统、使目标蒸发的蒸发源系统、用于载置工件的工作台系统、将工艺气体导入到所述腔室的工艺气体系统、以及蚀刻系统，所述机器学习程序使所述计算机作为状态获取部、回报计算部、更新部、以及决定部而发挥作用，其中，所述状态获取部获取状态变量，该状态变量包含关于成膜的性能评价的至少1个物理量、以及至少1个成膜条件，所述回报计算部根据所述状态变量，计算对所述至少1个成膜条件的决定结果的回报，所述更新部根据所述回报，更新用于根据所述状态变量决定所述至少1个成膜条件的函数，所述决定部通过反复进行所述函数的更新，决定获得最多的所述回报的成膜条件，所述至少1个成膜条件是关于所述真空排气系统的第1参数、关于所述加热冷却系统的第2参数、关于所述蒸发源系统的第3参数、关于所述工作台系统的第4参数、以及关于所述工艺气体系统的第5参数中的至少1个，所述至少1个物理量是关于皮膜的膜质特性、机械特性、以及物理特性中的至少1个。
12.本发明的另一个方面所涉及的通信方法是机器学习成膜装置对作为基材的工件进行成膜的成膜条件时的所述成膜装置的通信方法，其中，所述成膜装置包含用于使腔室成为真空的真空排气系统、对所述腔室进行加热及冷却的加热冷却系统、使目标蒸发的蒸发源系统、用于载置工件的工作台系统、将工艺气体导入到所述腔室的工艺气体系统、蚀刻系统、以及通信部，所述通信方法包括以下步骤：在进行成膜后，观测状态变量，该状态变量包含关于成膜的性能评价的至少1个物理量、以及至少1个成膜条件；通过所述通信部，将所述状态变量发送到网络上，接收已进行了机器学习的至少1个成膜条件；其中，所述至少1个成膜条件是关于所述真空排气系统的第1参数、关于所述加热冷却系统的第2参数、关于所述蒸发源系统的第3参数、关于所述工作台系统的第4参数、以及关于所述工艺气体系统的第5参数中的至少1个，所述至少1个物理量是关于皮膜的膜质特性、机械特性、以及物理特性中的至少1个。
13.本发明的另一个方面所涉及的成膜装置是对作为基材的工件进行成膜的装置，其包括：真空排气系统，用于使腔室成为真空；加热冷却系统，对所述腔室进行加热及冷却；蒸发源系统，使目标蒸发；工作台系统，用于载置工件；工艺气体系统，将工艺气体导入到所述腔室；蚀刻系统；状态观测部，在进行成膜后，观测状态变量，该状态变量包含关于成膜的性能评价的至少1个物理量、以及至少1个成膜条件；以及，通信部，将所述状态变量发送到网
络上，接收已进行了机器学习的至少1个成膜条件；其中，所述至少1个成膜条件是关于所述真空排气系统的第1参数、关于所述加热冷却系统的第2参数、关于所述蒸发源系统的第3参数、关于所述工作台系统的第4参数、以及关于所述工艺气体系统的第5参数中的至少1个，所述至少1个物理量是关于皮膜的膜质特性、机械特性、以及物理特性中的至少1个。
14.根据本发明，能够容易地决定针对基材的恰当的成膜条件。
附图说明
15.图1是应用于实施方式1所涉及的机器学习系统的成膜装置的整体构成图。
16.图2是实施方式1的机器学习系统的整体构成图。
17.图3是表示图2所示的机器学习系统中的处理的一个例子的流程图。
18.图4是表示成膜条件的一个例子的图。
19.图5是表示实施方式1所涉及的物理量的一个例子的图。
20.图6是表示实施方式2所涉及的物理量的一个例子的图。
21.图7是表示实施方式3所涉及的物理量的一个例子的图。
22.图8是表示实施方式4所涉及的物理量的一个例子的图。
23.图9是本发明的变形例所涉及的机器学习系统的整体构成图。
具体实施方式
24.以下，参照附图来说明本发明的实施方式。以下的实施方式只是本发明的一个具体例，其并不具有限定本发明的技术范围的性质。
25.(实施方式1)
26.图1是应用于实施方式1所涉及的机器学习系统的成膜装置的整体构成图。成膜装置30是通过电弧离子镀法来对作为切削工具的基材的工件(被镀件)进行硬膜的成膜的装置。电弧离子镀法是利用真空电弧放电来使固体材料蒸发的离子镀法的一种。电弧离子镀法由于所蒸发的材料的电离率高而能够形成密合性优异的皮膜，因此，适合于切削工具的成膜。硬膜例如是tin、tialn、ticn、crn等。
27.成膜装置30包含真空排气系统510、加热冷却系统520、蒸发源系统530、工作台系统540、工艺气体系统550、蚀刻系统560、以及腔室570。
28.真空排气系统510包含排气装置511，以使腔室570的内部成为真空。排气装置511包含用于排出腔室570内的空气的泵等。
29.加热冷却系统520包含加热器电源部521及加热器522，以对工件545进行加热。加热器电源部521是供应电力给加热器522的电源电路。加热器522被设置在腔室570内，并且利用从加热器电源部521供应来的电力来发热。此外，加热冷却系统520通过使加热器522的发热停止来冷却工件545。
30.蒸发源系统530是使目标(成膜形成材料)蒸发的系统。蒸发源系统530包含电弧阴极531及电弧电源部532。电弧电源部532是供应放电电流给电弧阴极531的电源电路。电弧阴极531包含目标，其基于从电弧电源部532供应来的电力而在其与腔室570内壁之间产生真空电弧放电。真空电弧放电开始后，在阴极表面上产生直径几μm的被称作电弧点的熔融区域。高密度的电流集中于电弧点，阴极表面瞬间地发生熔融及蒸发。基于该真空电弧放
电，工件545的表面被成膜。
31.在图1的例子中，图示了2对的电弧阴极531及电弧电源部532，但这只是一个例子，电弧阴极531及电弧电源部532也可以是1对，也可以是3对以上。
32.工作台系统540是搭载工件545的回转台。工作台系统540包含工作台541、工作台驱动部542、以及偏置电源部543。工作台541被设置在腔室570内。工件545被载置在工作台541上。工作台驱动部542包含马达等，使工作台541转动。偏置电源部543通过工作台541对工件545施加负电位。
33.工艺气体系统550导入用于在腔室570内形成反应膜的工艺气体。
34.蚀刻系统560包含放电电源部561、一对灯丝电极562、以及设置在一对灯丝电极562之间的灯丝(省略图示)。放电电源部561是通过一对灯丝电极562来对灯丝供应放电电流的电源电路。蚀刻系统560在电弧阴极531和灯丝之间以及在腔室570的内壁和灯丝之间产生氩等离子体。通过产生该氩等离子体来清洁工件545的表面。在该清洗中，电弧阴极531及腔室570的内壁作为阳极而发挥作用，灯丝作为阴极而发挥作用。
35.腔室570是收容工件545的容器。腔室570基于真空排气系统510而成为内部真空状态且维持真空状态。
36.图2是实施方式1的机器学习系统的整体构成图。机器学习系统包含服务器10、通信装置20、以及成膜装置30。服务器10和通信装置20通过网络40而能够互相通信地被连接。通信装置20和成膜装置30通过网络50而能够互相通信地被连接。网络40例如是互联网等广域网。网络50例如是局域网络。服务器10例如是由1个以上的计算机构成的云服务器。通信装置20例如是使用成膜装置30的使用者所持有的计算机。通信装置20作为将成膜装置30连接到网络40的网关而发挥作用。通过将专用的应用软件安装到使用者自身所持有的计算机来实现通信装置20。通信装置20也可以是成膜装置30的制造商为使用者提供的专用的装置。成膜装置30是图1所说明的成膜装置。
37.以下，具体说明各装置的构成。服务器10包含处理器100及通信部101。处理器100是包含cpu等的控制装置。处理器100包含回报计算部110、更新部120、决定部130、学习控制部140。处理器100所具备的各部分也可以通过由处理器100执行使计算机作为机器学习系统中的服务器10而发挥作用的机器学习程序而被实现，也可以通过专用的电路而被实现。
38.回报计算部110根据状态观测部321所观测到的状态变量，计算对至少1个成膜条件的决定结果的回报。
39.更新部120基于由回报计算部110所计算的回报来更新用于根据状态观测部321所观测的状态变量来决定至少1个成膜条件的函数。作为函数而采用后述的动作值函数。
40.决定部130通过反复进行函数的更新来决定获得回报最多的至少1个成膜条件。
41.学习控制部140掌管机器学习的整体控制。本实施方式的机器学习系统通过强化学习来学习成膜条件。强化学习是指如下的机器学习方法：让智能体(动作主体)根据环境的状况选择某一动作，根据所选择的动作来使环境变化，并且将伴随环境变化的回报给予智能体，从而使智能体学习更好的动作选择。作为强化学习可采用q学习及td学习。在以下的说明中，举出了q学习作为例子来进行说明。在本实施方式，回报计算部110、更新部120、决定部130、学习控制部140、以及后述的状态观测部321相当于智能体。
42.通信部101由将服务器10连接到网络40的通信电路构成。通信部101通过通信装置
20接收由状态观测部321观测的状态变量。通信部101通过通信装置20将由决定部130决定的成膜条件发送到成膜装置30。在本实施方式，通信部101是获取状态变量的状态获取部的一个例子。
43.通信装置20包含发送器201及接收器202。发送器201将从成膜装置30发送来的状态变量发送到服务器10，并且将为从服务器10发送来的成膜条件发送到成膜装置30。接收器202接收从成膜装置30发送来的状态变量，并且接收从服务器10发送来的成膜条件。
44.成膜装置30除了图1所示的构成以外还包含通信部310、处理器320、存储器330、传感器部340、以及输入部350。
45.通信部310是用于将成膜装置30连接到网络50的通信电路。通信部310将由状态观测部321观测的状态变量发送到服务器10。通信部310接收由服务器10的决定部130决定的成膜条件。通信部310接收由学习控制部140决定的后述的成膜执行指令。
46.处理器320是包含cpu等的控制装置。处理器320包含状态观测部321、成膜执行部322、以及输入判定部323。通信部310将由状态观测部321获取的状态变量发送到服务器10。处理器320所具备的各部分例如通过由cpu执行作为机器学习系统的成膜装置30而发挥作用的机器学习程序而被实现。
47.状态观测部321在成膜被执行后获取传感器部340所检测的物理量。状态观测部321在成膜被执行后观测包含关于成膜的性能评价的至少1个物理量和至少1个成膜条件的状态变量。具体而言，状态观测部321根据传感器部340的测量值获取成膜条件。此外，状态观测部321根据传感器部340的测量值等获取物理量。
48.图4是表示成膜条件的一个例子的图。成膜条件被广义地分类为中分类。中分类中包含关于真空排气系统510的第1参数、关于加热冷却系统520的第2参数、关于蒸发源系统530的第3参数、关于工作台系统540的第4参数、关于工艺气体系统550的第5参数中的至少1个参数。而且，中分类中也可以包括关于蚀刻系统560的第6参数。
49.第1参数包含排气速度、极限压力、残留气体种类、残留气体分压、以及p
·
q特性中的至少1个。排气速度是真空排气系统510将腔室570内的空气、残留气体、所导入的工艺气体排出的速度。排气速度例如根据构成真空排气系统510的泵的性能值来计算而获得。或者，排气速度也可以是根据压力传感器和排气时间来计算而得的测量值。极限压力是成膜工艺开始前的腔室570内的压力。极限压力例如根据构成真空排气系统510的泵的性能值来计算而获得。或者，极限压力也可以是压力传感器的测量值。残留气体种类为残留在腔室570内的气体、杂质。残留气体种类例如是氮、氧、水分、以及氢等。残留气体种类根据后述的残留气体的分压而被决定。残留气体分压是残留在腔室570内的多个残留气体的分压。残留气体分压通过四极质谱仪等真空残留气体监测器的测量而获得。p-q特性是表示腔室内压力(p)与流量(q)的关系的特性。p-q特性例如通过根据由流量传感器所检测的腔室570内的气体的流量和压力传感器的测量值来计算而获得。
50.第2参数包含加热器温度、工件温度、加热器升温速度、工件升温速度、加热器输出、加热器温度精度、工件温度精度、加热器温度/工件温度、加热器温度分布、工件温度分布、冷却气体种类、冷却气体压力、以及工件冷却速度中的至少1个。
51.加热器温度是加热器522的温度。加热器温度例如是温度传感器(热电偶)的测量值。工件温度是工件545的温度。工件温度例如是设置在工件545近傍的温度传感器的测量
值。加热器升温速度是使加热器522升温时的加热器温度的变化速度。加热器升温速度根据加热器温度的时间序列变化而获得。工件升温温度是使工件545升温时的工件温度的变化速度。工件升温速度根据工件温度的时间序列变化而获得。
52.加热器输出是加热器522的输出。加热器输出根据加热器电源部521的设定值来计算而获得。加热器输出也可以根据传感器对被供应给加热器的电流值和电压值测量的测量值而计算出。
53.加热器温度精度是表示加热器温度的参差的值。加热器温度精度根据过去的加热器温度的测量值而计算出。工件温度精度是表示工件温度的参差的值。工件温度精度根据过去的工件温度的测量值而计算出。加热器温度/工件温度是加热器522对工件545的响应特性。
54.加热器温度分布是加热器522的温度分布。加热器温度分布根据设置在加热器522周围的多个温度传感器的测量值而获得。工件温度分布是工件545的温度分布。工件温度分布根据设置在工件545周围的多个温度传感器的测量值而获得。
55.冷却气体种类是表示冷却腔室570内的气体的类别的信息，是预先被输入的输入值。冷却气体压力是冷却气体的压力。冷却气体压力是设置在腔室570内的压力传感器的测量值。工件冷却速度是工件545的冷却速度。工件冷却速度根据设置在工件545近傍的温度传感器所检测的工件温度的时间序列变化而获得。
56.第3参数包含目标组成、目标厚度、目标制造方法、电弧放电电压、电弧放电电流、蒸发源磁场、蒸发源线圈电流、以及引弧特性中的至少1个。目标组成是构成目标的物质的组成。目标厚度是目标的厚度。目标制造方法是目标的制造方法。目标组成、目标厚度、目标制造方法是预先被输入的输入值。
57.电弧放电电压是电弧电源部532对电弧阴极531供应的电压，是传感器的测量值。电弧放电电流是电弧电源部532对电弧阴极531供应的电流，是传感器的测量值。
58.蒸发源磁场是蒸发源系统530中所含的永久磁通发射的磁场的位置及强度。蒸发源磁场是预先被输入的输入值。蒸发源线圈电流是在蒸发源系统530中所含的线圈中流动的电流，是传感器的测量值。引弧特性是引弧时的电弧表面的电压及电流的行为。引弧特性根据电弧放电电压及电弧放电电流的某一时期的测量值而获得。
59.第4参数包含偏置电压、偏置电流、ol次数、ol时间变化、偏置电压波形、偏置电流波形、工件转速、工件形状、工件搭载量、工件搭载方法、以及工件材质中的至少1个。
60.偏置电压是偏置电源部543对工件545供应的偏置电压，是传感器的测量值。偏置电流是偏置电源部543对工件545供应的偏置电流，是传感器的测量值。
61.ol(overload(过载))次数是在工作台系统或工件的异常放电次数，是传感器的测量值。ol时间变化是每一单位时间的ol次数。偏置电压波形是偏置电压的波形，根据传感器的测量值而获得。偏置电压波形是尤其是脉冲偏置时的电压波形。偏置电流波形是偏置电流的波形，根据传感器的测量值而获得。工件转速是工件545每一单位时间的转速，包含工作台541每一单位时间的转速和工件545在工作台541上自转时每一单位时间的转速。工件转速例如是传感器的检测值。工件形状是表示工件545的形状的数值，是预先被输入的输入值。工件搭载量是工件545的搭载量(例如重量)，是预先被输入的输入值。工件搭载方法是工件545对工作台541的搭载方法，是预先被输入的输入值。工件材质是工件545的材质，是
预先被输入的输入值。
62.第5参数包含气体流量、气体种类、以及气体压力中的至少1个。气体流量是工艺气体的流量。气体种类是表示工艺气体的种类的信息。气体压力是工艺气体的压力。上述各者例如是传感器的检测值。
63.第6参数包含灯丝加热电流、灯丝加热电压、灯丝直径、放电电流、以及放电电压中的至少1个。灯丝加热电流是用于对构成蚀刻系统560的一对灯丝电极562进行加热的加热电流，是传感器的测量值。灯丝加热电压是用于对一对灯丝电极562进行加热的加热电压，是传感器的测量值。
64.灯丝直径是一对灯丝电极562各自的直径，是预先被输入的输入值。此外，灯丝直径也可以通过计算被计算出。放电电流是一对灯丝电极562的放电电流，是传感器的测量值。放电电压是一对灯丝电极562的放电电压，是传感器的测量值。
65.图5是表示实施方式1所涉及的物理量的一个例子的图。物理量被广义地分类为中分类。中分类中包含有膜质特性、机械特性、以及物理特性中的至少1个。膜质特性包含膜厚、粗糙度、表面纹理、组成、结晶结构、膜微观结构、结晶性、结晶粒径、残余应力、密度、颗粒量、以及颗粒尺寸中的至少1个。
66.膜厚是皮膜的厚度。表面纹理是包含表面粗糙度的表面的形态。组成是皮膜的组成。结晶结构是皮膜的结晶结构。膜微观结构为一般的含义，表示结晶的形态和取向等微观结构。结晶性是成为结晶的比例。结晶粒径是结晶粒的大小。残余应力是皮膜的内部应力。
67.膜厚通过膜厚测量仪而获得。粗糙度通过粗糙度仪而获得。表面纹理通过显微镜或粗糙度仪而获得。组成通过x射线光谱法而获得。结晶结构、膜微观结构、结晶性、结晶粒径、以及残余应力通过x射线衍射法或电子显微镜而获得。
68.密度是构成皮膜的粒子的密度。颗粒量是皮膜中含有的废物的量。颗粒尺寸是皮膜中含有的废物的大小。密度通过x射线反射法而获得。颗粒量及颗粒尺寸通过显微镜或图像处理而获得。
69.机械特性包含硬度、弹性模量、耐磨损性、耐侵蚀特性、高温强度、以及高温蠕变中的至少1个。硬度通过硬度试验机或纳米压头而获得。弹性模量通过纳米压头而获得。耐磨损性通过滑动试验或耐磨损试验而获得。耐侵蚀特性是喷沙的刮削量。高温强度及高温蠕变通过纳米压头而获得。
70.物理特性包含摩擦系数、耐氧化性、密合性、以及导热系数中的至少1个。摩擦系数通过滑动试验而获得。耐氧化性通过x射线分析法或成分分析而获得。密合性通过压痕法或划痕试验而获得。导热系数通过导热测量而获得。
71.使参照返回到图2。成膜执行部322控制成膜装置30的成膜运转。输入判定部323通过自动或手动来判定是否为批量生产工序。输入判定部323在自动判定是否为批量生产工序的情况下，在输入到输入部350的条件号码的输入次数超过基准次数时，判定成膜装置30处于批量生产工序。条件号码是指用于确定某1个成膜条件的识别码。根据条件号码而被确定的成膜条件至少包含图4所示的成膜条件中被记载为“input”的成膜条件。
72.输入判定部323在通过手动判定是否为批量生产工序的情况下，在为批量生产工序这一内容的数据输入到输入部350时，判定成膜装置30处于批量生产工序。在处于批量生产工序的情况下，成膜装置30不进行机器学习。
73.存储器330例如是非易失性的存储装置，存储最终被决定的最优的成膜条件等。传感器部340是用于测量图4所例示的成膜条件及图5所例示的物理量的各种传感器。输入部350是键盘、以及鼠标等输入装置。
74.图3是表示图2所示的机器学习系统中的处理的一个例子的流程图。在步骤s1，学习控制部140获取由使用者通过输入部350输入的成膜条件的输入值。此处所获取的输入值是对在图4所列举的成膜条件中被记载为“input”的成膜条件的输入值。
75.在步骤s2，学习控制部140决定至少1个成膜条件和对成膜条件的设定值。此处，成为设定对象的成膜条件是在图4所列举的成膜条件中被记载为“input”的成膜条件以外的成膜条件，是能够设定设定值的至少1个成膜条件。此处，所决定的成膜条件的设定值相当于强化学习中的动作。
76.具体而言，学习控制部140对成为设定对象的成膜条件的各者随机地选择设定值。此处，设定值从关于成膜条件的各者的指定的范围内随机地被选择。
77.在步骤s3，学习控制部140通过将成膜执行指令发送到成膜装置30而使成膜装置30开始成膜运转。在由通信部310接收到成膜执行指令后，成膜执行部322依照成膜执行指令来设定成膜条件并开始成膜运转。成膜执行指令中包含有在步骤s1所设定的成膜条件的输入值以及在步骤s2所决定的成膜条件的设定值等。
78.在成膜运转结束后，状态观测部321观测状态变量(步骤s4)。具体而言，状态观测部321将关于图5所记载的成膜评价的物理量和图4所记载的成膜条件中被传感器等观测状态的成膜条件作为状态变量来获取。物理量例如可以由使用者操作输入部350而被输入到成膜装置30，也可以通过成膜装置30与测量物理量的测量仪通信而被输入到成膜装置30。状态观测部321将所获取的状态变量经由通信部310发送到服务器10。
79.在步骤s5，决定部130评价物理量。此处，决定部130通过判定在步骤s4所取得的物理量中成为评价对象的物理量(以下称作对象物理量。)是否达到指定的基准值来评价物理量。对象物理量是在图5被列举的物理量中的1个或多个物理量。在对象物理量为多个的情况下，基准值便存在与各对象物理量对应的多个基准值。基准值能够采用例如表示皮膜达到规定的基准的预先被设定的值。
80.决定部130在判定为对象物理量达到基准值(在步骤s6为“是”)的情况下，将在步骤s2所设定的成膜条件作为最终的成膜条件输出(步骤s7)。另一方面，决定部130在判定为物理量未达到基准值的情况下(在步骤s6为“否”)，使处理推进到步骤s8。此外，在对象物理量为多个的情况下，决定部130在所有的对象物理量达到基准值时在步骤s6判定为“是”便可。
81.在步骤s8，回报计算部110判定对象物理量是否接近基准值。在对象物理量接近基准值的情况下(在步骤s8为“是”)，回报计算部110使对智能体的回报增大(步骤s9)。另一方面，在对象物理量未接近基准值的情况下(在步骤s8为“否”)，回报计算部110使对智能体的回报减少(步骤s10)。此情况下，回报计算部110只要依照被预先决定的回报的增减值来使回报增减便可。此外，在对象物理量为多个的情况下，回报计算部110只要对多个对象物理量的每一个进行步骤s8的判定便可。此情况下，回报计算部110只要对多个对象物理量的每一个根据步骤s8的判定结果来使回报增减便可。此外，回报的增减值也可以根据对象物理量而采用不同的值。
82.在步骤s11，更新部120使用被给予智能体的回报来更新动作值函数。本实施方式中所采用的q学习是学习对于在某一环境状态s下选择动作a的价值亦即q值(q(s，a))的方法。此外，环境状态s
t
相当于上述的流程的状态变量。而且，在q学习中，在某一环境状态s时，选择q(s，a)的最高的动作a。在q学习中通过试错法，在某一环境状态s下采取各种各样的动作a，并利用此时的回报来学习正确的q(s，a)。动作值函数q(8t，at)的更新式用以下的式(1)来表示。
83.[式1]
[0084][0085]
此处，s
t
，at分别表示在时刻t的环境状态和动作。基于动作a
t
，环境状态变化为s
t+1
，基于该环境状态的变化，计算出回报r
t+1
。此外，附有max的项是在环境状态st+1下选择此时所知道的价值最高的动作a的情况下的q值(q(st
+1
，a))乘以γ而成的项。此处，γ是折扣率，取0＜γ≤1(通常为0.9至0.99)的值。α是学习系数，取0＜α≤1(通常为0.1左右)的值。
[0086]
在该更新式，如果基于在动作a在下一环境状态s
t+1
中采取了最佳的动作时的q值的γ
·
maxq(s
t+1
，a)大于在状态s中的动作a的q值亦即q(s
t
，a
t
)，则q(s
t
，a
t
)变大。另一方面，在该更新式，如果γ
·
maxq(s
t+1
，a)小于q(st，at)，则q(st，at)变小。也就是说，使某一状态s
t
中的某一动作a的价值接近于其在下一状态s
t+1
中的最佳的动作的价值。由此，来决定对工件545进行成膜的最优的状态也就是至少一个最优的成膜条件。
[0087]
在步骤s11的处理结束后，处理返回到步骤s2，通过变更已选择的成膜条件的设定值，或者将未选择的成膜条件选择为下一成膜条件，而同样地更新动作值函数。更新部120虽更新动作值函数，但本发明并不限于此，其也可以更新动作值表格。
[0088]
q(s，a)也可以用表格形式保存对于所有的状态与动作的配对(s，a)的值。或者，q(s，a)也可以通过近似函数来表示，该近似函数将对所有的状态与动作的配对(s，a)的值进行近似。该近似函数也可以由具有多层结构的神经网络来构成。此情况下，神经网络只要实时地学习实际运转成膜装置30而得的数据，并进行反映到下一动作的在线学习便可。由此，实现深层强化学习。
[0089]
以往，在成膜装置中，为了获得良好的皮膜，通过使成膜条件变化来进行成膜条件的开发。为了获得良好的皮膜而要求找出皮膜的评价与成膜条件的相关性。然而，如图4所示，由于成膜条件的种类庞大，因此，为了规定这样的相关性而需要非常多的物理模型，已知到难以通过物理模型来描述这样的相关性。而且，为了构建这样的物理模型，还要求人为地找出哪一个参数对哪一个皮膜的评价产生影响，这样的构建难度大。
[0090]
这样，根据实施方式1，上述的第1至第6参数中的至少1个参数和关于成膜的性能评价的膜质特性、机械特性、以及物理特性中的至少1个物理量作为状态变量而被观测。而且，基于所观测的状态变量来计算对成膜条件的决定结果的回报，基于所计算的回报来更新用于根据状态变量来决定成膜条件的动作值函数，并且反复进行该更新来学习获得最多的回报的成膜条件。这样，在实施方式1，无需使用上述的物理模型而通过机器学习来决定成膜条件。其结果，实施方式1能够容易地决定对于切削工具的恰当的成膜条件。
[0091]
(实施方式2)
[0092]
实施方式2的成膜装置30是以提高装饰性为目的而对工件进行装饰皮膜的成膜的装置。工件例如是手表及项链等装饰品或移动电话的箱体或汽车的保险杠等。装饰皮膜例如是tin、tialn、ticn、crn、dlc(类金刚石碳)等。实施方式2的机器学习系统是对关于装饰皮膜的恰当的成膜条件进行机器学习的系统。
[0093]
在实施方式2，对于与实施方式1同样的组成部分附予同样的符号而省略说明。此外，在实施方式2，成膜装置30的构成与图2相同，成膜装置30的处理与图3相同，成膜条件的一个例子与图4相同。在实施方式2，与实施方式1较大的不同之处在于物理量。图6是表示实施方式2所涉及的物理量的一个例子的图。
[0094]
物理量被广义地分类为中分类。中分类中包含有膜质特性和物理特性中的至少1个。膜质特性与实施方式1相同。物理特性包含密合性和光学特性中的至少1个。密合性表示皮膜与基材的密合的程度，通过压痕法或划痕试验而获得。光学特性表示皮膜的颜色、光泽或质地。光学特性通过分光光度计而被测量。
[0095]
这样，根据实施方式2，上述的第1至第6参数中的至少1个参数和关于成膜的性能评价的膜质特性和物理特性中的至少1个物理量作为状态变量而被观测。而且，基于所观测的状态变量来计算对成膜条件的决定结果的回报，基于所计算的回报来更新用于根据状态变量来决定成膜条件的动作值函数，并且反复进行该更新来学习获得最多的回报的成膜条件。因此，在实施方式2，无需使用上述的物理模型而通过机器学习来决定成膜条件。其结果，实施方式2能够容易地决定对于装饰皮膜的恰当的成膜条件。
[0096]
(实施方式3)
[0097]
实施方式3的成膜装置30是对工件进行保护用的保护用皮膜的成膜的装置。工件例如是切削工具、射出形成用的模具、螺旋桨等。保护用皮膜例如是tin、tialn、ticn、crn等。实施方式3的机器学习系统是对关于保护用皮膜的恰当的成膜条件进行机器学习的系统。
[0098]
在实施方式3，对于与实施方式1同样的组成部分附予同样的符号而省略说明。此外，在实施方式3，成膜装置30的构成与图2相同，成膜装置30的处理与图3相同，成膜条件的一个例子与图4相同。在实施方式3，与实施方式1较大的不同之处在于物理量。
[0099]
图7是表示实施方式3所涉及的物理量的一个例子的图。物理量被广义地分类为中分类。中分类中包含有膜质特性、机械特性、以及物理特性中的至少1个。膜质特性及机械特性与实施方式1相同。
[0100]
物理特性包含摩擦系数、耐氧化性、密合性、导热系数、附着力、耐蚀性、耐化学性、以及表面化学亲合性中的至少1个。摩擦系数通过滑动试验而获得。耐氧化性通过x射线衍射法或成分分析而获得。密合性表示皮膜与基材的密合的程度，通过压痕法或划痕试验而获得。导热系数通过导热测量而获得。附着力通过滑动试验或显微镜观察而获得。耐蚀性表示皮膜难以被腐蚀的程度，通过腐蚀液喷雾试验或浸渍试验而获得。耐化学性表示皮膜难以被化学物腐蚀的程度，通过涂敷试验或浸渍试验而获得。表面化学亲合性表示皮膜表面与外部环境物质的化学亲合性，通过表面化学分析而获得。
[0101]
图7所示的物理量基于保护用皮膜的用途而有所不同。在图7中圆圈标记表示对耐磨损用途、耐蚀用途、以及耐热用途各者所要求的物理量。
[0102]
例如，膜质特性的对耐磨损用途、耐蚀用途、以及耐热用途各者所要求的物理量相
同。
[0103]
关于耐磨损用途，例如，机械特性被要求图7中所列举的所有的物理量中的至少1个物理量，物理特性被要求摩擦系数、耐氧化性、密合性、导热系数、附着力、耐蚀性、以及表面化学亲合性中的至少1个物理量。
[0104]
关于耐蚀用途，机械特性可以被省略，物理特性被要求耐氧化性、耐蚀性、耐化学性、以及表面化学亲合性中的至少1个物理量。此外，图7的表中的连字符号并不意味着积极地排除相应的物理量，而是意味着可以包含相应的物理量。
[0105]
关于耐热用途，机械特性被要求硬度、弹性模量、高温强度、以及高温蠕变中的至少1个物理量，物理特性被要求耐氧化性、密合性、以及导热系数中的至少1个物理量。
[0106]
这样，根据实施方式3，上述的第1至第6参数中的至少1个参数和关于成膜的性能评价的膜质特性和物理特性中的至少1个物理量作为状态变量而被观测。而且，基于所观测的状态变量来计算对成膜条件的决定结果的回报，基于所计算的回报来更新用于根据状态变量来决定成膜条件的动作值函数，并且反复进行该更新来学习获得最多的回报的成膜条件。因此，在实施方式3，无需使用上述的物理模型而通过机器学习来决定成膜条件。其结果，实施方式3能够容易地决定对于保护用皮膜的恰当的成膜条件。
[0107]
(实施方式4)
[0108]
实施方式4的成膜装置30是为了提高工件表面的硬度来对工件的表面进行滑动皮膜的成膜的装置。工件例如是发动机及活塞等滑动构件。滑动皮膜例如是tin、tialn、ticn、crn、dlc(类金刚石碳)等。实施方式4的机器学习系统是对关于滑动皮膜的恰当的成膜条件进行机器学习的系统。
[0109]
在实施方式4，对于与实施方式1同样的组成部分附予同样的符号而省略说明。此外，在实施方式4，成膜装置30的构成与图2相同，成膜装置30的处理与图3相同，成膜条件的一个例子与图4相同。在实施方式4，与实施方式1较大的不同之处在于物理量。图8是表示实施方式4所涉及的物理量的一个例子的图。物理量被广义地分类为中分类。中分类中包含有膜质特性、机械特性、以及物理特性中的至少1个。膜质特性与实施方式1相同。
[0110]
机械特性包含硬度、弹性模量、以及耐磨损性中的至少1个。硬度通过硬度试验机或纳米压头而获得。弹性模量通过纳米压头而获得。耐磨损性通过滑动试验或耐磨损试验而获得。
[0111]
物理特性包含摩擦系数、耐氧化性、密合性、导热系数、附着力、耐蚀性、以及表面化学亲合性中的至少1个。摩擦系数通过滑动试验而获得。耐氧化性通过x射线分析法或成分分析而获得。密合性表示皮膜与基材的密合的程度，通过压痕法或划痕试验而获得。导热系数通过导热测量而获得。附着力通过滑动试验或显微镜观察而获得。耐蚀性表示皮膜难以被腐蚀的程度，通过腐蚀液喷雾试验或浸渍试验而获得。表面化学亲合性表示外部环境物质与皮膜表面的化学亲合性，通过表面化学分析而获得。
[0112]
这样，根据实施方式4，上述的第1至第6参数中的至少1个参数和关于成膜的性能评价的膜质特性、机械特性、以及物理特性中的至少1个物理量作为状态变量而被观测。而且，基于所观测的状态变量来计算对成膜条件的决定结果的回报，基于所计算的回报来更新用于根据状态变量来决定成膜条件的动作值函数，并且反复进行该更新来学习获得最多的回报的成膜条件。因此，在实施方式4，无需使用上述的物理模型而通过机器学习来决定
成膜条件。其结果，本实施方式能够容易地决定对于滑动皮膜的恰当的成膜条件。
[0113]
本发明能够采用以下的变形例。
[0114]
(1)图9是本发明的变形例所涉及的机器学习系统的整体构成图。该变形例所涉及的机器学习系统由单体的成膜装置30a构成。成膜装置30a包含处理器320a、输入部391、以及传感器部392。处理器320a包含机器学习部370及成膜部380。机器学习部370包含回报计算部371、更新部372、决定部373、以及学习控制部374。回报计算部371至学习控制部374分别与图2所示的回报计算部110至学习控制部140相同。状态观测部381、成膜执行部382、以及输入判定部383分别与图2所示的状态观测部321、成膜执行部322、以及输入判定部323相同。输入部391及传感器部392分别与图2所示的输入部350及传感器部340相同。在本变形例中，状态观测部381是获取状态信息的状态获取部的一个例子。
[0115]
这样，根据该变形例所涉及的机器学习系统，通过单体的成膜装置30a能够学习最优的成膜条件。
[0116]
(2)在上述的流程中，在成膜运转结束后，观测状态变量，但这只是一个例子，也可以在1次的成膜运转中多次观测状态变量。例如，在状态变量仅由可被瞬间测量的参数构成的情况下，在1次的成膜运转中能够观测多个状态变量。由此，实现缩短学习时间。
[0117]
(3)在上述实施方式1至4，成膜装置30是采用电弧离子镀法来进行成膜的装置，但本发明并不限于此，也可以是通过蒸镀法等其它的物理气相沉积法来进行成膜的装置。
[0118]
本实施方式总结如下。
[0119]
本发明的一个方面所涉及的机器学习方法是机器学习装置决定成膜装置对作为基材的工件进行成膜的成膜条件的方法，所述成膜装置包含用于使腔室成为真空的真空排气系统、对所述腔室进行加热及冷却的加热冷却系统、使目标蒸发的蒸发源系统、用于载置工件的工作台系统、将工艺气体导入到所述腔室的工艺气体系统、以及蚀刻系统，所述机器学习方法包括以下步骤：获取状态变量，该状态变量包含关于成膜的性能评价的至少1个物理量、以及至少1个成膜条件；根据所述状态变量，计算对所述至少1个成膜条件的决定结果的回报；根据所述回报，更新用于根据所述状态变量决定所述至少1个成膜条件的函数；以及，通过反复进行所述函数的更新，从而决定获得所述回报最多的成膜条件；其中，所述至少1个成膜条件是关于所述真空排气系统的第1参数、关于所述加热冷却系统的第2参数、关于所述蒸发源系统的第3参数、关于所述工作台系统的第4参数、以及关于所述工艺气体系统的第5参数中的至少1个，所述至少1个物理量是关于皮膜的膜质特性、机械特性、以及物理特性中的至少1个。
[0120]
根据该构成，关于真空排气系统的第1参数、关于加热冷却系统的第2参数、关于蒸发源系统的第3参数、关于工作台系统的第4参数、关于工艺气体系统的第5参数中的至少1个成膜条件和关于成膜的性能评价的膜质特性、机械特性、以及物理特性中的至少1个物理量作为状态变量而被观测。而且，基于所观测的状态变量来计算对成膜条件的决定结果的回报，基于所计算的回报来更新用于根据状态变量来决定成膜条件的函数，并且反复进行该更新来学习获得最多的回报的成膜条件。因此，本构成能够容易地决定针对基材的恰当的成膜条件。
[0121]
在上述构成中，所述第1参数可以是排气速度、极限压力、残留气体种类、残留气体分压、以及p-q特性中的至少1个。
[0122]
根据该构成，排气速度、极限压力、残留气体种类、残留气体分压、以及p-q特性中的至少1个作为关于真空排气系统的成膜条件而被进行机器学习，因此，能够考虑到真空排气系统的状态来决定恰当的成膜条件。
[0123]
在上述构成中，所述第2参数可以是构成所述加热冷却系统的加热器的加热器温度、所述工件的温度亦即工件温度、所述加热器的升温速度、所述工件的升温速度、所述加热器的输出、所述加热器的温度精度、所述工件的温度精度、所述加热器温度及所述工件温度的响应特性、所述加热器的温度分布、以及所述工件的温度分布中的至少1个。
[0124]
根据该构成，加热器温度、工件温度、加热器的升温速度、工件的升温速度、加热器的输出、加热器的温度精度、工件的温度精度、加热器温度的响应特性、工件温度的响应特性、加热器的温度分布、以及工件的温度分布中的至少1个作为关于加热冷却系统的成膜条件而被进行机器学习，因此，能够考虑到加热冷却系统的状态来决定恰当的成膜条件。
[0125]
在上述构成中，所述第3参数可以是所述目标的组成、所述目标的厚度、所述目标的制造方法、电弧放电电压、电弧放电电流、蒸发源磁场、蒸发源线圈电流、以及引弧特性中的至少1个。
[0126]
根据该构成，目标的组成、目标的厚度、目标的制造方法、电弧放电电压、电弧放电电流、蒸发源磁场、蒸发源线圈电流、以及引弧特性中的至少1个作为关于蒸发源系统的成膜条件而被进行机器学习，因此，能够考虑到蒸发源系统的状态来决定恰当的成膜条件。
[0127]
在上述构成中，所述第4参数可以是对所述工件的偏置电压、对所述工件的偏置电流、异常放电次数、所述异常放电的时间变化、所述偏置电压的波形、所述偏置电流的波形、所述工件的转速、所述工件的形状、所述工件的搭载量、所述工件的搭载方法、以及所述工件的材质中的至少1个。
[0128]
根据该构成，偏置电压、偏置电流、异常放电次数、异常放电的时间变化、偏置电压的波形、偏置电流的波形、工件的转速、工件的形状、工件的搭载量、工件的搭载方法、以及工件的材质中的至少1个作为关于工作台系统的成膜条件而被进行机器学习，因此，能够考虑到工作台系统的状态来决定恰当的成膜条件。
[0129]
在上述构成中，所述第5参数可以是所述工艺气体的流量、所述工艺气体的种类、以及所述工艺气体的压力中的至少1个。
[0130]
根据该构成，工艺气体的流量、工艺气体的种类、以及工艺气体的压力中的至少1个作为关于工艺气体系统的成膜条件而被进行机器学习，因此，能够考虑到工艺气体系统的状态来决定恰当的成膜条件。
[0131]
在上述构成中，所述至少1个成膜条件还可以包含关于所述蚀刻系统的第6参数。
[0132]
根据该构成，由于考虑关于蚀刻系统的成膜条件来进行机器学习，因此，能够考虑到蚀刻系统的状态来决定恰当的成膜条件。
[0133]
在上述构成中，所述第6参数可以是用于加热所述蚀刻系统的灯丝的加热电流、用于加热所述灯丝的加热电压、所述灯丝的直径、所述灯丝的放电电流、以及所述灯丝的放电电压中的至少1个。
[0134]
根据该构成，灯丝的加热电流、灯丝的加热电压、灯丝的直径、灯丝的放电电流、以及灯丝的放电电压中的至少1个作为关于蚀刻系统的成膜条件而被进行机器学习，因此，能够考虑到蚀刻系统的状态来决定恰当的成膜条件。
[0135]
在上述构成中，对所述基材形成的皮膜可以是对作为所述基材的切削工具形成的皮膜、用于装饰所述基材的装饰皮膜、用于保护所述基材的保护用皮膜、以及用于提高作为所述基材的滑动构件的硬度的滑动皮膜中的任意1个。
[0136]
根据该构成，能够决定对切削工具形成的皮膜的恰当的成膜条件、装饰皮膜的恰当的成膜条件、保护用皮膜的恰当的成膜条件、以及滑动皮膜的恰当的成膜条件中的任意1个。
[0137]
在上述构成中，所述函数可以利用深层强化学习实时被更新。
[0138]
根据该构成，由于函数的更新利用深层强化学习实时地被进行，因此，能够正确且迅速地进行函数的更新。
[0139]
上述的机器学习方法的各处理可以通过机器学习装置而被实现，也可以通过机器学习程序而被实现并且流通。该机器学习装置可以由服务器构成，也可以由成膜装置构成。
[0140]
本发明的另一个方面所涉及的通信方法是机器学习成膜装置对作为基材的工件进行成膜的成膜条件时的所述成膜装置的方法，其中，所述成膜装置包含用于使腔室成为真空的真空排气系统、对所述腔室进行加热及冷却的加热冷却系统、使目标蒸发的蒸发源系统、用于载置工件的工作台系统、将工艺气体导入到所述腔室的工艺气体系统、蚀刻系统、以及通信部，所述通信方法包括以下步骤：在进行成膜后，观测状态变量，该状态变量包含关于成膜的性能评价的至少1个物理量、以及至少1个成膜条件；通过所述通信部，将所述状态变量发送到网络上，接收已进行了机器学习的至少1个成膜条件；其中，所述至少1个成膜条件是关于所述真空排气系统的第1参数、关于所述加热冷却系统的第2参数、关于所述蒸发源系统的第3参数、关于所述工作台系统的第4参数、以及关于所述工艺气体系统的第5参数中的至少1个，所述至少1个物理量是关于皮膜的膜质特性、机械特性、以及物理特性中的至少1个。
[0141]
根据该构成，能够提供在机器学习成膜信息时所必要的信息。这样的通信方法还能够在成膜装置中被实现。