基于病理对齐扩散网络的医疗多模态内容分析及生成方法

专利主权项内容

1.基于病理对齐扩散网络的医疗多模态内容分析及生成方法，其特征在于，将给定图像输入到融合检测模型中，以生成与给定图像相匹配的文本报告；所述融合检测模型的训练过程如下：S1：构建训练集，并将训练集中的图像输送到融合检测模型；S2：提取图像的图像特征/>；S3：将图像特征与不同粒度的病理信息进行对齐，获得对齐特征/>；S31：利用基于Transformer的多标签分类器作为病理对齐器从图像特征中计算报告粒度对齐特征/>；S32：利用基于Transformer的多标签分类器作为病理对齐器从图像特征中预测病理标签；S33：计算病理标签的平均池化值，得到病理术语粒度对齐特征；S34：将报告粒度对齐特征和病理术语粒度对齐特征/>相加并进行归一化操作，得到对齐特征/>；S4：将对齐特征进行特征增强得到增强特征/>，将对齐特征/>和增强特征/>相加后进行归一化操作得到归一化特征/>；S5：将归一化特征输送到扩散网络中指导文本生成，得到文本报告。