一种2D运动场说话肖像合成方法和装置

摘要文本

本发明提供了一种2D运动场说话肖像合成方法和装置，属于说话肖像合成技术领域。包括：选定高清的HDTF、MEAD数据集和混合质量的AVSpeech数据集作为初始数据集，对初始数据集进行预处理后划分为测试集和训练集；构建运动场说话肖像合成模型，包括人脸编码器、人脸解码器，通过训练集训练运动场说话肖像合成模型，获取性能最优模型；将测试集数据输入到训练完成的运动场说话肖像合成模型，输出合成的说话肖像结果。本发明采用高清且高质量的数据集用于模型的训练，从本质上改善了合成说话肖像的质量问题。提高了人脸编解码网络结构分辨率，产出更高分辨率的说话肖像，实现了大屏上的应用。两个监督策略的引入，丰富了唇形风格，提升了合成说话肖像的效果。