北航新闻网8月28日电（通讯员 孙振西）2024年7月，我校新媒体艺术与设计学院曹翀老师指导的2022级本科生石城玮（新媒体艺术与设计学院）和2021级本科生肖秋瑒（计算机学院）发表的科研论文“A Multi-modal Framework for 3D Facial Animation Control”（多模态三维面部动画控制机制）被计算机图形学知名会议SIGGRAPH(Special Interest Group on Computer Graphics)收录并在大会上进行Poster展示，同时入选SIGGRAPH 2024 Techmical Papers sesions（技术论文展示环节），标志着我校在该领域学术水平和影响力进一步提升。
ACM SIGGRAPH是美国计算机协会组织的计算机图形学最顶级的年度会议，也是中国计算机学会推荐国际学术会议A类会议，更是业内公认的影响最广、规模最大、最权威的，集科学、艺术、商业于一身的高水平学术研讨会。作为计算机图形与交互技术领域的顶会，SIGGRAPH是全球顶尖科研人员、工程师和艺术家展示和交流最新研究成果的重要平台。
该论文研究工作聚焦于三维面部动画算法的优化。发现当前三维面部动画工作存在模态单一、渲染效果欠佳和序列动作生成不稳定等局限性，据此优化了各先进工作动画生成算法，提出了一个多模态三维面部动画技术架构（见下图）：本项目利用注视方向识别模型以获取基于头部姿态的注视方向数据，并对根据图像重构三维面部头部姿态和面部表情模型的生成结果进行了优化，与针对音频生成的唇形顶点序列相结合。该框架使用视频和音频输入，重建出包含头部姿态、面部表情、自然唇动和注视方向的全面、自然的三维面部动画。通过用户研究，在不同的动画生成方法上进行实验，验证了多模态框架对提升动画生成任务视觉感知效果的有效性。
该论文为2024年春季学期开设的科研课堂“多模态驱动的三维人脸模型控制”课程初步成果，后续工作将进一步进行基于时间序列的多模态动画生成模型以及基于LLM的数字人交互机制等研究，提高该技术框架的价值。
（审核：王群）
编辑：贾爱平
