第31届国际多媒体会议，英文全称The 31st ACM International Conference on Multimedia (ACM MM)将于2023年10月29日到11月3日在加拿大渥太华举行，是CCF推荐的A类会议。本次会议共录用902篇论文，录用率为29.3%，实验室一篇文章被录用，题目为“Dynamic View Synthesis with Spatio-Temporal Feature Warping from Sparse Views”。

Dynamic View Synthesis with Spatio-Temporal Feature Warping from Sparse Views

基于稀疏视图时空特征翘曲的动态视图合成

作者：李德崎，黄石生，沈甜雨，黄华

摘要：从稀疏输入视图实现动态场景的新视图合成研究取得了重大进展。然而，合成动态视图的时空相关性尚未得到充分的探索，因此要实现动态视图合成的时空一致性仍然具有挑战性。在本文中，我们提出了一种时空特征翘曲（STFW）机制，它可以嵌入到一个深度模型中，以产生高质量和时空一致的视图合成结果。STFW的两个核心组件是： (1)空间特征翘曲（SFW）模块，自适应感知具有紧凑点云表示的几何信息，(2)时间特征扭曲（TFW）模块，通过隐式地逼近图像坐标中的像素偏移来建模动态几何。在视图合成的优化过程中，SFW和TFW被集成来感知稀疏输入视图和新视图之间的时空相关线索。基于STFW，我们进一步构建了一个具有稀疏输入视图的端到端动态视图合成模型。对公共多视图数据集的定性和定量评价表明，我们的视图合成模型在视觉质量方面比以前的方法取得了更好的性能。

图1 视图合成模型整体示意图

图2 时空特征翘曲机制示意图