基于运动流形结构的视频稳像

摄像机在运动环境下拍摄的视频往往存在画面抖动，影响内容的观看体验以及后续的编码存储、传输和理解。视频稳像的目的是减少视频的抖动，有硬件和软件两种解决方案。典型的硬件方案通过增加导轨和云台使得相机稳定，但使用不便。软件方案则通过计算的方式减少视频画面的抖动。

视频稳像的软件方案基本都在欧式空间进行计算，稳像效果好的算法计算复杂度过高，计算复杂度可接受的算法稳像效果差。视频稳像的核心是视频运动的表达模型。

基于物体运动学原理，提出了一种在李群流形上表示视频运动的模型。利用帧间变换的几何和代数运算，建立符合流形表示及黎曼度量的运动位移、速度、加速度等物理量的表达形式，描述流形上的视频运动规律。特别地，针对8个自由度的单应变换所形成的帧间运动，采用8维投影变换群对应的流形作为参数域，并赋予黎曼度量作为流形内在度量，由此将视频帧间运动表示为8维流形上随时间变化的曲线。这种运动的流形结构能够按照物理运动学状态等效地将帧间运动传递到高维几何变换空间。

将该运动流形结构应用于视频稳像，利用帧间单应变换所形成的流形的内在黎曼度量优化运动速度，将运动平滑转化为流形上测地线的显式几何插值运算，以此获得关键帧之间满足运动平滑的测地路径，最后按照几何变换实现运动补偿。

该方法实现了移动端1080p视频的实时处理，而且处理复杂运动的效果优于传统欧式空间的运动平滑方法。

视频稳像的离线版已在快手落地。快手在其旗下的客户端编辑应用快影、云端编辑应用快手云剪中的视频防抖功能全面应用了我们的方法。

正在进一步改善离线稳像性能，研发在线视频稳像以及双目视频稳像等技术。