看这头蓬松的头发，再加上帅气的动作，你以为是在绿幕前拍大片吗？
No、No、No
这其实是AI拿来视频抠图后的效果。
没想到，实时视频抠图，现在可以精细到。
换到alpha再看一眼通道，不用说，德芙打钱(手动狗头)。
这是字节跳动实习生弟弟的最新研究:实时高分辨率视频抠图法。
，把视频扔给这个名字的AI，它可以帮助你在几分钟内挑出高精度的肖像，用可以任意二次加工的绿色屏幕替换背景。
不相信这么丝滑吗？我们在网上使用它Demo亲自尝试一波。
相比之下，一旦头发遮住脸，人们就会消失……
头发更明显的糊了。
难怪看到网友直言:
不敢想象你把这个AI插入手机。
目前，本论文已入选WACV 2022。
你也可以试试
目前，RVM已经在GitHub上开源并给出了两种试用方式：
所以我们也赶紧试了试。
先看效果：
首先来点难度低的。
对于这类人物在画面中基本不移动的情况，RVM可以说表现很好，几乎和人工抠图没什么区别。
现在，王冰冰进入动森并不违和。
所以开脑洞变得简单多了……
咳咳，言归正传。人物动作幅度加大会怎样呢？
对多人舞蹈视频而言，RVM的表现也很nice。
即使动来动去，头发乱扔，也不会影响其抠图效果。
只有当角色被遮挡时，才会有缺陷。
比较前辈的方法MODNet，确实有很大的进步。
然而，我们也发现，如果视频的背景是黑暗的，它会影响它RVM的发挥。
例如，在这种背景光时候，抠图的效果就很不尽如人意了。
可见博主哥的头发完全糊了。
而且身体的边界不够清晰。
所以，如果你想自己拍视频，一定要选择光线充足的场景。
利用时间信息
那么这种魔法是如何实现的呢？
像往常一样，我们先来看看论文~
事实上，关于视频抠图的算法现在并不少见，大多数都是以视频中的每一帧作为独立图像来实现抠图的方法。
与此不同，在本文中，研究人员构建了一个循环架构，利用视频的时间信息和取得了显著改进。
从上图可以看出，RVM网络架构包括三个部分：
用于提取单帧特征的特征提取编码器；
汇总时间信息的循环解码器；
滤波器的深度引导（DGF）用于高分辨率采样的模块。
其中，循环机制的引入使AI能够在连续的视频流中自学，从而知道需要保留哪些信息，哪些信息可以遗忘。
具体来说，循环解码器采用多尺度ConvGRU聚合时间信息。定义如下：
在这个编码器-解码器网络中，AI对高分辨率视频进行下采样，然后使用DGF取样结果。
此外，研究人员还提出了一种新的培训策略：使用挖掘和语义分割目标数据集来培训网络。
这样做的好处是：
首先，人像抠图与人像分割任务密切相关，AI在定位人物主体时，必须学会从语义上理解场景。
其次，大多数现有的挖掘数据集只提供真实性alpha通道和前景信息，因此必须合成背景图像。然而，前景和背景的光线往往不同，这影响了合成的效果。引入语义分割数据集可以有效防止过度拟合。
最后，语义分割数据集拥有更为丰富的训练数据。
经过这次调教，RVM与前辈相比，有什么进步？
从效果对比中可以明显感受到:
另外，与MODNet相比，RVM。
从下表可以看出，1080p视频上RVM512×288上比BGMv2略慢，在4K视频中的比带FGF的MODNet慢点。研究人员分析，这是因为RVM除了alpha还预测了通道外的前景。
更直观的数据是，在英伟达GTX 1080Ti上，RVM能以76FPS的速度处理4K视频，以104FPS的速度处理HD视频。
字节跳动实习生
这篇论文是一部作品实习期间完成的字节跳动。
他毕业于华盛顿大学，拥有本科和硕士学位Adobe、Facebook等大厂实习。
林山川于2021年3月至6月在字节跳动实习。8月刚加入微软。
事实上，林山川曾经依靠它AI拿下抠图大法。
他作为一名作品发表论文《Real-Time High-Resolution Background Matting》，提出了Background Matting V2方法。
这种方法可以是30FPS的速度处理4K视频，以60FPS的速度处理HD视频。
值得一提的是，Background Matting这一系列方法不止一次被击中CVPR。以前，第一代Background Matting就被CVPR 2020收录。
两篇论文的通讯作者都是华盛顿大学副教授Ira Kemelmacher-Shlizerman，她的研究方向是计算机视觉、计算机图形、AR/VR等。
此外，本次论文的二作为，他是字节跳动的研究科学家。本科毕业于清华大学，在香港中文大学获得博士学位。
顺便说一句，除了Colab除了试用，你还可以在网页上实时感受到这个AI效果：
https://peterl1n.github.io/RobustVideoMatting/#/demo
GitHub地址： https://github.com/PeterL1n/RobustVideoMatting 论文地址： https://arxiv.org/abs/2108.11515 参考链接： https://www.reddit.com/r/MachineLearning/comments/pdbpmg/r_robust_highresolution_video_matting_with/