可跟踪水和烟雾,跨帧一致性更强

CoDeF是英文“the content deformation field”的缩写,即作者在此提出了一种叫做内容形变场的新方法,来用于视频风格迁移任务。比起静态的图象风格迁移,这类任务的复杂点在于时

大家好,今天小编来为大家解答以下的问题,关于可跟踪水和烟雾,跨帧一致性更强这个很多人还不知道,现在让我们一起来看看吧!

CoDeF是英文“the content deformation field”的缩写,即作者在此提出了一种叫做内容形变场的新方法,来用于视频风格迁移任务。

爆火 视频版ControlNet 开源了,靠提示词精准换画风,全华人团队出品

比起静态的图象风格迁移,这类任务的复杂点在于时间序列上的一致性和流畅度。

比如处理水、烟雾这类元素,两帧画面之间的一致性非常重要。

在此,作者“灵机一动”,提出用图片算法来直接解决视频任务。

他们只在一张图象上部署算法,再将图象-图象的转换,提升为视频-视频的转换,将关键点检测提升为关键点跟踪,而且不需要任何训练。

这样一来,相较于传统方法,能够实现更好的跨帧一致性,乃至跟踪非刚性物体。

具体而言,CoDeF将输入视频分解为2D内容规范场 :

“套上”分割一切算法SAM,我们就可以轻松做到视频的对象跟踪,完成动态的分割任务:

“套上”Real-ESRGAN,则给视频做超分也是信手拈来……

全部过程非常轻松,不需要对待操作视频进行任何调整或处理。

不但能处理,还能保证效果,即良好的时间一致性和合成质量。

以下图所示,相比去年诞生的Layered neural atlas算法,CoDeF能够显现非常忠于原视频的细节,既没有变形也无破坏。

而在根据文本提示修改视频风格的任务对照中,CoDeF全部表现突出,不但最匹配所给要求,也有着更高的完成度。

跨帧一致性则以下图所示:

关于“可跟踪水和烟雾,跨帧一致性更强”的内容,小编就分享到这里了,大家还有哪些需要补充的呢?无妨在评论区留言分享,让更多的朋友受益!您的每一个留言,和每一个赞,都是我前进的动力!喜欢的话记得收藏、分享给身旁的朋友。

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至81118366@qq.com举报,一经查实,本站将立刻删除。发布者:简知小编,转载请注明出处:https://www.jianzixun.com/145625.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫

相关推荐

软文友链广告合作联系站长qq81118366