字节跳动发布业内首个视频转场推荐方案，成果入选ECCV2022
AutoTransition兼顾灵活性与高性能
近期，字节跳动智能创作团队研发了业内首个通用视频转场推荐方案AutoTransition，致力于解决目前视频剪辑中存在的学习成本高，编辑效率低等问题，该项成果目前已入选计算机视觉领域顶会ECCV2022（European Conference on Computer Vision）。
随着短视频的迅猛发展和普及，每天都有海量用户通过视频来记录和分享生活。对于缺乏专业剪辑和视频编辑知识的普通用户而言，视频的制作和剪辑却具有很高的门槛。
AutoTransition兼顾灵活性与高性能，面向转场这一视频剪辑中最常使用的编辑元素，通过将转场推荐任务建模为多模态匹配和检索问题，从大量视频数据中自动学习转场匹配关系，实现了对任意视频和音频输入推荐高质量的转场效果。借助AutoTransition，用户可以快速一键生成优质转场视频，使剪辑效率得到显著提升。
图说：视频转场类别分类网络，训练Transition Embedding作为转场的特征表示
据介绍，相比于基于一系列预定义的策略或随机选取的剪辑方式，AutoTransition能够有效地从海量数据中学习到专业的剪辑知识，并基于对视频和音频的理解推荐高质量转场；相比于人工剪辑，AutoTransition模型能够在极短时间内完成推荐，显著提升编辑效率，并且推荐结果可媲美甚至超越专家剪辑的效果；得益于优秀的扩展性，AutoTransition可以方便地和其他的视频处理技术结合（例如视频高光提取、视频聚类和排序等），以实现更全面的视频剪辑能力，帮助视频工作者进一步提升视频编辑的效率。
目前，AutoTransition的衍生技术已经成功落地于抖音和智能创作ToB工具箱等多项业务场景中。字节跳动智能创作团队表示：首个视频转场数据集和AutoTransition代码均已开源，以期吸引更多同行关注这一新领域，共同推动智能视频剪辑的快速发展。未来，该团队准备将这一方案扩展到更多的视频剪辑元素，包括但不限于视频动画，视频贴纸和裁剪变换等，同时还将尝试和其他视频处理技术结合，以实现更全面的视频剪辑功能。
论文链接：AutoTransition: Learning to Recommend Video Transition Effects
- 终极预测：未来十年，谁将主宰科技巅峰？2024-12-20
- 邀您见证数据要素与AI的创新碰撞「第二届隐语开源社区嘉年华」2024-12-19
- 小猿学练机推彩墨版 搭载专属教育大模型2024-12-18
- 12/21来成都！携手多点、TuGraph、DB-GPT社区一起玩转 DB+AI2024-12-16
相关阅读
