近日，2021全球人工智能技术大会在杭州召开。本次会议汇集了来自世界各地的人工智能领域的专家，为人工智能的未来发展提出建议。在6月5日举行的计算机视觉特别论坛上，Aauto quipper Y-。
技术部AI技术平台负责人万鹏飞受邀发表题为《短视频UGC智能创作中的计算机视觉技术》的演讲，从产业角度分享计算机视觉技术在短视频智能创作方向的应用及发展趋势。
万鹏飞理工大学：短视频创作中的CV技术及发展趋势
# Aauto Quicker深耕短视频内容创作生态，UGC智能创作降本增效。
作为全国短视频社区，Aauto faster用户日均使用时长为99.3分钟，整体日均生活3.792亿。在庞大的用户和流量基础上，Aauto faster形成了一个充满活力的内容创作生态。平台内原创视频存量300亿，每月新增1,000 W创作者。大部分内容都是普通用户创建的，即UGC(用户)。
生成的
内容).万鹏飞认为，UGC强调人机协同，内容创作的主体是人，技术辅助人创作；智能创作强调技术具有一定的自动化能力，能够在内容创作中起到“降本增效”的作用。与实际产品相对应，Aauto Quicker产品的UGC智能创作主要涵盖三大功能：人像美化功能、视听特效功能和独立创作工具。
人像美化功能：Aauto faster的人像美化功能包括美颜、美颜、塑身、美妆、滤镜、画质增强等。除了基于图形和图像处理的经典技术方案外，Aauto Quicker还将基于深度学习的CV技术融入到人像美化中，极大地提升了用户体验。例如，利用神经网络提高人像照片的图像质量或使照片中的人更年轻，利用环境光照估计使美容化妆品在实际场景中更自然。
万鹏飞理工大学：短视频创作中的CV技术及发展趋势
视听特效：除了各种常见的人脸AR装饰，特效的含义非常广泛，包括但不限于各种玩法道具、贴纸、视频模板、小游戏等。比如《万物》的AR游戏，用摄像头扫描一般物体，触发效果(比如让湿纸巾跳舞)，真人拍照游戏可以让画面以特定的方式移动(比如前阵子非常流行的“蚂蚁-啊-嘿”)，这就是特效技术的范围。
万鹏飞理工大学：短视频创作中的CV技术及发展趋势
独立创作工具：Aauto Quicker已经推出了“快影”、“One Sweet Camera”等众多热门工具，帮助用户专业创作视频和图像，最近还发布了一款专注于高清修图的“原创电影”应用。除了这些产品，万鹏飞还特别强调了另外两个特殊的独立创作工具。
第一个是创建和传播虚拟偶像的工具——a站人脸捕捉助手。用户可以以非常低的成本创建自己的虚拟图像，并让虚拟图像随自己移动，进行实时交互和内容制作。大大降低了普通人或商家拥有和经营自己虚拟偶像的门槛。
万鹏飞理工大学：短视频创作中的CV技术及发展趋势
第二个是Aauto更快特效开放平台——泌阳特效平台。在这个平台上，人们可以设计和创作自己的特效游戏，并发布在Aauto Quicker上，让更多人体验并获得平台奖励。这样，短视频平台、特效创作者和特效消费者就形成了互利共赢的生态。
万鹏飞理工大学：短视频创作中的CV技术及发展趋势
# CV技术助力Aauto faster的短视频智能创作，五大变化传达技术发展趋势。
短视频UGC智能创作各种功能的实现，大多依赖(但不限于)计算机视觉技术，即CV技术。在演讲中，万鹏飞介绍
人体/环境感知与重构技术：感知与重构是智能创造的重要前提，也是CV领域的重要课题。包括点/帧检测、物体/场景识别、运动捕捉、VO/SLAM、三维重建等。这些基本的CV技术有效保证了Aauto快手用户的创作体验。
.com/large/pgc-image/e1752de1960247ea83613fd397baf469' alt='快手Y-tech万鹏飞：短视频UGC智能创作中的CV技术和发展趋势' />
tech万鹏飞：短视频UGC智能创作中的CV技术和发展趋势' />
像素级语义分析：这方面用途最广的是分割技术，俗称抠图。除了比较常见的人像分割外，万鹏飞展示了一个快手实时天空分割的案例，不论是窗户的遮挡，还是建筑与天空的连接处，都分割得非常细腻。除各种分割抠图外，有时候也需要对画面中的其他语义信息进行分析，如深度和法线等。
tech万鹏飞：短视频UGC智能创作中的CV技术和发展趋势' />
生成式技术：以生成判别网络（GAN）为代表的生成式技术是近几年非常火热的课题。生成式技术除了可以做各种好玩的特效外（如“童话脸”特效），其应用已深入到智能内容创作的方方面面。例如传统的染发效果是在头发上叠加一层颜色，效果很假。用生成式技术染出来的头发，则更像是现实中实际染上去的效果。
tech万鹏飞：短视频UGC智能创作中的CV技术和发展趋势' />
多模态技术：现实世界中人们感受和表达信息大多是多模态的。一个短视频，不只有画面，还有声音、文本信息等，因此UGC智能创作也应该对多模态信息进行联合建模。在智能创作方面，多模态技术的落地场景有很多，包括为短视频配乐、配文案，图文转视频，以及文字生成画面等。
以上这些技术在实际落地中会面临很多挑战，包括如何保证算法在各种不同的机型上都能发挥最好的算法效果且保证运行流畅。如何保证用户在各种使用场景中能保证算法的鲁棒性等。这些都是CV技术在实际业务落地时必须考虑和解决的问题。
tech万鹏飞：短视频UGC智能创作中的CV技术和发展趋势' />
在演讲的最后，万鹏飞展望了短视频UGC智能创作技术未来发展的五大趋势：“首先是从单模态到多模态，利用多模态信息进行智能创作；第二，生成模型会越来越强大。生成的内容更加逼真，且生成的过程更加稳定可控；第三，内容形态走向虚实融合。虚拟与现实的边界变得模糊，混合现实技术很有前景；第四，从辅助制作到辅助创意，技术需要帮助人们解决内容创作中的创意瓶颈问题；最后，计算模式将走向云边端联合计算，强大的计算能力将为用户解锁更多更智能的创作体验”
― 完 ―
