近日，2021全球人工智能技术大会在杭州召开。本次会议汇集了来自世界各地的人工智能领域的专家，为人工智能的未来发展提出建议。在6月5日举行的计算机视觉特别论坛上，Aauto quipper Y-。
技术部AI技术平台负责人万鹏飞受邀发表题为《短视频UGC智能创作中的计算机视觉技术》的演讲，从产业角度分享计算机视觉技术在短视频智能创作方向的应用及发展趋势。
快手深耕短视频内容创作生态，UGC智能创作降本增效
作为全国短视频社区，Aauto faster用户日均使用时长为99.3分钟，整体日均生活3.792亿。在庞大的用户和流量基础上，Aauto faster形成了一个充满活力的内容创作生态。平台内原创视频存量300亿，每月新增1,000 W创作者。大部分内容都是普通用户创建的，即UGC(用户)。
生成的
内容).万鹏飞认为，UGC强调人机协同，内容创作的主体是人，技术辅助人创作；智能创作强调技术具有一定的自动化能力，能够在内容创作中起到“降本增效”的作用。与实际产品相对应，Aauto Quicker产品的UGC智能创作主要涵盖三大功能：人像美化功能、视听特效功能和独立创作工具。
人像美化功能：Aauto faster的人像美化功能包括美颜、美颜、塑身、美妆、滤镜、画质增强等。除了基于图形和图像处理的经典技术方案外，Aauto Quicker还将基于深度学习的CV技术融入到人像美化中，极大地提升了用户体验。例如，利用神经网络提高人像照片的图像质量或使照片中的人更年轻，利用环境光照估计使美容化妆品在实际场景中更自然。
视听特效：除了各种常见的人脸AR装饰外，特效的含义非常广泛，包括但不限于各种播放道具、贴纸动画、视频模板和小游戏等。比如《万物》的AR游戏，用摄像头扫描一般物体，触发效果(比如让湿纸巾跳舞)，真人拍照游戏可以让画面以特定的方式移动(比如前阵子非常流行的“蚂蚁-啊-嘿”)，这就是特效技术的范围。
独立创作工具：Aauto Quicker已经推出了“快影”、“One Sweet Camera”等众多热门工具，帮助用户专业创作视频和图像，最近还发布了一款专注于高清修图的“原创电影”应用。除了这些产品，万鹏飞还特别强调了另外两个特殊的独立创作工具。
首先是虚拟偶像创作和播放工具——站A人脸捕捉助手。用户可以以非常低的成本创建自己的虚拟形象，让虚拟形象随着自己移动，进行直播互动和内容制作。大大降低了普通人或商家拥有和经营自己虚拟偶像的门槛。
第二个是Aauto更快特效开放平台——泌阳特效平台。在这个平台上，人们可以设计和创作自己的特效游戏，并发布在Aauto Quicker上，让更多人体验并获得平台奖励。这样，短视频平台、特效创作者和特效消费者就形成了互利共赢的生态。
CV技术助力快手短视频智能创作，五大变化传达技术发展趋势
短视频UGC智能创作各种功能的实现，大多依赖(但不限于)计算机视觉技术，即CV技术。在演讲中，万鹏飞从工业应用的角度介绍了五个技术方向，即人类感知与重构技术、环境感知与重构技术、像素级语义分析、生成技术和多模态技术。
人体/环境感知与重构技术：感知与重构是智能创造的重要前提，也是CV领域的重要课题。包括点/帧检测、物体/场景识别、运动捕捉、VO/SLAM、三维重建等。这些基本的CV技术有效保证了Aauto快手用户的创作体验。
像素级语义分析：分割技术，俗称抠图，广泛应用于该领域。除了t
生成技术：以生成判别网络(GAN)为代表的生成技术是近年来的热门话题。生成技术可以做各种有趣的特效(比如“神仙脸”特效)，其应用已经渗透到智能内容创作的方方面面。比如传统的染发效果是在头发上叠加一层颜色，效果是假的。用生殖技术染出来的头发，更像是现实中实际染出来的效果。
多模态技术：在现实世界中，人们以多模态的方式感受和表达信息。短视频不仅仅是图片，还有声音、文字信息等。因此，UGC智能创作也应该联合建模多模态信息。在智能创作方面，多模态技术的落地场景很多，包括短视频配乐、文案创作、文本到视频转换、文本生成等。
这些技术在实践中会面临很多挑战，包括如何保证算法在各种模型上都能发挥出最佳的算法效果和流畅运行。如何保证用户在各种使用场景下都能保证算法的鲁棒性。这些都是CV技术在实际业务中必须考虑和解决的问题。
演讲最后，万鹏飞展望了短视频UGC智能创作技术未来发展的五大趋势：“一是从单一模式走向多模式，利用多模态信息进行智能创作；第二，世代模式会越来越强大。生成的内容更加真实，生成过程更加稳定可控。第三，内容形式正在走向现实与现实的融合。虚拟现实和虚拟现实的界限变得模糊，混合现实技术有很大的前景。第四，从辅助制作到辅助创意，技术需要帮助人们解决内容创作中的创意瓶颈。最后，计算模式将走向云边联合计算，强大的计算能力将为用户解锁越来越多的智能创作体验。”
本文来源于中国网科技。
