机器智信原创
机器之心编辑部
为什么空气突然安静了？原来“降噪”按钮打开了。
“你说什么？我听不见风！」
这个大家经常用来玩梗的短语，其实在现实中经常出现，尤其是在录制短视频的时候。风、雨、机器声.每一种噪音都可能让你的视频有“全损音质”。
为了减少环境噪音的影响，人们想了很多办法，比如在麦克风上穿上厚厚的毛衣：
但“毛衣”不是冰冷的微笑，不可能解决所有问题。更何况我们大多数人直接用手机拍视频，甚至不用专业麦克风。
硬件不够，软件不够。视频中噪声的普遍存在催生了大量的降噪软件，在视频后期制作中发挥了重要作用。但是这些软件也有自己的缺点，比如操作复杂、降噪不彻底、上传下载耗时、降噪不可调和。
随着短视频制作群体的扩大，越来越多的制作者渴望拥有一款简单、灵活又好用的降噪软件。
在这方面，拥有3.792亿个日常旧熨斗的阿乌托快铁说：已经安排上了.
这个实用的小功能最近在Aauto Quicker的视频拍摄编辑制作APP“http://www . Sina.com/”上线，打开APP后就可以直接使用了。
_降噪功能入口在“http://www . Sina.com/”APP底部功能区的“音效”中。点击“视频声音”或“录音”按钮，页面有“降噪功能”选项。_
降噪前后效果对比：https://v.qq.com/x/page/p32490gv9vx.html.
在试用过程中，我们发现它不仅能去除各种噪音，还能满足快影和快影.的需求，之所以能满足这些需求，是因为实时预览的降噪功能是。
降噪量可调's.
与部署在服务器端的方案相比，部署在移动端可以帮助我们省去上传和下载的麻烦，从而降低视频制作对网络的要求，节省制作时间。同时还支持降噪量的个性化选择(5。
一个降噪齿轮，从噪音抑制5dB到完全消除)，让我们在不想要的时候完全消除背景音，想保留一些背景音的时候适当抑制。
不同齿轮降噪效果的比较：https://v.qq.com/x/page/v3249fjc279.html.
如果你的听觉敏锐，你可能还会发现快影降噪后的音频依然非常丰富和立体，这得益于部署在移动端,快影.的深度降噪算法
宽带输出最大限度地保留了原始信号和双耳声像的带宽。相比之下，一般的深度语音去噪算法只能支持单通道的8kHz带宽输出，音质会大打折扣。
作为“零基础”创作者的视频制作平台，快影拥有视频画中画、文语转换、人脸融合等诸多实用小功能，能够满足短视频创作者的大部分制作需求。“降噪”功能的推出，进一步降低了对拍摄环境和硬件的要求，让用户拍摄更加自由。
那么，这样一个有用的函数是如何产生的呢？在最近的一次采访中，Aauto Quicker的音频技术团队向Machine Heart介绍了该功能背后的技术细节。
支持双声道 16kHz
语音降噪是语音领域一个非常重要的研究方向，其历史可以追溯到20世纪30年代。从收音机到电话再到VOIP，对语音降噪技术有着强烈的需求。
在深度学习取得重大进展之前，单通道语音降噪是通过传统的信号处理方法实现的，一般认为只能去除噪声语音中稳定的噪声成分，如空调噪声、汽车发动机噪声等。这些噪声在音量和频率上相对稳定，相对容易消除。然而，我们的环境仍然充满了许多不稳定的噪音，比如汽车喇叭和人们说话。这些噪声在音量和频率上变化很大，这是传统降噪方案的缺点。
2015年后，深度学习技术突飞猛进，降噪技术也取得了巨大成功。
大进步。快影的降噪方案便是基于深度学习技术打造的。技术团队表示，在训练阶段，他们从 三个方面 入手来保证模型在大小受限的情况下的降噪效果。
第一个方面是网络设计 。快影降噪方案的核心是一个 CNN 加 RNN
的混合网络结构，这样可以兼顾语音局部特征的抓取和长时特性的追踪，确保降噪效果。
第二个方面是前、后处理和损失函数的设计。
在前处理方面，团队利用信号处理和心理声学中的响度及掩蔽等方面的已有结论，在不影响主观听感的前提下设计了基于信号处理的前处理模块。该模块的目的是剔除训练目标中人耳无法感知的成分，聚焦那些更重要的成分，从而简化深度网络的训练目标，促进有限参数量的小网络的收敛程度，最终提高主观音质体验。
在后处理方面，团队利用语音信号低频成分和高频成分的强相关特性及心理声学中人耳对高频分量感知显著弱于低频分量的结论，合理分配计算资源，实现可以在大部分机型上上线的降噪方案。
在损失函数设计方面，团队在实践验证学术界已有的损失函数的基础上，结合降噪问题的主要矛盾点，即降噪量（over-suppress）和语音保留（under-
suppress）的平衡及语音信号谐波特征明显的特性，设计了一种新的损失函数：在加强输出语音信号谐波特性的同时，当输入带噪语音信噪比低时突出降噪效果，当输入带噪语音信噪比高时突出语音保留效果，最终保证算法对于降噪量和语音保留的整体平衡。
第三个方面是数据增强
。噪声数据的多样性是提高降噪模型泛化性的关键。为此，技术团队进行了各种环境混响、采集播放设备、预处理算法的模拟，以此来产生各种数据。基于这些数据，技术人员再依靠
AI 算法训练神经网络去区分语音和噪声，从嘈杂环境中剥离出干净语音。
在部署阶段，考虑到短视频创作者存在实时预览、降噪量可调和降噪处理后可以保留原视频中立体声信号等需求，技术人员选择了移动端的部署方案。为了解决降噪效果和移动端算力之间的矛盾，他们在算法侧进行了
模型压缩，采用了知识蒸馏、模型剪枝、量化 等方法，还在工程实现方面对计算复杂度进行了深度优化，确保模型可以 适配高、中、低端各种机型 。
杀敌一千，但绝不自损八百
为了验证快影的降噪方案与其他产品的效果差异，技术团队借助 SNR（信噪比）和 POLQA（感知客观语音质量评估）等指标对模型进行了评估。
SNR 表示语音的含噪程度。SNR 越大，语音含噪量越少。
实验结果表明，在相同的降噪量下，快影的降噪能力与其他产品相当；但快影降噪方案的优势在于，它支持降噪量可调的模式，随着降噪量的提升，快影的降噪效果相对于其他产品的优势变得非常明显。
POLQA
是目前业界公认的有参考的音质评测手段，可对与原始信号相比的降级或处理过的语音信号进行评级。它反映的是音频整体的音质效果，包括语音失真程度和语音完整度等。
如下图所示，在纯净语音的降噪中，快影没有造成音质损伤，其他产品则不然；在 12dB 的相同降噪量下，快影比其他产品得分高 0.2
分左右。随着降噪量的提升，快影的降噪优势变得越发明显。
注：由于其他产品无法选择降噪量，故快影 20dB 和全降噪提升均为相对于其他产品单一降噪量（大约 12dB）的提升。
幕后技术团队：未来可期
好用的产品离不开靠谱的技术团队。除了最近推出的降噪产品之外，快手的音频技术团队还在全球音频技术顶级会议 Interspeech 2021
举办的国际回声消除算法大赛中斩获颇丰，拿到了双讲回声消除的单项世界冠军和远端单讲回声消除的单项世界亚军，在综合排名中位列世界第三。值得一提的是，在参加这个比赛时，快手的团队其实在人数上并不占优势，只有其他大厂的三分之一左右。
快手的音频技术团队与快影团队表示，他们下一步的工作重点将是提升快影「特定场景下的声音分层处理」效果，解决用户在非正常说话场景下的噪声问题，如用户唱歌时，算法需要在消除噪声的同时保留伴奏。团队的目标是通过不断优化精细化场景下的降噪效果，让每位用户都能在快影
App 内享受黑科技带来的优越听觉体验。
