当6亿用户习惯了每天通过QQ发送语音、进行视频通话，或者和群内网友一起完成一部Pia剧，或者和朋友进行语音答题，你有没有想过，在不同场景下清晰流畅的QQ音视频体验背后，有什么黑科技支撑着这些场景下的“音”与“词”之美？
今年11月16日举行的Google 2021开发者大会期间，大会官网更新了一个案例——《TensorFlow助力：AI语音降噪打造QQ音视频通话新体验》，由QQ音视频通话技术团队撰写。作为Google TensorFlow的优秀应用案例，本文中腾讯QQ团队详细展示了语音增强技术在QQ音视频功能中的研发与应用。
#借助TensorFlow，QQ搭建了AI降噪模型的训练框架。
在如今的应用市场中，音视频通话功能几乎成为了APP的标配。2021年10月，在中国APPStore下载量前100名中，超过70%的应用配备了音视频通话功能。音视频功能的体验是衡量一款APP体验是否优秀的重要指标。
降噪算法是优化音视频通话质量的核心技术之一。
目前主流的降噪方案主要有传统降噪和AI降噪。传统的降噪方法由于计算量小，具有实时语音降噪的优势。但同时，由于它们是基于数学和物理原理推导出来的，这一过程不可避免地基于人类认知的理想先验假设，使得传统降噪对于实际场景中频繁出现的各种非平稳噪声表现不佳。
人工智能
降噪是一种新兴的数据驱动降噪方法，可以有效处理各种突发性非平稳噪声，但前期需要大量的数据训练和建立合适的数据模型作为基础。模型在移动端的部署需要权衡模型尺寸、降噪效果和CPU。
占用率和内存占用率等因素，这给降噪技术的实现带来了一定的挑战。
为解决6亿用户对QQ音视频的巨大需求，腾讯QQ团队基于开源TensorFlow机器学习平台搭建AI。
降噪和噪声场景分类并行训练框架，设计了音频降噪、音质改善和模型优化算法。
噪声数据的多样性是提高降噪模型泛化能力的关键。因此，在训练模型时，腾讯QQ团队通过对几个时长相等的音频数据进行“喂食”和场景训练，结合适当的数据扩展，结合精心设计的网络结构，进一步提高了模型的泛化能力，可以使
AI降噪模式适应生活中上百种常见噪音，在AI加持下为用户提供智能通讯体验。
同时，腾讯QQ团队也使用TensorFlow Lite。
的量化函数在基本不影响模型降噪效果的前提下，缩小了模型的尺寸，大大提升了性能优势，并成功部署到产品函数中。
# AI降噪算法蒸馏技术模型优化打造实时、高质量的清晰通话体验。
案例中，腾讯QQ团队指出，AI降噪算法包括音频降噪模块和音质提升模块。
音频降噪模块主要基于对有噪音频中的干净语音进行建模，然后提取有噪音频的频域特征，并对有噪音频和干净音频的频域特征进行对比计算，使得AI对开门声、键盘声、走路声等常见语音有更准确的识别能力和降噪处理。并将干净的声音与嘈杂的环境分开。
在此基础上，腾讯QQ团队增加了音质提升模块，平衡降噪范围，保证噪音去除更干净，同时避免造成其他有用音频被消音，从而保证实时降噪过程中“有用信息进来，无用噪音被隔离”。
当代人的生活更加多样化。不同的场景如餐厅、咖啡馆、车厢、电影院、街道和社区，晴天、雨天、台风天等不同的天气都伴随着不同种类的no
采用0dB、5dB、10dB和15dB的信噪比制作混合音频，分别测试了原始降噪模型和通过蒸馏技术改进的AI AI-去噪-学生模型的性能。
测试结果表明，短期目标清晰度与语音质量的感知评价相关(P
ESQ)均有所提升，并且随着降噪量的提升，AI降噪效果的优势还能进一步凸显。
# 优质的社交功能体验，往往藏在用户“看不见”的地方
社交软件几乎占据了当代人使用手机的大半时间，它不仅是人们日常交往中至关重要的工具，同时也紧密关系着用户体验与社交质量。
而在每一条文字或语音信息的背后，在每一通音频或视频通话的背后，都有来自无数环节的技术支持,每一个环节的优劣，也都关系着用户体验的好坏――用一句比较流行的话来说，就是“用尽了全身力气，才能显得毫不费力”。
腾讯QQ团队基于TensorFlow研发的降噪技术，能够通过AI算法带来智能的降噪功能和清晰、干净的音视频体验，对于行业难点之一的音频降噪同时保证音质效果，也有了针对性的优化方案，对语音质量和视频通话带来更好的技术保障。
腾讯QQ一直专注社交与沟通，致力于提供优质的社交体验。许多音视频相关的功能如趣味变声、语音暂停等功能都率先出现在QQ中。这些功能也受到了年轻人的普遍喜爱。据悉，腾讯QQ未来还将在AI基础算法、模型方面加强研究，拓展更多元的社交应用场景。
附录：
TensorFlow 助力：AI 语音降噪打造 QQ 音视频通话新体验
https://mp.weixin.qq.com/s/F_QrRFPiEzG3rdyxU_nK2w
