看视频最怕什么?感觉水果无非就是语言不通.不懂就没有字幕。除非你精通外语,否则你只能说你玩得很开心。
例如,YouTube提供不同语言的字幕。
遇到国外大发布会直播,如果不提供同声传译,观看体验简直就是灾难。如果记者会可以通过PPT和宣传视频了解。
那部电影、动画等作品,没有翻译甚至没有外文字幕,可以说是一塌糊涂。即使你懂一些外语,听力和翻译也不容易。
让我们等待本地化团队和翻译团队释放资源。
我还有一个朋友,甚至试图翻译下面的这种视频,他想知道这部戏剧是什么,它是关于什么的。
咳咳,扯远了,严肃一点!
说真的,对于播放外语视频的用户来说,真的对字幕无能为力吗?有什么办法解决吗?答案是肯定的,那就是AI 字幕。.
_原理简介_
对于AI字幕,手机识别语音并翻译,在顶层实现同步。通常,使用以下实现过程:
原音频 ―― 语音识别 ―― 翻译语音 ―― 显示字幕
最重要的是翻译过程。在AI字幕中,AI的成分体现在翻译引擎的质量上。下图是笑声中的翻译效果。
同时,翻译过程与语音识别准确度.密切相关。因此,如果你想翻译好,就离不开翻译引擎和语音识别准确度.
而且,由于字幕的原理是先识别,再翻译,最后显示,难免会出现延时和音画不同步的问题(除非视频延时)。
如今主流安卓手机中,针对播放外语视频的字幕问题,锤子、华为、小米等品牌都优化了AI字幕识别。
这些功能的出现,通过实时翻译,真的可以帮助我们看视频,理解内容。
但有人可能会问,翻译效果能否正常使用,识别率如何,是否是机器转动的效果。让我们一起来看看。
_实际体验_
在小米手机上,MIUI 12首次在小米闻声.更新在无障碍功能上,采用了两个语音识别引擎:讯飞听见 、小爱同学。.
由于功能和体验都不是很好,这里就不讨论了。毕竟,萧艾最近开了一个新版的AI 字幕内测,,你不试试吗?
告诉萧艾,AI 字幕,可以开始使用它。
582f864b4bd7b9a246197e052b73' alt='这样的看片必备工具,超实用' />主要功能拥有这些。目前仅支持 中英双语 ,声音来源可选内录或麦克风。
在 UI 设计上,使用悬浮窗的风格,可随意拖动和缩放。
在英文识别效果测试中,采用了 Google I/O 2021 大会视频。不可避免的出现了延迟,在意料之中。
不过在识别准确度上,还算是能让人满意。很少出现错误, 当然这也和视频中发音准确度有直接关系 。
在使用 AI 字幕中,还可点击悬浮窗顶部选项,对翻译的字幕内容进行导出的操作。
不如把翻译内容导出 看看整体效果 。这段视频内容主要是演讲者上台介绍关于谷歌地图的应用场景、发展方向等内容。
下图是识别效果:
在总体翻译上,准确度已经达到了可用的程度。但依旧有部分内容出现翻译过于生硬、机翻的问题。不过对于用户理解视频已经足矣。
对于中文视频的字幕识别,我们采用了 鸿蒙发布会 的部分片段。并且由于视频有自带的字幕,大家可以通过动图来判断识别速度、延迟、准确度。
可见,在中文识别上几乎没任何问题,当然了, 普通话越标准识别效果越好。
总得来说,在用户日常影视中,只要发音准确、语速不要过快的视频,AI 字幕体验还是可以的。
不仅 MIUI ,华为早在 EMUI 11 也推出了 智慧语音 的 AI 字幕功能。
并且可在通知栏快捷方式中开启,MIUI 目前仅能通过小爱同学唤醒。
在使用时,和 MIUI 的体验差不多。该有的功能都有具备。
但华为不光支持中英双语, 居然还支持日语 !这功能真不错!
咳咳,我相信大家只会在看动漫时用到吧?( 眼神示意 ),果子我就不做测试了。
并且,在最近的智慧语音测试中,AI 字幕还将加入韩语的转写功能,相信未来华为智慧语音功能将更加的完善。
以上就是在外语音视频方面,各厂商的 AI 字幕功能体验。
就目前的体验上而言,最大的问题 反而不是翻译准确度, 而是字幕延迟所导致 音画不同步的违和感 ,果子在测试中深有体会。
优化 AI 字幕使用体验依旧任重而道远。
不过好在,各大厂商也在积极优化产品体验。而在语音识别、分析处理等技术层面,也有如科大讯飞等企业的存在。
在未来,实时的多语种语音翻译,真正的 AI 字幕体验一定会更好。