不知道大家是否还记得年初火爆全网的反黑大剧《狂飙》中,最后几集因为导演删改剧情,演员嘴型和台词完全对不上的事吗?
后边有懂唇语的硬核剧迷,为了看到原版剧情,直接开始翻译。
来源:娱乐寡姐
Meta最近开源了一个AI语音-视频识别系统:MuAViC,让大家动一动手指头,就能看懂没有声音的人物讲了啥,还能精确识别嘈杂背景当中特定人物的语音。
Meta利用TED/TEDx的视频语音素材,制作了MuAViC中的数据集。其中包含了1200小时,9种语言的文本语音视频素材,还有英语与6种语言之间的双向翻译。
语音识别数据的详细内容:
英语到6种语言翻译的素材具体包括:
6种语言到英语的翻译素材具体包括:
论文
针对这个系统,Mate的研究人员也发布了论文介绍它与现有SOTA的对比。
视听语料库的收集
英语语料收集
对于英语语料,研究人员重新使用了LRS3-TED中的视听数据,并按照原始数据进行了拆分。
通过匹配LRS3-TED中的转录和TED2020中的源句,研究人员从机器翻译语料库TED2020中找到了这些会谈的人工翻译。
然后将匹配的LRS3-TED示例与TED2020中相应的目标句子配对,以获得翻译标签。
研究人员对开发集和测试集示例采用精确文本匹配,以确保最佳准确性。
为了提高训练集的匹配召回率,研究人员开发了一种模糊文本匹配策略:如果句对双方包含相同数量的句段,他们首先用标点符号分割TED2020源句和目标句。
然后,通过去除标点符号和小写来规范TED2020和LRS3-TED文本。
最后,在两个语料库之间进行精确文本匹配。
对于TED2020中没有匹配的LRS3-TED训练集示例,研究人员从机器翻译模型M2M-100 418M中获取伪翻译标签,该模型采用默认的解码超参数法。
非英语语料的收集
对于非英语语料,研究人员重新使用了之前研究中的mTEDx收集的纯音频数据、转录和文本翻译。他们也按照mTEDx来进行数据拆分。
他们获取原始录音的视频轨迹,并将处理过的视频数据与音频数据对齐,形成视听数据,与LRS3-TED类似。
虽然mTEDx中的所有音频数据都已转录,但其中只有一个子集进行了翻译。
研究人员从M2M-100 418M中获取伪翻译标签,用于使用默认解码超参数的未翻译训练集示例。
实验
实验设置
对于视听语音识别(AVSR)和视听语音翻译(AVST),研究人员使用英语AV-HuBERT大型预训练模型,该模型结合LRS3-TED和 VoxCeleb2的英语部分进行训练。
研究人员按照AV-HuBERT论文中的方式来微调超参数,不同之处在于他们将双语模型微调为30K更新,将多语言 AVSR 模型微调为90K更新。研究人员分别冻结X-En AVST和En-X AVST模型的第一个4K和24K更新的预训练编码器。
AVSR测试
安静环境中
研究人员在纯音频("A")和视听("AV")模式下对 AVSR 模型进行了评估,前者在微调和推理中仅利用音频模式,而后者则同时利用音频和视觉模式。
如下表1所示,英语 AVSR 模型的测试误码率分别为 2.5 和 2.3。
对于非英语 AVSR,研究人员对预先训练好的英语AVHuBERT模型进行了微调,微调方式可以是对每种语言分别进行微调(8 种单语模型),也可以是对所有8种非英语语言联合进行微调(多语模型)。
其测试误码率见下表2。
研究人员发现,在视听模式下,研究人员的单语AVSR模型的WER平均降低了52%,优于同类ASR基线(Transformer,单语)。
噪音环境中
表3的第一部分显示了研究人员的 AVSR 模型在高噪音环境下的测试误码率。
研究人员注意到,SOTA多语种ASR模型Whisper在这一具有挑战性的设置中表现糟糕,种语言的平均误码率为174.3。
相比之下,研究人员的单语言AVSR模型在纯音频模式下的平均误码率分别为70.2和66.7。
在视听模式下,研究人员模型的平均误码率大幅下降了32%,这表明它们有效地利用了视觉信息来减轻嘈杂环境的干扰。
在纯音频和视听模式下,研究人员的多语言AVSR模型在每种非英语语言(除El语外)上的表现都优于单语言模型。