热搜
您的位置:首页 >> 汽车

百度语音辨认技术突破巨头崛起传统衰败

2019年05月15日 栏目:汽车

语音识别行业正面临新一轮的洗牌。早在两年前,大家的普遍认识是语音识别领域将会催生出巨头公司。所以当苹果、Google、百度、三星和微软提

语音识别行业正面临新一轮的洗牌。

早在两年前,大家的普遍认识是语音识别领域将会催生出巨头公司。所以当苹果、Google、百度、三星和微软提出要收购当时全球语音领域的老大Nuance的时候,Nuance CEO Paul Ricci一口回绝。

但随之不久,苹果、Google和微软都选择了摆脱Nuance的依赖,自建团队开发语音业务。在那之后,Nuance的市场份额节节下跌,2014年还高达60%的市场份额,一年时间缩水一半只剩31.1%(Source:Research and Markets)。相比之下,Google语音辨认的市场份额增长明显。

在英语领域,我们看到的趋势是作为搜索巨头的Google逐步占据行业的主导权。那对于中文领域的市场,是否会重现在英语领域语音识别发生的历史呢?当百度重兵布局语音领域,是不是会成为中国语音辨认领域标准的制定者,占据行业主导权呢?

我们从多个角度分析。

1.语音识别新架构:用做图象的方法做语音

近些年来,我们发现在图象领域有一个明显的发展趋势:越来越深的卷积神经络层级(CNN),从初的8层,到19层、22层、乃至152层的络结构。而随着络结构的加深,ImageNet竞赛的错误率也从2012年的16.4%逐渐下降到3.57%。

ImageNet比赛中,越来越深的CNN不断刷新着其性能

那么,深度学习在图象领域的进展,是否能够在语音辨认上有所突破呢?

通常情况下,语音识别是基于时频分析后的语音谱完成的。如果将卷积神经络的思想应用在语音辨认的声学建模上,我们就可以把时频谱当作一张图像来处理。而由于卷积神经络的局部连接和权重同享的特点,它具有很好的平移不变性,所以可以将它运用在语音辨认中,而且还能克服语音信号本身的多样性(说话人自身、以及说话人间、环境等)。

Deep CNN语音识别的建模过程

但这里遇到一个问题,虽然在ImageNet比赛中得到广泛关注的Deep CNN结构能够显著提高性能,但由于没法实现实时的计算,其很难在产品模型中得到实际的应用。

一个解决方案是借鉴Residual连接的思想,训练1个数10层的包括Residual连接的 Deep CNN,以用于工业产品中。

百度对此做了比较实验,终发现Deep CNN架构不但能够显著提升HMM语音辨认系统的性能,而且也能提升CTC语音识别系统的性能。在此同时,百度也尝试了将LSTM或GRU的循环隐层和CNN结合,这是相对较好的选择。

这也推导出了百度发布的新型语音辨认架构:Deep CNN + LSTM + CTC。

模型结构采取:Deep CNN + Deep LSTM。

建模方式:基于CTC的端对端建模。

通过创新的架构,百度大幅提升了语音识别产品的性能,相对工业界现有的CLDNN 结构,错误率相对降低了10%以上。

2.新架构推动语音大规模产业化

从历史来看,产品和系统真正的大规模使用和推广,一般都来自于基础性的变革和突破。

对语音识别来讲,真正能够实现大规模使用的系统,一定要满足:在不同场景、方言下的稳定性,大规模的训练能力,极短的训练时间,大大降低的机器耗费。这好比 Android 一样,稳定、支持海量应用和场景开发、开发时间短、开发成本低。

而Deep CNN和LSTM、CTC结合的架构,在以下几个方面有显著的优势:

1)更强的通用性。使用一个单独的算法完成从任务输入端到输出端的所有过程。

2)大规模训练的能力。能够在约10万小时的标注语音数据中完成训练。

3)大大降低服务成本。以CTC为例,它能够让语音识别解码的计算量降下来,光这部分成本就能降低近1倍。

4)合适工业界。据百度Deep Speech中文研发负责人李先刚介绍,百度不但能达到近十万级的数据范围,而且能够支持高性能计算,这可以让的模型直接移植到产品线中。

5)性能更。以往语音系统将训练进程拆解,人为干预多,但效果不一定好。端对端模型减少了人为干预,直接从输入端到输出端,一般性能会更好。

6)层数越深,效果越好。引入了深层CNN的概念,语音识别的性能得到显著的提升,正如李先刚博士所言:The Deeper , The Better。

李先刚博士特地提到了百度语音的研发侧重点。与学术研究不同,百度语音聚焦于技术的实际运用,技术难度和实现程度更高。针对语音识别产品而言,首先要具备在大规模语音数据库上体现性能提升,其次就是具有适合语音辨认产品运行的模型。

正是基于以上这些优势,让百度语音识别真正成为大规模产业化的基础,带来真正的人机交互变革。

3.语音辨认以量取胜的同时,也以质取胜

语音辨认技术经历了长达60年的发展。2006年Hinton提出了深度置信络,掀起了深度学习的热潮。2009年,Hinton和他的学生D. Mohamed将深度神经络应用于语音的声学建模,在小词汇量连续语音识别数据库TIMIT上获得成功。从2010年开始,微软的俞栋、邓力等学者首先尝试将深度学习技术引入到语音辨认,随后逐步成为了主流。

而在以深度学习的发展脉络下,语音辨认的准确率和通用性,本质就在于:

数据量的多少,这很大程度来自于搜索量、使用量的规模;

算法的优劣,人才在这方面有极为重要的作用;

计算能力的水平,尤其是在大规模产业化和本钱因素下,FPGA等专业硬件的发展水平也非常重要。

而在这3方面的比拼中,巨头公司将会占据极大的优势,因为它们具有多的数据,的人材以及强大的计算能力水平。所以当Google开放语音识别API 后,在英语语音辨认的市场中,Google将比Nuance有更大的优势。

而在中文市场中,百度也将扮演着和Google在英语市场相似的角色。

4.传统专利池受到挑战,竞争回归技术

语音识别的模型算法每一年都有很大的变化。就以百度自己的语音辨认技术来讲,2013 年语音辨认技术主要还是基于美尔子带CNN模型,2014年发展出了Sequence Discriminative Training(区分度模型),2015年初发展出基于LSTM HMM的语音辨认,年底发展出基于LSTM-CTC的端对端语音识别系统,而现在把Deep CNN模型和 LSTM、CTC结合了起来。

百度语音识别技术每年迭代算法模型

在快速发展的技术下,很多公司选择了采取组建知识产权产业同盟的方法。2015年 11月,百度开放了上百项智能语音专利,和海尔、京东、中兴通讯、中国普天等 20 多家单位组建了智能语音知识产权产业联盟。

这种开放式创新和开放式知识产权许可的结合,也许会成为智能语音未来的产业核心模式。这也意味着传统语音的专利池,在快速发展、迭代的语音技术下,在更开放的语音同盟下,会失去过去的保护作用。

所以智能语音的未来发展,关键还是在于核心技术的突破,这也就来到了数据、算法和计算能力的比拼,这方面百度会有很大优势。

5.人工智能技术生态的重要作用

当Google发布了语音开放API,其对Nuance的打击是致命的。这不仅仅是由于Google在产品、技术上的优势,而且也来自于Google强大的人工智能技术生态,例如以TensorFlow为代表的深度学习引擎,由于大量的一线工作人员使用,其对语音辨认领域的开发选择有强大的影响力。

当语音技术逐渐往大规模产业化发展时,公司的技术生态会非常重要。对于百度来说,9月份开源的PaddlePaddle,1月份开源的Warp-CTC,都对产业界有深远的影响。

基于上面的分析,我们认为语音识别将进入大规模产业化的时代。而在核心技术和能力的比拼下,语音辨认也将进入巨头突起,传统语音公司稍显没落的时代。

怎么样治疗宫颈炎
怎么治疗好盆腔炎
经期不准吃什么药