无论用户正在进行传统的语音通话还是网络通话,当用户的语音进入骁龙865终端的麦克风并传入骁龙865集成的第五代Qualcomm AI Engine时,有道实时翻译就会马上开始运行。在翻译的过程中,骁龙865会唤醒Qualcomm传感器中枢(Sensing Hub)来消除噪声和回声,然后启动Hexagon处理器进行神经网络处理,这主要包括以下三个阶段:
1、 自动语音识别(ASR)——以英文来举例,通过在Hexagon处理器上运行卷积神经网络(CNN),用户的英文语音可以被转录为英文文字。
2、 神经网络机器翻译(NMT)——接下来,英文文字能够通过神经网络机器翻译转换成中文文字。这不仅仅是逐字翻译,而是结合语句结构的翻译。Hexagon处理器能够助力有道算法更好的理解两种语言之间语句结构的区别,以及词语在不同语境中可能具有的不同含义。
3、 文字转语音——最后,神经网络机器翻译出的中文文字会转化为普通话语音。
值得关注的是,上述处理过程全部都能够在终端侧实时地进行,这让跨语言交谈真正变得轻松自如。
实时翻译的未来
目前,有道实时翻译技术支持包括普通话、英文在内的多种语言。未来,该技术甚至可以扮演口译员的角色,在人们面对面交谈时进行翻译。
在5G技术的支持下,实时翻译将会以更具沉浸感的方式呈现在人们的生活中。例如,由新一代无线通信和骁龙5G终端赋能的超低时延技术能够在视频电话中支持面部识别,这带来的不仅仅只是声音同步,而是逼真的口型同步,对方就连看起来也像是正在使用与用户相同的语言进行对话。
Qualcomm Technologies希望帮助全世界进行连接、计算和沟通。这也是为什么我们很高兴能够与有道合作,并打造能够帮助人们克服语言障碍的技术。我们很荣幸可以与合作伙伴一起丰富用户体验,共同架起全世界沟通的桥梁。
Qualcomm骁龙、Qualcomm人工智能引擎AI Engine、Qualcomm Hexagon和Qualcomm传感器中枢是Qualcomm Technologies, Inc.和/或其子公司的产品。