继去年5月在行业率先推出首款面向物联网的AI芯片—雨燕（Swift）及其系统解决方案之后，1月2日，国内领先的人工智能企业云知声在京召开新闻发布会，正式公布了其多模态AI芯片战略与规划。会上同步曝光了其正在研发中的多款定位不同场景的AI芯片，包括第二代物联网语音AI芯片雨燕Lite、面向智慧城市的支持图像与语音计算的多模态AI芯片海豚（Dolphin），以及面向智慧出行的车规级多模态AI芯片雪豹（Leopard）。
5G推动AIoT落地，多模态AI芯成必然
云知声创始人／CEO黄伟认为，当前我们正处于5G爆发的边缘，5G与人工智能的结合将真正促使万物智联（AIoT）的落地与实现。可以预见的是，未来巨量的多维数据（如语音、图像、视频等）集中处理与边缘式分布计算的需求，势必将进一步挑战AI底层支持硬件——芯片的计算能力。
与此同时，AIoT场景下人工智能应用对于端云互动有着强需求。强大的云会让端能力更强，而强大的端则可提升数据处理的实时性和有效性，进而增强云的能力。二者需要紧密结合，这要求对芯片设计和云端架构进行统一考量。传统的通用方案架构由于在高实时性、高智能化场景中的算力有限，且无法平衡好成本、功耗、安全性等诸多现实需求，因此具备多维度AI数据集中处理能力的多模态AI芯片将成必由之路。
图 ｜云知声创始人兼CEO黄伟
黄伟同时指出，面向5G万物智联时代，人工智能服务需提供更加场景化的解决方案，云＋芯一体化的服务模式将成为行业主流。基于此，他进一步对传统SOC（System On Chip）概念提出全新定义，其中S代表不同的AI服务能力即Skills，O代表云端与边缘侧的互动On／off Cloud，C代表具备智能处理能力的AI芯片。
从IVM到雨燕，云知声的造芯之路
云知声2014年开始切入物联网AI硬件芯片方案（IVM），并于2015年开始形成量产出货，其中家居领域客户覆盖格力、美的、海尔、长虹、海信、华帝等几乎所有国内一线家电厂商。在深入场景提供服务的过程中，为弥补通用芯片方案在给定成本和功耗条件下的能效比问题，以及在边缘算力、多模态AI数据处理方面的能力短板，2015年云知声正式启动自研AI芯片计划。
去年5月16日，云知声正式发布了旗下耗时近三年自主研发打造的首款物联网AI芯片。该芯片采用云知声自主AI指令集，拥有具备完整自主知识产权的DeepNet1．0、uDSP（数字信号处理器），并支持DNN／LSTM／CNN等多种深度神经网络模型，性能较通用方案提升超50倍。
发布芯片后仅四个月，云知声便选择将基于雨燕的解决方案进行开源，于去年9月正式推出智能家居、智能音箱的两套标杆解决方案。通过“云端芯”结合，提供给客户与合作伙伴面向具体场景的软硬件一体化Turnkey解决方案，可让客户站在更高的设计起点、以更低的成本，在更短的时间周期内打造出更稳定可靠的产品。同时，开源的方案也可确保客户基于已提供的AI能力自行设计其它各种长尾产品形态，构建更为丰富的AIoT生态。
目前，基于雨燕芯片的全栈解决方案已导入的各类方案商及合作伙伴已超过10家，包括美的、奥克斯、海信、京东、360、中国平安、硬蛋科技等，相关产品最早将于Q1量产上市。
