2 AI芯片中国版Benchmark 已启动
千里之行，始于一年半前。 2017年10月23日，在国家发改委、科技部、工信部、网信办指导下，由中国信息通信研究院等单位发起的中国人工智能产业发展联盟（AIIA）组织了人工智能芯片Benchmark研讨会，正式启动人工智能芯片Benchmark项目。
该项目由中国信息通信研究院、华为海思、中科院计算所、清华大学、寒武纪、深鉴科技、地平线、旷视科技等共同发起。目前AIIA已经联合阿里巴巴集团、百度、寒武纪科技等多家企业，推出了AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案。
“从联盟的角度来说，我们做不出芯片IP核，也研发不出EDA工具，因此AIIA将目光放在了标准化，我们也希望能借助Benchmark标准化的工作为芯片行业的发展助力。”王蕴韬说。
中国信息通信研究院云计算与大数据研究所副主任王蕴韬
从产业层面来说，Benchmark可以影响到芯片的行业标准，在国际环境下来讲，影响到行业标准即增加了国家在AI芯片领域的话语权。
去年10月，AIIA DNN benchmark v0．5版本正式发布，并于12月开始正式启动。
今年3月6日，AIIA DNN benchmark V0．5首轮评估结果发布，麒麟980和瑞芯微RK3399开发板两款产品作为首批测试芯片，均表现上佳。
据王蕴韬介绍，AIIA DNN benchmark希望能统筹产业界和学术界实际应用的网络模型，以基于公开数据集和企业数据集的测试数据为输入，针对芯片的应用场景、应用架构、处理器硬件系统三个维度进行输出。
AIIA DNN benchmark输出的将是一套清晰的指标体系，包括时间、准确率、功率、吞吐量、成本等，并随着Benchmark的发展不断扩充新的指标。
其实AI芯片的Benchmark并不好做，中国信息通信研究院云大所人工智能部副主任孙明俊表示，AI 基准测试方案的制定面临诸多挑战。即便抛开优化程度、硬件架构等若干问题不谈，延迟、带宽、能耗都要纳入考虑范围。
同时，各种神经网络模型都有不同参数，不同设备在不同参数下有不同的输出曲线。如何让指标在不同级别的设备中横向可比？而云端和终端的应用是否需要不同的基准测试？如何为不同测试项目分配权重，以获得一个相对公正客观、有代表性的评分？这些都是应用领域的差异性和实现选择的多样性导致的测评难题。
对于AIIA来说，AIIA DNN benchmark v0．5的推出只是迈出第一步，据悉，V1．0版本也将于年内发布。
3 国产标准的自娱自乐？
其实基于AI芯片的性能测试跑分软件并不少见，阿里的AI matrix、寒武纪的benchip，以及百度的deepbench等等，但这些软件其实并没有站在一个很大的角度来去串联整个人工智能芯片领域。
AIIA DNN benchmark这套系统的目标是站在相对比较客观的角度来进行跑分测试。并且在开源社区Github中也在积极地联系更多具有AI芯片研发和制造能力的科技企业参与其中，通过企业的参与完善并加速AIIA DNN benchmarks版本的迭代。
但是作为一个国际竞争的行业，AI芯片的Benchmark如果只停留在国内，只是在自娱自乐。
某国际芯片厂商的专家表示，从芯片生产商的角度，Benchmark机构的测试需要得到厂商、用户等多方认可，这种较高的商业化程度和业内影响力需要很长时间的积累，国内的Benchmark标准的建立是好事，但是要得到业内的认可尤其是国际厂商的参与，尚需时日。
当然，对于整个中国AI芯片产业来说，拥有多重背景、含着“金钥匙”出身的AIIA DNN benchmark，可能已经是国内最有可能跑出来的行业标准了。
