AI芯片评测工具，引导规范专用芯片市场
“为专用的芯片设立一个基准测试是非常重要的工作”孙明俊在镁客网的采访中再三强调了测试平台在整个AI产业发展中的重要性和关键性。“这是产业链中不可或缺的一个环节。特别是在产业发展的初期，技术路线尚未明确的情况下，一个好的基准测试应该做到的是树立清晰的指标技术竞争体系，这即可以帮助企业快速进步，同时也客观反映当前产品现状，一个行业如果充斥着太多鱼龙混杂的产品，就很难走下去。”
所以，必须有个第三方中立的机构去防止这个领域出现劣币驱逐良币的现象。
据孙明俊介绍，AIIA DNN benchmark V0．5测试主要面向端侧，旨在客观反映具有深度神经网络加速能力的处理器在完成推断任务时的性能。V0．5版本的评估工具基于Android／Linux系统，支持测评的机器学习训软件框架包括TensorFlow／Caffe等，已经完成的移动端适配环境有HiAI ／MACE／ SNPE／TensorFlow Lite／Tengine。
在今年3月举办的“AI in 5G——引领新时代论坛”上，研究院发布了首轮的评估结果，包含四大典型场景和两大类评测指标。评测场景包括图像分类、目标检测、超分辨率、分割网络；评测指标则包括速度（fps）和算法性能，算法性能指标涉及如top1 、top5、mAP、mIoU、PSNR等。
谈及当前的AI基准测试，除了AIIA之外，阿里、寒武纪以及百度均有动作：阿里在去年的云栖大会上推出了AI Matrix；中科院计算所、寒武纪、科大讯飞、京东、锐迪科、AMD等六家则是携手推出BenchIP。国外的MLPerf也于去年5月由谷歌牵头联合全球各大科技公司与高校开展相关基准测量工具研究。
当被问及AIIA的评测工具相较于其他基准测试工具的优势，孙明俊强调，“我们没有产品倾向性，是非常中立且不带产品色彩的独立第三方测试。”
值得一提的是，孙明俊也强调AIIA DNN benchmark是深度学习处理器领域首次区分整型和浮点对比的Benchmark。
AI芯片评测非一日之功，开源工具鼓励企业多参与
虽然AI芯片评测工具已经推出，但是考虑到专用芯片的复杂性，也给评估工作带来一些困难。
“我们面临的一个很大的问题是适配，比如TensorFlow／Caffe适配到高通、海思都要做大量的工作，但是以前的通用CPU评测就不存在这个问题。”
孙明俊表示适配的难度之外，由于芯片上搭载的场景也非常多，所以需要测试的场景相应也会很多。另外延迟、带宽、能耗也都要纳入考虑范围，再加上各种神经网络模型有不同参数，不同参数下又有不同的输出曲线，所以测试基准工具也得不断地迭代下去。
虽然有很多企业也在做AI芯片的基准测试，但是整个业内似乎还缺少统一的标准。对此，孙明俊解释道，“AI基准测试之所以还没有任何一家企业被公认为标准的行业测试体系，其原因就在于人工智能处理器的多样化，处理器的尺寸、功能、构架、制程不同，应用的领域、范围、特定场景不同，也就导致了人工智能处理器的复杂化。”
而评测体系如果想要建立好，就必须要把所有处理器可能遇到的场景和问题考虑进去。这点也正是行业难点之所在。
所以为了吸引更多的企业参与到专用芯片测试中，目前DNN benchmark V0．5评测工具已经在Github上开源。
