3月25日下午,中国人工智能领军企业旷视科技举办线上发布会,正式宣布开源新一代AI生产力平台Brain++的核心深度学习框架旷视天元(MegEngine),成为全球首个将底层框架开源的人工智能企业。
天元的前身是旷视内部自用的算法训练推理引擎MegEngine,由旷视3名实习生在2013年启动研发,并与2014年正式完成上线。这款完全自研的深度学习框架支撑了旷视6年以来在国际AI竞赛的出色表现,以及公司产品和业务的落地,目前服务于旷视研究院1400余名AI开发者。
图:旷视联合创始人兼CTO唐文斌
发布会上,旷视联合创始人兼CTO唐文斌正式宣布将MegEngine的代码开源,并指出这是一套训练推理一体化、动静态合一的工业级深度学习框架,中文名字叫做天元。
图:旷视正式宣布开源自研深度学习框架天元
降低AI开发门槛提升算法研发效率
旷视是全球最早用深度学习方法开展人工智能商业化探索的科技企业,但由于早期AI 开发工具的匮乏,旷视靠自主研发,从 0 到 1 地解决了算法生产的问题。直播现场,天元开源项目负责人、旷视研究院高级技术总监田忠博从开发经验中的几个痛点入手,向开发者介绍了天元的核心优势和特性。
比如传统深度学习研发中,产品从原型到生产部署往往需要分开设计和调用训练框架和推理框架两种框架,这就导致模型在训练和推理的转换的过程中出现不明原因的性能或精度损失,需要开发者手工进行优化,而算法在计算平台部署的时候出现各种问题也无法追溯。
天元框架在设计之初就避免了这样的问题,通过训练、推理一体化的机制省去模型转换的过程,可直接将训练后的模型进行推理,并保证跨设备的模型精度对齐,同时天元内置自动模型优化、简化流程,减少因手工操作的机会,降低出错概率。
除此之外,天元还配置了 Python 和 C++ 接口,支持动态图、静态图一键转换和混合编程,可使用高级编程语言进行图优化和图编译。在运行时管理环节,天元具备执行流与调度器,采用动态、静态内存分配并存的方式,并通过独创的自动的亚线性内存管理优化器可以得到更好的内存优化效果;在底层设计上,天元的计算内核不仅兼容主流计算设备,且支持多机多卡和分布式训练。而为了解决模型复现困难的问题,天元则支持 PyTorch Module 导入,可针对计算机视觉任务进行优化。
相比主流的开源深度学习框架,天元具有训练推理一体化、动静合一、兼容并包、灵活高效的显性优势,无论对于深度学习”老司机“,还是刚刚转型AI开发者的用户来说都非常友好,极大程度上降低了深度学习的门槛,提升了算法训练和部署的效率。
国产深度学习框架开源势在必行
对于开发者来说,开源最大的意义在于技术共享和共建的成就感。20世纪末期,Linux 系统为中国开发者打开了通往开源“集市”的大门,开源软件为国产操作系统和国产软件平台的从 0 到 1 开辟了基础,同时中国的开发者们也为国际的开源社区做出了大量的贡献。开源社区的发展壮大和成果共享,促使很多企业实现了快速的成长,同时也触发了技术的加速迭代,和大批信息技术人才的涌现。
近年来,人工智能、大数据、云计算、移动互联、物联网等领域呈现多点联动的集群式创新态势,不仅使以感知和智能计算为核心的弱人工智能出现规模化应用的态势,同时也推动深度学习、计算机视觉等技术加速演进,颠覆性变革的人工智能新理论、新技术和新方法日新月异。因此,开源、开放国产自主可控的人工智能深度学习,也将成为各主体提升创新效率的基础。
图:天元开源项目负责人、旷视研究院高级技术总监田忠博
田忠博表示,目前,旷视已在我国新一代人工智能开源开放平台OpenI启智社区和全球最大的开源社区 GitHub 上同步发布了天元 Alpha 版源代码,开发者也可以通过天元官方网站的在线深度学习工具免费调用算力、获取最新数据集和训练脚本,进行简单训练和试用。旷视为天元的开发者还准备了全球顶尖算法预训练模型的模型中心ModelHub,支持开发者开箱即用。
图:天元Alpha版的35万行代码已发布于 OpenI启智社区 和 GitHub
对于天元框架开源后的发展规划,旷视透露将在技术贡献者的帮助下,于6月份推出 Beta 版本。“也许下一代天元并不是由旷视的研发团队做出来的,而是与你一起共创出来。我们希望能够吸引到一些优秀的技术人员来给我们更好的建议,一起贡献代码、共建更好的深度学习框架。”唐文斌表示。
开源不仅是开发者们共享技术成果的方式,更是推进技术产业化的催化剂。此次旷视能够把公司最核心的底层技术与全球开发者共享,体现了中国科技企业的责任与担当。未来,让我们一起期待旷视天元的表现,也期待此次开源能真正地激发市场的创造力,让传统产业和中小企业都能用上深度学习和人工智能技术,加速人工智能产业落地。