此外,飞桨的工程师建议,因为采集端只有一路视频,所以,后端处理业务要既保证性能稳定性,又能兼顾将来业务扩展,叠加更多的智能分析功能。新的设备上线后,每日3公里巡检2次,单次仅仅能积累约200张图片素材,为了提高识别精度和更多数据的训练积累,飞桨工程师建议对于巡检点的视频进行截图回传,这样可以增加数据,再结合自动和人工标注加入训练集,提高识别效率。
“在飞桨的帮助下,我们全流程学习了一次AI的实施落地。我们发现,飞桨的一大优点就是开发部署的学习难度很低,即使我们的工程师经验并不丰富,但由于飞桨的开发套件成熟度高,实际上比我们预料的上线时间缩短70%以上,这大大的增加了我们以后进一步利用AI来改造设备的勇气。我们希望把那些单价上亿的自动采煤机,都通过百度的AI升级成智能机器人”,高强博士说:“以前我们说自己是一家机器人公司,但现在我们可以说自己是一家智能机器人公司,两字之差,跨越了一个时代!”
事实上,这种团队规模中等、有一定技术底蕴的团队,比之前文所说的“先行者模式”,更容易接受像开发套件这样的“重武器”,从而提升整体战斗力,从一个“工作坊”变成企业的AI发动机。
但并不是每个“工作坊”都有完备的团队,吴甜回忆过一个工业企业的AI落地情景,当初接洽时,初步了解到对方已经有一支12人的队伍,觉得大有希望——这是典型的“工作坊”式团队啊。
然而,经过实际接触才发现,这个12个人的AI团队,只有1名AI专业研发人员能够理解深度学习算法的大致原理,并且达到了能自己动手使用飞桨算法类套件进行深度学习算法训练的程度。
如何最快的让这些没有AI背景、甚至没有计算机背景的工程师能够在AI研发中形成合力?显然,从头学习是不现实的,而必须有工具。
被称为产业级深度学习平台的飞桨,之所以能够异军突起,在短短5年的时间内,在中国深度学习平台的市场综合份额上超过谷歌和Facebook,靠的就是和中国产业界的高度适配。
就拿刚才的问题来说,同一支团队、不同背景、不同经验甚至不同悟性,飞桨都准备了不同的工具。通过模型研发深度的阶梯式、多层次产品,来应对企业团队中人员背景多样的问题。
在一次论坛分享中,吴甜自信的说:“无论企业研发团队中的能力和经验如何,总能在飞桨平台上找到一种当前适用的产品形态,并可以不断学习精进,逐渐攀升使用更灵活更自主的产品。”
简单来说,飞桨平台就相当于一个巨大的模型工厂,能直接基于框架开发模型的AI工作者,是最高阶的,相当于米其林的三星级大厨。
仅仅有“工厂”还不够,还得有具体的“产品线”,这其中,又可以分为场景类开发套件和算法类开发套件,来适配不同的应用环境,能够运用开发套件的,也是AI应用人员中的行家里手。
当然,对于AI基础薄弱的人员,尤其是没有系统的学过编程的人员来说,最便捷的方式就是无代码的开发方式。同样以“模型工厂”里的大量模型为从基础,飞桨提供了前面介绍过的EasyDL。你可以理解为像使用美图秀秀这样简单,只要做一些拖拽、填写一些参数、上传一些数据,甚至不用写一行代码,就可以快速上手AI开发,吴甜曾称之为“让大家找找AI开发的感觉”。
为了包容不同类型的开发者,飞桨在便利性上做足功夫。
飞桨封装隐藏了编译自定义算子过程中不必要的框架底层概念,并且打通了训练和推理体系,这样就可以让更多非AI专业人员通过飞桨平台更灵活、更简单地在自己的领域应用深度学习技术。
言归正传,说到前面那支背景多样的团队,在百度飞桨和团队带头人的持续帮助下,能力有了全面的提升,使得团队的技术结构已经发生了变化——有人能使用飞桨可视化界面开发,有人能使用场景化套件,一些人甚至拥有了应用配置化开发的算法类套件深入进行深度学习算法的开发的能力,而这支团队的成长,就是处在AI工作坊阶段并不断进阶的一个AI团队的缩影。
但这,也不过是飞桨的探险之旅中的一个环节。
3
乘上星际飞船,探索AI宇宙
说起AI进入工业大生产,人们一定非常兴奋,脑中一定会出现非常壮丽的图景,但在实际落地中,这种工作的组织难度是非常高的。
以一个大型的互联网企业为例, 有涉及视觉、语音、推荐等数百个AI场景建模的需求,有应用开发、算法调优、平台开发等多种类型的AI研发工作,有MPI、机器学习和深度学习等数千并发任务,整个企业用了近十年向AI底座迁移,这才是真正的工业大生产。
而参与项目的技术人员、使用这些服务的企业员工,数量高达数千;在资源上,这些任务需要GPU、CPU、FGPA等异构计算的数万张卡,可谓是波澜壮阔。
“这种多人多任务高并发度协同,是最考验平台能力的,因为它不仅是一个工程问题,更是一个工程管理问题,它考验飞桨能否帮助AI在一个庞大体系落地的能力和效率,这是目前步入AI工业大生产的‘入门考试’。”在一次公开论坛中,吴甜这样形容。
而面对这样复杂的需求,飞桨开展了两方面的核心工作来支持,一类是面向资源算力层面,项目需要高效的算力管理与调度,以应对大规模AI应用时需要的算力基础设施提供、管理、调度等。
为此,飞桨构建了作业及工作流调度系统,从这个角度来看,再次显现了飞桨的“产业级”特性,那就是能够支持大量并行任务同时开展,对模型和服务进行了科学有序的管理,提升整体的研发效率。
这样的大型项目中,很多都是基于人工智能的通用模型打造,而一般来说,打造一个通用模型直到它成熟,需要许许多多次的尝试——很多通用模型在设计的时候其实都是一次对于资源的冒险,需要调动成千上万的GPU。
而飞桨在这样的大场景中解决的,就常常包含去尝试不同的超大模型,并通过卓越的泛化能力,再产生出更多个适用不同场景的更优化的小模型,我们可以把飞桨看做是“用AI生产出AI的体系”,它是AI的工作母机,是人类探索AI的星际飞船。
而正是因为飞桨不断的尝试这样的大场景、通用模型和泛化,所以,对于飞桨产品(模型)已经完善的场景,或者有一定研发能力的企业,企业中的AI团队在飞桨产品的辅助下就可以独立完成很多出色的应用项目,而且速度越来越快。
这其实就涉及到人们热衷于讨论的一个问题,对于越来越分散的场景,是不是需要无限的投入人力资源去定制服务,答案显然并非全部如此,飞桨的选择就是通过不断挑战大场景,不断的进行模型优化,使得模型的通用性越来越强,再配合以各种专用的套件,就能不断加速AI落地的速度。
例如,百度飞桨的合作伙伴里,就有专门生产AI产品及应用解决方案的企业,有一个企业,就基于Paddle Detection目标检测套件中的YOLOv2算法,打造了适用于炼钢厂的钢坯位置的检测方案。在这个项目中,由于PaddleDetection已经趋于成熟,企业团队成员能力较强,整体过程比较顺利,基本没遇到什么问题。而且,当下次、下下次遇到类似的钢坯检测问题时,部署的速度会十倍、百倍的提升,这就是一个能够用数据沉积智慧、经验和模型,从而不断自我完善的闭环,它们才是通向大工业时代真正的底层引擎。
如果说这篇文章仅仅是从AI落地的角度解读AI从先行者阶段向工业大生产时代的迈进,那它还是不够全面的,因为AI落地不仅仅取决于以上的技术、工程、管理方面的要素,它还需要更大体系的支持。
其中,人才的培养是非常重要的。虽然我们看到,很多工程师都可以边学边干,在实践中培养AI能力,但这不能掩盖我国AI人才严重缺乏的现实。而且,这种缺乏是全面的,从开创性的领军人物到最基层的用无代码开发工具的应用人才,都有巨大的缺口。
为此,飞桨非常重视复合型AI人才培养的工作,始终在输出业务、算法、工程三位一体的人才培养理念,强调跨越边界,学以致用。当前已经建立起成熟完善的产业级复合型AI人才培养体系,包括面向一线算法工程师的“AI快车道”,面向技术负责人的“AI私享会”和面向CTO、架构师层级的“AICA首席AI架构师培养计划”等等。
生态的建立也至关重要。飞桨是一个平台级的存在,平台有平台的优势,也有平台的劣势,特别是针对垂直场景和分散化的场景。
吴甜在多次对外沟通中反复强调,AI落地应用势必是要面对分散化的场景需求,如何在业务场景中发现问题、解决问题需要懂得业务逻辑的人学会结合AI技术,飞桨丰富的产品体系能够满足不同要求和特点的使用者,例如前面提到的零代码可视化界面客户端、场景类开发套件、算法类开发套件、模型库、深度学习框架。
此外,飞桨还提供了企业级的平台型产品BML,发布了首个易被集成的云原生机器学习核心系统PaddleFlow,可以为企业的AI平台开发者提供资源管理调度等核心能力,赋能更多细分场景和深度定制的AI平台,同时解决企业AI研发协作效率的问题。
但从更长远的角度看,飞桨应该有更多生态伙伴,就像我们前面提到的,为企业提供AI产品和方案的公司,基于飞桨进行丰富多样的AI生产创造,协同加速千行百业的智能化升级。
