创新工场南京国际人工智能研究院冯霁:我们要解决当前AI系统的安全性问题

镁客网 中字

计算金融+AI安全,研究院的使命和责任

冯霁总结,研究院的两个重点,一个是以业务为中心,一个是以技术为核心。

其中,计算金融强调技术赋能落地,也就是我们常说的的人工智能+金融,通常情况下, 计算金融又可以分为三个维度:金融风控、智能投顾以及智能投资。

在具体落地上,冯霁透露研究院正在围绕交易行为的相关业务场景做一些尝试。“交易行为是市场中买方和卖方一系列交易行为的结果,但金融市场的噪声比较大,如何从交易数据和行为中挖掘相应的模式并作出预测,相当于AI+金融领域的圣杯问题。”

除此之外,研究院另一个重心便是AI安全,冯霁直言这是非常酷,也是非常重要的事情的事情。此处的AI安全并不是安防之类的安全保护,特指的是当前AI系统的安全和鲁棒性。

冯霁认为,当前的AI解决方案已经从低风险应用转为高风险应用,比如十年前的垃圾邮件分类,逐渐深入到自动驾驶系统、安防领域的人脸识别,一旦AI系发生错误或者被人恶意攻击,后果不堪设想。“以人脸识别为例,现在一个特制的眼镜(镜框上绘制了包含算法的花纹)就能骗过人脸识别系统,让其把甲认成乙。”

所以研究院的一大任务就是研究那些攻击算法,设置相应的防御机制应对攻击,同时提出统一的风控或者评估机制,以第三方的角度来为评估AI系统的安全性。

另一方面, AI安全除了研究AI系统安全之外,还囊括数据隐私保护相关的技术。比如现在由杨强教授等人推动的“联邦学习”,力图在不共享数据以及合法合规的前提下,利用双方的数据进行机器学习,实现模型增长。

以手机上的用户数据为例,此前可以一股脑将所有数据上传到云端进行数据训练。但欧盟数据隐私保护条例GDPR规定出来后,本地数据是禁止被上传到云端共享的。那么借助联邦学习,手机厂商可以直接在手机本地将数据训练出一个小模型,然后将模型的参数上传到云端进行算法的优化,不共享数据,共享知识。

在采访之前,冯霁代表创新工场,当选为联邦学习国际标准制定委员会的副主席,在微众银行的杨强教授带领下,共同参与制定国际上第一个人工智能协同与合作的标准。

如果标准制定顺利的话,联邦学习对于互联网公司以及金融机构都是非常利好的消息,“金融机构在做一些信用评级的时候,如果双方数据能够共享、共同训练一个大的模型,银行的业务都会有所提升。”

在冯霁的描述中,创新工场南京国际人工智能研究院的发展路径和目标非常明确,一方面是研究金融场景下的人工智能模型,另一方面则是针对鲁棒性和安全性的人工智能研究,关注AI企业所提供的人工智能解决方案中安全和数据隐私的问题,并提供相应的算法建议。

学术界的研究一定要“不那么有用”

冯霁在确定研究院战略方向的同时,也十分清醒的认识到企业和高校研究院的定位差异。“同工业界相比,学术界的研究不应该那么‘有用’。”这是冯霁给出的答案。

在他看来,学术界和工业界研究院关注的内容应该泾渭分明。以AI为例,当前的工业界应用都是在吃学术界早期技术研究的红利。

就像几十年前被提出的卷积神经网络,当后期的硬件条件跟上,才有了今天大规模的技术商业应用市场。而以现在的时间点去看未来,如果学术界停止研发那些“没用”的东西,十年后的我们又要何去何从?

所以,从科研角度看,学术界不应该去做和工业界一样的研究,比如那些可以带来立竿见影经济效益的事情。“学术界更应该做一些有利于这个学科长久发展的研究,不要急功近利考虑太多变现的事情。”工业界的研究则恰恰相反,它们需要思考如何将学术的成果变成一个真正可商业化的工业级产品。

冯霁也坦言,如今两者的界线越来越模糊,尤其是在大量的学术界大佬被企业挖走,造成学术研究断崖的当下。

就像冯霁之所以选择创新工场南京国家人工智能研究院,骨子里有着创业精神的他,热爱和一群优秀的人做最酷的事情,让学术界的成果落叶归根,找到合适的商业化路径。

声明: 本文系OFweek根据授权转载自其它媒体或授权刊载,目的在于信息传递,并不代表本站赞同其观点和对其真实性负责,如有新闻稿件和图片作品的内容、版权以及其它问题的,请联系我们。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存