人工智能和对象存储,能擦出什么样的火花?

IT168
关注

NVIDIA收购SwiftStack用来做什么呢?

首先,我们来看一下做为事实上的标准的AWS S3,从骨子里说,它代表的对象存储,是一种在线的海量数据较低成本的存储方式,适合跨地域读写;因此,虽然备份归档是对象存储的使用场景之一,但只是做备份归档,其实是委屈了对象存储。

其次,对象存储的高并发,特别适合前端呈现分布式负载的场景。AI场景的使用,包括AI训练、AI推理,是由许许多多个任务并发进行的,任务与任务之间几乎没有数据的交互,因此很少考虑存储通常要顾及的写一致性。

因此,在我们看来,NVIDIA收购SwiftStack或许有如下几个原因:

1)NVIDIA欲整合AI基础架构

NVIDIA是一个非常注重生态的公司,它的版图里应该不仅仅是计算以及衍生出来的各个组件,从近两年的动作来看,NVIDIA想整合整个AI基础架构。2019年3月11日NVIDIA以69亿美元收购 Mellanox;2020年3月6日宣布收购SwiftStack。

2)SwiftStack具备数据跨云管理和高并发的优势

据报道:"Manuvir Das表示,NVIDIA尤其喜欢SwiftStack的1space技术,该技术可以为忙于处理缓存和分层等任务的GPU助一臂之力。

SwiftStack V7于2019年发布,提供数PB的规模,可处理数千个worker节点同时访问数据的任务。它提供了超过100GB /秒的吞吐速度,性能和容量都能实现线性扩展。

1space是NVIDIA收购Swiftstack的主要原因,这是一种文件连接件,使云原生应用程序可以通过S3或Swift对象API访问本地数据或AWS数据,并可以确保不断向数据提供计算资源”

我个人认为,AI训练有个特点,它一次性将原始训练集的数据加载到计算节点的内存或者SSD后,需要经过一段较长的时间(也即计算或说训练),才会再次读取存储上的数据。因此,对象存储的延迟可能不会构成障碍,这一点可以通过高并发来弥补。

声明: 本文由入驻OFweek维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。
侵权投诉

下载OFweek,一手掌握高科技全行业资讯

还不是OFweek会员,马上注册
打开app,查看更多精彩资讯 >
  • 长按识别二维码
  • 进入OFweek阅读全文
长按图片进行保存