NVIDIA收购SwiftStack用来做什么呢?
首先,我们来看一下做为事实上的标准的AWS S3,从骨子里说,它代表的对象存储,是一种在线的海量数据较低成本的存储方式,适合跨地域读写;因此,虽然备份归档是对象存储的使用场景之一,但只是做备份归档,其实是委屈了对象存储。
其次,对象存储的高并发,特别适合前端呈现分布式负载的场景。AI场景的使用,包括AI训练、AI推理,是由许许多多个任务并发进行的,任务与任务之间几乎没有数据的交互,因此很少考虑存储通常要顾及的写一致性。
因此,在我们看来,NVIDIA收购SwiftStack或许有如下几个原因:
1)NVIDIA欲整合AI基础架构
NVIDIA是一个非常注重生态的公司,它的版图里应该不仅仅是计算以及衍生出来的各个组件,从近两年的动作来看,NVIDIA想整合整个AI基础架构。2019年3月11日NVIDIA以69亿美元收购 Mellanox;2020年3月6日宣布收购SwiftStack。
2)SwiftStack具备数据跨云管理和高并发的优势
据报道:"Manuvir Das表示,NVIDIA尤其喜欢SwiftStack的1space技术,该技术可以为忙于处理缓存和分层等任务的GPU助一臂之力。
SwiftStack V7于2019年发布,提供数PB的规模,可处理数千个worker节点同时访问数据的任务。它提供了超过100GB /秒的吞吐速度,性能和容量都能实现线性扩展。
1space是NVIDIA收购Swiftstack的主要原因,这是一种文件连接件,使云原生应用程序可以通过S3或Swift对象API访问本地数据或AWS数据,并可以确保不断向数据提供计算资源”
我个人认为,AI训练有个特点,它一次性将原始训练集的数据加载到计算节点的内存或者SSD后,需要经过一段较长的时间(也即计算或说训练),才会再次读取存储上的数据。因此,对象存储的延迟可能不会构成障碍,这一点可以通过高并发来弥补。