对宇宙深空的向往和好奇,是深植于中华民族基因中的浪漫。宋代诗人曾发出疑问:问台家、山河宇宙,是谁擎托。
数字时代,这个问题的答案,应该是存储。
我们曾采访过一位深度学习与行星遥感影像处理方向的中科院博士,对方提到,传统空间科学项目,不管是月球、火星还是深空探测,采集到的所有图像和数据,都要全部先传回到地面上,再逐个处理。
如此大规模的高清遥感影像数据,有的甚至需要存上几十年之久,用以科学研究。而这仅仅只是遥感的应用方向之一。今天,遥感卫星被用于农业、林业、海洋、国土、环保、气象等多个领域,为数字中国的建设提供必要的数据支撑。
以数据洞悉山河,需要强大的存储底座作为擎托。
以农田为例,遥感卫星的数据,要精确到每一株小麦的图像。这其中所需要的存储资源,几乎是天文数字。在这个时代考验面前,中国遥感行业和存储行业的双重力量,确实做到了有所担当。
长光卫星,是我国第一家商业遥感卫星公司,集研发制造、运营管理和遥感信息服务于一体。在商业遥感这个充分竞争的市场,曙光存储连续多年为长光卫星提供存储服务,累计提供存储空间超过20PB,支撑从数据采集、应用到归档的全生命周期管理。
它们一路携手的故事,或许能满足大家的好奇心:建设数字中国,卫星遥感和存储究竟是怎么组CP的?
存储变革,回应星河深处的呼唤
简单介绍一下,遥感数据主要来源于外层空间遥感平台的卫星,根据实际需求来设计,返回各行业所需要的数据。
比如气象卫星的遥感数据,可绘制天气图,帮助监测台风、飓风、云顶温度等状况,对极端天气及时做出预警,是航行、捕鱼、农作物、城市生活中必不可少的一类数据。陆地资源卫星所采集的地球表面图像数据,会被用于国土普查、资源勘探、工程选址等,你我日常使用的导航地图,也有它的一份功劳。
到了数字时代,遥感行业也与时俱进,发出了拥抱新技术的呼唤,与深度学习、大模型等AI技术相结合,产生了大量前沿探索应用,也对存储基础设施提出了挑战,具体要从遥感的“天地之变”说起。
首先,天之变。
空中,卫星载荷数据类型越来越多,对存储提出了新的要求。
比如,遥感数据类型众多,既有数十G的高分辨率成像数据、100M的中速载荷数据,也有1M的卫星平台健康管理数据等,这些异构数据所需要的存储能力各不相同,极大地增加了存储的复杂度和成本。
再比如,遥感数据的实时性增强。以气象卫星为例,大家对气象预测精度的要求越来越高,从以天为单位,提高到以小时为单位。要满足实时信息采集、处理的需求,要更快速和便捷地获取数据,对存储性提出了更苛刻的要求。
此外,卫星载荷信息,直接关系到国家基础信息安全,存储的核心技术和软硬件产品,必须全栈自主可控,才能为遥感行业的发展提供坚实的支撑。
总结一下,遥感行业对高性能、高性价比和高安全的天基存储需求日益迫切。
接下来,我们将目光转向地面,聊聊遥感数据的“地之变”。
遥感卫星采集的原始数据,要下传到地面站系统,来支持各类遥感应用。其中,存储系统是地基部分的核心基础架构,也是遥感数据的最终承载体。
近年来,遥感领域的地基存储也在发生一系列变化:
1.存的下。以人工智能、大数据、IoT等为核心的新一代信息技术,在数字经济中得到了越来越广泛的应用,带来了带来了海量数据井喷。比如火爆的AI大模型,训练AI遥感大模型需要用到超大规模、多模态的遥感数据进行训练,地基存储必须具备海量数据存储和归档能力,为后续业务提供支撑。
2.取得快。遥感数据在多个行业开始发挥应用,比如智慧农业中就使用遥感技术来为农业无人机、无人车提供导航,越来越多的业务开展,需要实时计算、高并发、高效稳定扩展、混合负载等能力,来支撑尽可能多的并发应用,充分释放遥感数据在数字经济中的价值。
中国国家航天局在“‘十四五’及未来一个时期发展重点规划”中指出,要不断增强卫星应用服务能力,支撑经济社会发展。
可以肯定,十四五期间,商业遥感会迎来黄金发展期,在数字中国建设中发挥必不可少的作用。这时候,商业遥感就迫切需要一个强大的存储伙伴。作为“国家队”的曙光存储,就率先扛起担当。
曙光为阶,托起遥感行业的进化
技术创新,是推动遥感行业发展的核心动力。商业遥感与数字山河之间,曙光存储凭借技术积累和应用理解,用一层层坚实的台阶,支撑商业遥感向千行百业平稳落地。
第一层台阶:基础性能,让遥感数据更可用。
存得下、存得快,是遥感数据存储的基本要求。曙光存储通过内存统一管理、存储线程专核专用、磁盘精细化管理和数据IO通路的深度优化,帮助长光卫星实现客户端单流写入达到10GB/s的带宽水平,确保卫星过境时数据能快速写入,让用户更快速和便捷地获取遥感数据。
第二层台阶:精细控制,让遥感服务更好用。
用得好、用得快,是遥感数据进一步发挥价值的前置条件。曙光存储在数据处理、分发等各个环节,为长光卫星量身制定精细化的权限管理功能,无论在Windows还是Linux客户端,都可以对读、写、删除、权限修改等操作做精准控制,且对百万级目录权限设置可达到毫秒级响应,极大的提高数据处理和数据管理的效率。为遥感数据的深度分析、价值挖掘与其他数据源的融合等,奠定了基础,可以让遥感数据应用服务,在智能化、数字化进程中,发挥更大的作用。
第三层台阶:可持续发展,让遥感行业行稳致远。
前面提到,遥感影像数据的类别复杂、用途多样,因此,分级存储是一种常用的存储策略,而针对冷数据、温数据、热数据的不同存储组件,需要“强运维”,又会带来较大的成本。因此,曙光存储的自动分级,就能够让遥感数据,以更低成本、更高效率、更可持续的方式来存储。
具体来说,分级存储对热数据,比如常用的、最新的、需要快速访问的数据,提供在线存储。而一些存放较久、可能需要访问的温数据,则使用近线存储。需要长期保存但并不常用的冷数据,则采用离线保存,通过机械手或人工操作来提取数据。
曙光存储自动分级存储策略可充分利用存储资源,确保数据在热、温、冷存储池自动流动,极大的提高数据访问的效率,同时综合降低存储成本,为商业遥感提供安全可靠、绿色节能、低成本的存储服务。
从中可以看到,在遥感市场和行业应用之间,从星河深处到烟火人间,曙光存储修筑了可用、好用、可持续的一个个台阶,最终将二者连接在一起,推动遥感行业发挥更大的社会效益和经济效益。
用数赋智的大潮中,各行业都需要充分融合数据资源,最大化发挥存储基础设施的价值。从这个角度看,数字中国的建设过程中,遥感数据潜力无限,遥感行业大有可为,而遥感点亮数字山河之前,存储底座必须更坚实、更强大一点。
星耀中华,存纳天下,当我们踏着曙光存储的台阶,在深空和大地都刻下“中国科技自立”的脚印,也就离数字经济的黄金年代,更近了一点。
原文标题 : 星耀数字中国,先要存下宇宙山河