探究深藏大地的“隐秘”,云核算助力遥感卫星“落地”
本文摘要:探究深藏大地的“隐秘”,云核算助力遥感卫星“落地”为了更好地开展对海量数据的大数据剖析与发掘,该单位想在私有云上使用查找引擎和数据库等应用。布置的时分,IT团队发现,这些应用与原本的虚拟化环境其实不能很好的兼容,要解决这个问题需要对现有的虚拟化云
探究深藏大地的“隐秘”,云核算助力遥感卫星“落地” 为了更好地开展对海量数据的大数据剖析与发掘,该单位想在私有云上使用查找引擎和数据库等应用。布置的时分,IT团队发现,这些应用与原本的虚拟化环境其实不能很好的兼容,要解决这个问题需要对现有的虚拟化云渠道以及裸机平台进行统一的资源办理,营建一个随时、随需的请求和使用存储、核算资源的云施行环境。

从前的人们很难想象,有朝一日我们可以使用遥感卫星从太空窥视深藏大地的 隐秘 。

6月初,大理州剑川县的剑湖单看像一片月牙,给人一种圆润的美感。加上被旁垂直的阡陌、参差的村庄以及绿油油的郊野包围,剑湖又恰似一个正在孕育中的 宝宝 。

8月中旬,一片呈螺旋性旋转的巨大云团以每秒数十米的强风速呈逆时针方向旋转的同时,又以每小时数十公里的运转速度向我国滨海城市袭来

这些遥感卫星不只能生动形象地展示祖国的秀美河山还能监测台风。当然,遥感卫星的作用远不止于此:天气预告、国防建设、城市规划、森林火灾监测、洪涝灾祸监测等也是遥感卫星的重要运用领域,国内某卫星单位几十年如一日的做着这些事情,为我国的经济建设和社会开展作出了重要贡献。

国内某卫星单位建立于1991年,承当着我国对地观测卫星数据处理、存档、分发和效劳设备建设与运转管理。例如,在矿产勘测工作中,该单位通过遥感图画数据搜集、数据预处理、信息提取、遥感异常圈定和遥感地质编图等处理过程,完成矿场资源猜测评价。

通过多年开展,该单位的卫星体系现已从以前单一类型的卫星转变为现在的陆地观测和高分系列卫星,事务规模也从以前只专注于国内需求,转向国内和国际。迄今为止,该单位运转管理着资源系列、环境减灾系列、高分系列等十余颗卫星;有将近3000个法人单位,1万多个注册用户。截至现在,该单位分发的数据量已超过1000万件,现已成为国家陆地、气候、海洋三大卫星之一。

海量数据的存储、检索、分发是难题

遥感卫星收集的影像数据,需要在地上进行集中处理和分发。2005年,该单位的数据处理体系主要有三个,即:CBERS卫星实验体系用户效劳分体系、CBERS-02B卫星用户效劳分体系和全国陆地观测卫星数据分发分体系。海量的数据需要高效的地上数据处理体系。2011年,该单位在资源三号卫星和资源02C卫星地上体系建设时,将上述所有分体系数据进行了整合,建成了统一对外效劳的数据分发效劳分体系。

以往的影像数据是对前史真实、客观的记载,跟着时间推移会愈来愈珍贵,需要永久留存,而多颗卫星同时运作,需要存档的数据就会愈来愈多。据计算,2015年9月,该单位卫星的在线数据存储达到了10拍,这些卫星每天还会发生超过10太的数据需要存储。

其时对地观测卫星的主要特点体现在高空间分辨率、高光谱分辨率、回访周期短、影像条带宽、立体成像才能和多种成像形式等方面,愈来愈多的不同平台搭载的观测传感器使得人们可以取得近乎接连高维度数据,这种信息搜集的爆炸式增加给分发效劳体系带来了巨大的压力,该体系逐渐暴露出了功率和效劳等各种问题,并且跟着新型载荷不断开展,对分发效劳的效劳形式也提出了更多要求。

为了更好地开展对海量数据的分析与发掘,该单位想在私有云上使用查找引擎和数据库等应用。布置的时分,IT团队发现,这些应用与原本的虚拟化环境其实不能很好的兼容,要解决这个问题需要对现有的虚拟化云渠道以及裸机平台进行统一的资源办理,营建一个随时、随需的请求和使用存储、核算资源的云施行环境。

基于Animbus打造 即申即用 的云环境

为此,该单位早前就选用了神州云Animbus平台,该平台基于OpenStack、Ceph、外接EMC商业存储为其构建了一个内部OpenStack私有云渠道。私有云渠道对现有的网络交换机、X86效劳器、Isilon存储等硬件资源进行了集成,软件层面则提供前台门户、虚机定制、流程审批、散布式存储和目标存储等功用。详细如下图所示:

私有云渠道的搭建,一方面完成了异构资源统一纳管,兼顾传统网络和云网络的无缝对接、滑润过渡和统一管理,协助该单位减小了云渠道的运维难度;另外一方面,该单位现已构成了基于专线、电子政务网和互联网 三网合一 的不同层次、多类用户的数据分发体系,该平台的使用也完成了资源实时推送管理分发,为信息同享提供了数据保障。详细效果如下:

专线:与疆土资源部、环境保护部、水利部、住建部、减灾委、交通部等国家部委建设了21条专线,完成了数据的主动推送效劳;

电子政务网:掩盖规模扩展到京内85家部委职业用户以及京外31个省、自治区、直辖市和新疆建设兵团;

互联网:所有互联网连接的用户都可通过互联网便利快捷地取得数据。

扩容晋级,让遥感卫星数据更好地 落地

然而跟着时间的推移,遥感卫星存储的数据愈来愈多,该单位用户的需求也愈来愈多元化,原本的资源和性能现已无法满足事务增加的需要,分发体系的扩容现已火烧眉毛。为了使遥感卫星数据可以高效、便捷、安稳的为广阔互联网用户和其他企业用户提供更好的效劳,2019年,该单位联合神州云对分发效劳体系云效劳进行了晋级改造,详细包括分发效劳分体系虚拟化平台、Hadoop散布式核算集群和在线数据散布式云存储体系。

神州云对上述需求进行了综合考虑后,抉择选用软件界说数据中心技能,充沛使用该单位原本的硬件核算、存储和网络设备进行分别扩展,保证活络、高效的同时,又不被存储和网络厂商锁定。

在硬件的利旧上,保留原有分发体系、内网、外网以及安全等设备,原有设备连接到华三的千兆核心交换上,神州云虚拟化平台,包括效劳器和集中存储连接到四个万兆交换机上。华三核心交换机和新的万兆交换机通过万兆线路连接。

这样一来,既保留了原本的功用,又保障了新增功用的网络带宽。同时多线路冗余也为体系提供了更高等级的体系高可用性,神州云从底层网络架构到上层应用都做了相应的规划,全面保障事务的耐久性。

在网络规划中,神州云充沛使用千兆/万兆/4万兆的通讯速率,提供尽量低的收敛比,保障流畅的虚机间通讯和效劳拜访。连接示意图如下:

在晋级扩展过程当中,为保障事务的接连性,该单位使用神州云Animbus 云渠道统一纳管新旧事务,建立统一的主机、集群、虚拟机、存储、网路和数据监控管理平台。同时传统事务和数据也将转移至新集群,完满足面的事务整合晋级。此外,神州云还使用 Animbus Ironic组件,将裸机资源也一并进行管理,结合VMware纳管功用,建设统一的综合云渠道,便利客户在一个平台上管控多种资源。

在大数据剖析事务方面,神州云使用了Sahara组件,Sahara旨在协助客户可以在Openstack平台上创建和管理Hadoop以及其他核算框架集群,完成类似AWS的EMR效劳。该单位只需要提供简略的参数,如版别信息、集群拓扑、节点硬件信息等,使用Sahara效劳可以在数分钟时间内快速地布置Hadoop、Spark、Storm集群。

助力客户效劳全球

此番,神州云联合该单位一同打破了多项技能难关,完成了多项技能办理立异。晋级扩容完成之后,该单位的私有云渠道支撑一键创建Hadoop散布式核算集群,将Hadoop布置在虚拟化环境中,完成了可靠的和功能优化的虚拟化Hadoop集群。在Hadoop集群基础之上,能开发基于Spack的用户查询条件计算分析功用,从而计算出用户查询方位信息的频度数据和每天查询订购的峰值信息。

在分发体系中,因为目标存储是最为要害的一部分,神州云对整个云存储体系架构做了特别规划:体系选用双存储策略,使用9台效劳器和一套ECM Isilon存储搭建了一个Ceph散布式存储集群,装备存储策略使EMC Isilon和基于效劳器的散布式存储方案两者共存于同一个存储集群之中,各节点通过2个H3C交换机,2个Mellonix万兆交换机相连,交换机体系内部互联。

存储体系选用完全对称、面向资源的散布式体系架构设计无中心节点,所有部分都可扩展,防止了因单点失效而分散并影响整个体系运转。通讯方式选用非堵塞式I/O形式,提高了体系吞吐和响应才能,以满足实践使用中的性能问题。云存储提供了规范API、认证效劳、账户效劳、目标服务和审计效劳,全面掩盖了整个目标存储的使用、管理和监控。

神州云通过对该单位已有硬件资源进行体系结构规划、硬件资源分配和网络设计,保证了其云存储环境正常运转的同时,完成了容量超400T的在线数据散布式云存储体系的扩容。对内,给该单位提供了目标存储的规范API操作接口;对外,该单位的用户可以通过火发效劳体系下载近期产品数据。

一直以来,该单位都积极贯彻落实国家关于陆地观测卫星开展的战略布置,该单位的主任曾表明,农、林、水、土、城、环、灾等各应用职业都离不开卫星数据的支撑。接下来,在该单位联合神州云打造的私有云渠道基础上,前者将为全国用户提供三千余万卫星数据产品,广泛应用于我国农业、林业、水利、疆土资源、城市规划、环境保护、灾祸监测和国防建设等众多领域,发明出更多的经济效益和社会价值。

如今,我国的遥感效劳早已走出国门,成为 全球民用陆地观测卫星在轨数量最多的国家级遥感卫星数据中心 是该单位的开展方针。未来,该单位将继续扩展国际层面的合作,为其他有需要的国家提供遥感数据效劳。

延伸阅读: