【可直接扫描文末二维码，报名周四下午亚马逊云科技线上研讨会】
卫星遥感数据在商业决策方面，越来越广泛的起到了作用。从中欧班列到港口物流，从美洲大豆到印度水稻，从建筑工程到路网工程，从钢厂生产到城市夜间灯光，从山火洪灾到高温干旱，从湖体变瘦到地质灾害，卫星遥感数据的应用为人们打开了新的视野，爆发出前所未有的社会价值和商业价值。
也有研究表明，数据价格近几年平均每年下降10%。那么随着卫星数据获取、数据处理的技术不断迭代，如何利用云原生技术，提升数据应用效率，降低数据成本？让我们来看看在云原生技术上深耕了16年的亚马逊云科技，都有哪些卫星遥感企业在数据应用领域不断推陈出新……
领先的地理空间智能公司笛卡尔实验室（Descartes Labs）, 使用 HPC 探索世界，处理来自地面、水中和太空传感器的海量数据。该公司采用云原生架构，专注于通常涉及 PB 级数据的地理空间应用程序。通过全面使用云技术，笛卡尔实验室为政企客户提供数据洞察，帮助他们及时做出决策以应对全球日益紧迫的挑战，如气候变化、粮食安全、自然资源变化。
图源：笛卡尔实验室
笛卡尔实验室通过云原生高性能计算（HPC）加速地理空间数据的分析。这些空间数据包括描述地球表面自然环境与建筑物的位置和特征的图像、来自卫星和无人机的遥感数据，以及其他数据源。
笛卡尔实验室充分运用了云原生架构自动化部署的优势，曾在“全球规模计算TOP500”比赛中，一天之内启动了 4,096 个云计算实例（Amazon EC2 C5、C5d、R5、R5D、M5 和 M5d），共计 172,692 个核心，来搭建HPC集群。短时间、大规模运算成果显著：
· Rmax – 9.95 PFLOPS。实现的实际表现：每秒将近 10 万亿次浮点运算。
· Rpeak – 15.11 PFLOPS。理论上的峰值表现。
· HPL 效率 – 65.87%。Rmax 与 Rpeak 的比率，或硬件利用率的衡量标准。
· N：7,864,320。这是为了执行 Top500 基准测试而转换的矩阵大小。N2 约为 61.84 万亿。
· P x Q：64 x 128。这是计算的参数，表示处理网格。
本次计算在 2021 年 6 月的”全球TOP500超级计算”榜单中，以9.95 PFLOPS成果，位列第 41 位。运算持续了24 分钟后，于当日下午 12:20，集群关闭，所有实例都顺利停止。本次计算体现出了云计算按需超级计算的优势，成本管控被细化到以小时为单位，大幅降低计算资源部署费用、时间成本！正如创始人Mike所说，“云原生HPC的潜力是显而易见的，因为以这种速度运行定制硬件的成本可能接近 2000 到 3000 万美元。更不用说 6 到 12 个月的采购、部署、测试、上线周期了。”
笛卡尔实验室利用云原生架构，实现存储、处理和快速分析海量的地理空间数据，其大规模扩展对象存储服务 Amazon S3 的智能分层功能，自动将数据存储至最具成本效益的存储层，优化了其 20PB 数据库的存储成本。笛卡尔实验室还通过全托管的搜索和分析服务 Amazon OpenSearch Service，帮助其客户从庞大的图像档案中搜索并定位与业务相关的精准像素。
金风慧能功率预测业务Weather Research and Forecasting（WRF）Model运算场景，需要在每天固定时间进行大规模数据计算。
利用Amazon Graviton2的HPC架构：WRF性能提升10%，运行时间缩短1/3
金风慧能自主研发了新能源功率预测产品，通过自适应机器学习算法与人工修正模式相结合的方式，即时迭代预测模型，为复杂地形场景提供了单机功率预测。然而，天气预测又是实现精准功率预测的关键前提。金风慧能所使用的气象研究与预测模型——WRF Model，被誉为是“次世代的中尺度天气预报模式”。
WRF系统辐射数千万个3公里网格数据，计算规模超乎想象
WRF系统可以模拟整个地球的大气状态。尽管金风慧能利用该系统来模拟电场3公里范围内的气象数据，但其中也涉及了巨量的数据计算。首先，要考虑大气包括温度、湿度、压强、太阳能辐射转化等因素的物理过程；其次，还要考虑建筑、地形、山脉等地面上的影响；在海洋上，还要加入海洋与空气的热能转换等一系列复杂的因素。金风慧能在全国有数千万个这样的3公里网格点数据，计算规模之大可以想象，因此更需要高性能计算（HPC）集群作为基础支撑。
基于Amazon Graviton2的HPC架构完美适配ARM架构的WRF系统
金风慧能新一代WRF系统基于ARM架构所开发，这要求云端架构也必须与之匹配。亚马逊云科技广泛的计算实例组合，不仅可提供基于x86架构的实例，还有基于ARM Neoverse内核定制的Amazon Graviton实例。因此，金风慧能选择在Amazon Graviton2实例上编译WRF系统及相关WRF组件，并利用Amazon ParallelCluster在一周之内顺利搭建起HPC集群。之后，金风慧能又成功部署了Python自动化脚本，使得云端弹性资源得到充分利用，让气象研究和预测既高效、又经济。
WRF系统性能提升10%，运行时间由3小时缩短到2小时
亚马逊云科技的HPC集群，帮助金风慧能的WRF系统性能提升了10%，不仅满足了在凌晨2点到5点之间完成数据计算的需求，还将运行时间由原来的3小时缩短至2小时，从而释放出更多的计算资源，使金风慧能可以进行更大规模气象运算方案的测试，迭代出更优的预测模型以应用于生产环境。
金风慧能气象预报平台负责人苏海晶表示，“我们经过多家单位的计算资源测试，完成了对x86和ARM两种不同架构下数值模式的运算实验，最终选定亚马逊云科技的Amazon Graviton2机型，为我们每年节省了70%的成本，并且金风慧能气象数值模拟业务目前稳定运行。”
在金风慧能的高性能业务计算场景下，同一时间需要众多业务并行运行，给现有存储系统的读取带来极大压力，不利于内部共享，还会影响整个生产业务的健康运行。为此，金风慧能选择使用 Amazon FSx for Lustre 系统替换现有的共享系统，不仅配置简单，而且还可以高性能共享存储访问同一组数据，大幅提升了企业人员的工作效率。
成本考量影响卫星数据的商业应用
成本问题是遥感数据应用还没有完全发展起来的一个重要因素。“如果价格太高，超过了客户的预算，或者超过了现有手段的成本，那么遥感就没有优势了。”行业专家如是说。
亚马逊云科技如何迭代云计算技术，支持企业降低数据成本？
亚马逊云科技持续更新、免费、公开的近百种卫星数据集，示例如下：
（1） 卫星遥感数据：
• Landsats - 1, 2, 3, 4, 5, 7, 8 陆地卫星数据；
• MODIS（MYD13A1, MOD13A1, MYD11A1, MOD11A1, MCD43A4）卫星数据；
• Sentinel - 1,2,3 哨兵卫星数据；
• CBERS 中巴地球资源卫星数据；
• NOAA GOES - 16,17,18 环境卫星数据；
• JMA Himawari-8 日本气象厅葵花8号卫星数据；
（2） 地理空间：
• Natural Earth 北美制图信息协会管理的全球多比例尺地图数据；
• NASA POWER 全球能源资源分布预测数据；
• SpaceNet 地球观测计算机视觉分析样本数据集；
• Digital Earth Africa 卫星大数据公司，各类卫星分析产品数据；
• Terrain Tiles 全球高程数据；
• Earth Big Data 全球多季节哨兵 1 号干涉相干性与反向散射数据集
（3） 气候和气象：
• NOAA（美国大气海洋局）全系列气象资料；
• CMIP6 全球大气海洋气候预测集合模式资料；
• ERA5 欧洲中期天气预报中心再分析资料；
• OpenAQ 全球空气质量；
• 芬兰气象研究局全球大气海洋、空气质量预报模式资料
亚马逊云科技低成本卫星数据跨境获取方案DTH
利用全球加速网络，超低成本跨境数据传输：媲美专线传输速度，大幅降低约90%数据跨境传输成本，加速卫星数据获取。实测效果：NOAA 400GB数据，30分钟传回中国，成本不到10元人民币（本测试仅计算了数据传输费用）。
亚马逊云科技HPC计算资源
亚马逊云科技最新发布了基于 AMD Milan 处理器的Hpc6a 实例，Graviton3E 的 Hpc7实例，以及基于 Intel 处理器的 Hpc6id 实例，为高性能计算场景提供更多选择。
Hpc7g 实例——专为大规模运行高性能计算工作负载提供超高性价比
Hpc7g 实例由新的 Amazon Graviton3E芯片提供支持，为客户在 Amazon EC2 上的高性能计算工作负载（如计算流体动力学、天气模拟等）提供了超高的性价比。与采用 Graviton2 处理器的当前一代 C6gn 实例相比，Hpc7g 实例的浮点性能提高了2倍，与当前一代 Hpc6a 实例相比性能提高了20%，让客户能够在多达数万个内核的高性能计算集群中进行复杂的计算。
亚马逊云科技开源集群管理工具Amazon ParallelCluster
什么是Amazon ParallelCluster？Amazon ParallelCluster 是一个 Amazon 支持的开源集群管理工具，它在开源 CfnCluster 项目上构建，根据用户提交的任务自动设置和管理计算资源和共享文件系统。在Amazon ParallelCluster v2.8.0 或更高的版本上，ParallelCluster 启用了 Ubuntu 18.04和Amazon Linux 2上的ARM实例支持，使得我们可以实现更高性价比的高性能计算(HPC)，ParallelCluster还支持自动化集成Amazon FSx for Lustre并行文件系统和DCV远程桌面。以下是ParallelCluster架构图：
WRF可以运行在亚马逊云科技的官方 HPC 框架AWS ParallelCluster 上，并能方便的是使用开源现代作业调度程序 Slurm 进行基本的集群操作。当然 ParallelCluster 也可以支持 sge, torque, aws batch等多种作业调度系统。Cloud HPC 正在快速增长, 然而，快速敏捷地在云中编排 HPC 集群也绝非易事，在搭建集群时可能会面临非常陡峭的学习曲线，同时关于在云端建立HPC 集群的文档很少，而借助ParallelCluster框架可以快速地启动 WRF HPC 集群。
亚马逊云科技其他支持架构组件等：
对于云原生架构、案例、以及行业算法模型的详细解说，12月22日下午，2：00到4：00，朋友们可以报名线上研讨会，线上腾讯会议：958 420 015，了解云原生架构优势：
扫码报名：
热点分享：
NOAA 400GB数据，30分钟传回中国，成本不到10元人民币（仅计算数据传输费用，不考虑数据存储费用）；
FourCastNet模型应用，transformer encoder+decoder结构，deep leanrning模型构建实践分享；
前沿案例Maxar Technologies: 使用 AWS 提供预报的速度比天气超级计算机快 58%；
会议日程：
1. 云上地球，亚马逊云科技公开数据集卫星数据免费使用讲解（示例：Landsats/MODIS/Sentinel/JMA Himawari-8/NASA POWER/NOAA/ERA5等数据）；
2. 全球加速网络，超低成本跨境数据传输DTH方案讲解：媲美专线传输速度，大幅降低约90%数据跨境传输成本，加速卫星数据获取。
3. Deep learning在气象/遥感模型构建上的设计与实践分享；HPC与人工智能、机器学习、深度学习的紧密结合，摆脱架构束缚，加速科研，释放创新动力。
{{item.content}}