云原生的时空数据大规模并行计算技术

极大的数据量,是时空数据的天然特点。无论是气象数据还是卫星遥感数据,都存在PB级的存量和TB级的数据新增,为数据AI工作带来了极大的挑战。精确的气象预测和地面模型数据,背后是大地量子先进的时空数据基础设施的支撑。

imageimageimageimageimageimageimageimageimageimageimage
image
image
image
image
image

OceanStorm

大规模集群智能计算调度平台

  • 基于混合云架构开发的时空数据计算调度与生产平台
  • 弹性调度数千张GPU或数万核CPU进行空间数据计算
  • 小时级完成数百亿数据点生产,是全球AI气象大规模训练和生产的关键支撑
image

Poseidon

GPU训练与推理引擎

  • 分布式训练与大规模数据生产,对深度学习模型全生命周期进行持续集成与部署
  • 深度结合TensorRT等GPU加速技术,进行数据生产加速
  • 不止于深度学习 - 利用GPU进行更底层的矩阵运算应用封装,例如FFT
image
image
image
image
image

Halia

CPU并行计算与模型管理引擎

  • 数字地球算法远不止于深度学习模型。机理模型,数值模型都重度依赖CPU集群
  • 依赖高性能CPU集群,进行常态化超大规模数值计算与气象模式计算
  • 实践云原生技术栈,对机理/数值模型进行集群化的持续集成与部署