>首页> IT >

华为自研多瑙调度器获CCF HPC China 2023技术创新奖

时间:2023-08-25 12:20:46       来源:CCTIME飞象网


(相关资料图)

2023年8月23日-25日,全国高性能计算学术年会(CCF HPC China 2023)在青岛举办。 在本届大会上,华为自研企业级超大规模集群分布式管理软件-多瑙调度器凭借其高效调度能力、多样性算力支持和极简管理的先进性和创新性,荣获中国计算机学会高性能计算专业委员会颁发的技术创新奖

高性能计算正在从高精尖科研创新领域走向千行百业。2022年,华为正式发布了鲲鹏高性能计算解决方案(鲲鹏HPC解决方案),该方案基于鲲鹏全栈(含硬件、基础软件、应用优化等),通过硬件开放和软件开源,打造高性能、高算力的整机产品和完整的高性能计算基础软件栈。多瑙套件(含多瑙管理平台和多瑙调度器)是鲲鹏HPC解决方案的核心软件,多瑙调度器支持百万核超大规模调度和异构多集群统一管理,大幅提升集群管理效率和多核作业调度能力。

调度器作为集群计算的大脑,主要负责为任务分配相应的系统资源。好的调度器可以充分发挥集群资源的有效算力,为用户带来极致的性价比;反之则会导致严重的资源浪费,甚至是集群瘫痪。

华为自研企业级超大规模集群分布式管理软件-多瑙调度器,支持融合应用跨多样性算力资源的统一调度和管理,实现大规模、高资源利用效率、高调度性能,为多样性计算集群提供应用和资源的最佳匹配。多瑙调度器基于前沿的架构设计理念进行设计开发,横向支持HPC、AI、大数据多场景统一调度;纵向支持应用、算力、存储、网络、能耗深度感知和多维度智能调度;跨数据中心支持数据中心间资源协同,全局调度,并具备以下三大先进性和创新性:

●高效调度:通过自研多线程事件引擎、IO技术优化,支持单集群1万节点/百万核资源调度,资源利用率90%+,吞吐量超过400万/小时;通过启动作业多级树状分发关键技术创新,支持40万RANK MPI作业调度启动。

多样性支持:通过节点标签、资源模型抽象统一技术,支持鲲鹏/x86/GPU多样性算力混合部署;通过架构分层、接口适配,以不侵入修改三方集群方式支持异构多集群统一管理,实现资源统筹规划和高效利用。

极简管理:集成应用、监控、报表、计费四大中心功能,通过Web界面可视化管理集群,管理效率提升30%;提供设计计算一体化集成能力,数据不出湖,端到端保障数据安全。

多瑙度器一经推出,受到了广大客户的青睐,目前已经在教育科研、制造、气象、生命科学、高能物理、材料化学等各个行业应用,帮助客户打造性能更佳、成本更优、效率更高的高性能计算基础设施“底座”提供重要支撑,为高性能计算用户提供更容易落地的产品和解决方案,加速构建创新发展格局。

关键词: