北京大学联合华为发布全栈开源 DeepSeek 推理方案
2025-03-10 16:32:22 小编:八六软件园
感谢本站网友 Autumn_Dream 的线索投递!
本站 3 月 10 日消息,据华为技术有限公司和北京大学高性能计算校级公共平台消息,2025 年 3 月 9 日,北京大学联合华为发布 DeepSeek 全栈开源推理方案。
据介绍,该方案基于北大自研 SCOW 算力平台系统、鹤思调度系统,并整合 DeepSeek、openEuler、MindSpore 与 vLLM / RAY 等社区开源组件,实现华为昇腾上的 DeepSeek 高效推理,并支持大规模算力集群训推一体化部署。所有开发者均可获取源码并根据需求二次开发,性能接近闭源方案。
全栈开源方案其他闭源方案模型DeepSeek-R1-w8a8硬件配置2*Atlas 800I A2输入长度4096输出长度1024系统输出吞吐11981288用户并发128128目前,此方案在未名卓越一号集群部署成功。该集群由北京大学计算中心负责研制与运维管理,为北大鲲鹏昇腾科教创新卓越中心提供算力支持。本站查询获悉,作为国内首个基于高校自研基础软件的国产智算平台,该集群于 2024 年 11 月 18 日上线运行,首期集成 20 台昇腾 AI 服务器与 10 台鲲鹏通用服务器,AI 算力规模为 30.64PFlops(半精度)。
此次发布的 DeepSeek 推理方案依托全栈开源组件构建,在 openEuler 开源操作系统层面进行了深度优化;通过异构调度负载感知 MoE 冷热专家,从而更细粒度调度任务;通过异构融合来高效管理内存,减小系统内存碎片;利用毕昇编译器进一步优化,减少算子下发耗时,提升推理整体性能。
- 猜你喜欢
-
零点看书8.74 MB手游下载
-
天天追书最新版25.05 MB手游下载
-
柚子漫画2.55 MB手游下载
-
抖音直播伴侣手机版292.02 MB手游下载
-
天美视频13.40 MB手游下载
-
天美视频最新版13.37 MB手游下载
-
笔趣阁app2024纯净版9.9MB手游下载
-
顶点阅读app最新版9.9MB手游下载
-
BiuBiu动漫下载9.9MB手游下载
- 相关手机游戏
- 推荐手游资讯
- 最新手机精选
-
jmcomic2安装包1.7.82025-02-22手游下载 | 7.18 MB
-
jmcomic2安装包1.7.62025-02-23手游下载 | 9.97 MB
-
e站安装包2025-02-24手游下载 | 7.20 MB
-
e站(ehviewer)最新版2025-02-20手游下载 | 9.13 MB
-
拷贝漫画繁体版2025-02-21手游下载 | 59.56 MB
-
米坛社区表盘自定义工具2025-02-22手游下载 | 9.9MB