常用: 学生 教职工 校友 OA系统 邮件系统 VPN系统 图书馆 智慧门户 EN
首页 世界杯官网 2026世界杯竞猜中国官网 国产GPU组了个开源局,把SGLang等中枢迷惑者王

2026世界杯竞猜中国官网 国产GPU组了个开源局,把SGLang等中枢迷惑者王人摇来了!

发布时间:2026-05-15 来源:世界杯官网 作者:admin 浏览:111

2026世界杯竞猜中国官网 国产GPU组了个开源局,把SGLang等中枢迷惑者王人摇来了!

莫得大厂高管站台,一房子却挤满了开源圈的熟容颜。

粗鲁往台下扫一眼,就能对上好几个GitHub上的明星 ID:

有咫尺大模子推理框架顶流SGLang的中枢迷惑者BBuf(Xiaoyu Zhang);

有主导下一代算子编程生态TileLang的爱戴者唐正举;

有操刀 KVCache 解耦与传输神器Mooncake的中枢孝敬者马腾;

有来自智源东说念主工智能计划院、围绕Triton/FlagOS死磕 AI 编译器的肖航;

还有像R0CKSTAR这样在 GitHub 上很是活跃的硬核迷惑者。

这场看似是开源圈极客们的面基会,却真实是有点反差在身上的——

行为的攒局者,是国产 GPU玩家,摩尔线程。

这事如实有点真理。

因为昔时提到国产 GPU,外界最容易思到的要道词,时常照旧硬件参数、显存容量、算力认识、生态替代、模子能弗成跑起来。

但这场SGLang × MUSA Meetup确切抛出的问题依然变了:

如何让国产 GPU 确切参加大模子推理的主流开源工程链路?

说得更径直少量,就是让 SGLang、Triton/FlagOS、TileLang、Mooncake、KVCache、P/D 分歧、分散式通讯、CI/CD、upstream PR 这些东西,能够围着国产 GPU 全部转起来。

有一说一,在举座听下来之后,有一个极度直不雅的感受。

那就是国产 GPU 的竞争,依然不单是芯片参数之争,转而启动迈向生态坐标之争。

为什么这样说?咱们陆续往下看。

国产 GPU 启动"扩圈"了

先看这场 Meetup 本人。

它的主题很明确:SGLang × MUSA。

SGLang 是当下大模子推理 serving 领域照拂度很高的开源框架,面向 LLM 和多模态模子,中枢场地是低蔓延、高模糊,遮掩从单卡到大边界分散式集群的部署场景。

这类框架之是以伏击,是因为今天的大模子落地,早就不是"模子检修好了,放上去跑"这样浅近。

确切参加分娩环境后,系统要处理的是一整套复杂问题。

举例 prefill 和 decode 如何拆,KVCache 如何复用,长落魄文如何省钱,多轮对话如何降 TTFT,大边界集群如何弯曲,新模子发布后如何 day-0 support,出了性能 gap 如何定位到具体 kernel。

第一个上台的是 SGLang 中枢迷惑者BBuf。

△SGLang 中枢迷惑者 BBuf

这个在 GitHub 上领有 27k 星的开源推理框架,当今依然是全球迷惑者部署大模子的首选。

他带来的 SGLang 2026 Q2 Roadmap,每一条王人踩在行业的痛点上:

针对 DeepSeek V4 的全链路优化,包括 W4A16 量化、MegaMoE 加快和寥落防卫力维持;

jit_kernel 全面替代传统的 sgl-kernel,用 TVM-FFI 把编译速率进步了数倍,再也不必等几个小时的 wheel 包;

Vibe Coding 全面落地,用 AI agent 自动分析 profiler、定位性能瓶颈、提交 PR,5 月前依然完成了跳跃 60 个优化任务;

多模态才气全面升级,维持 LTX2、Wan、混元视频等最新模子,性能比其他框架最高快 5 倍。

最让东说念主印象长远的是他展示的一组数据。

SGLang 通过 P/D 分歧架构,在 12 个 H100 节点上跑出了 52.3k 输入 token/s/node、22.3k 输出 token/s/node 的成绩,比 DeepSeek 官方 API 还低廉 5 倍,这个斥逐依然被全球 10 多个团队复现。

紧接着上台的摩尔线程 Contributor  R0CKSTAR,带来了全场最硬核的工程执行分享。

△摩尔线程工程师 R0CKSTAR

他用一句话回来了昔时半年的使命:

SGLang on MUSA 依然完成了从环境构建到 CI 测试的全链路买通。

这意味着什么?

当今你惟有克隆 SGLang 的官方仓库,安设 sgl-kernel 和 sglang,就能在摩尔线程 MTT S5000 显卡上径直运行简直统共主流大模子。

DeepSeek、通义千问 3.5、GLM-4.5、FLUX、Wan 这些热点模子,王人依然完成了深度优化。

他非常提到了 MUSA 的三层 CUDA 兼容栈。

昔时适配一个推理框架要改几千行代码,当今惟有在起原加一转 import torchada,99% 的 CUDA 代码就能径直运行。这个看似浅近的编削,处置了国产 GPU 生态的一大痛点。

据了解,适度 5 月 12 日,摩尔线程在 SGLang 干线累计提交 47 个 PR,其中 41 个已合入,完成了从环境构建到分散式推理的全链路买通。

智源的肖航则带来了 DeepSeek V4 在 MUSA 上的 Day0 适配后果。

△智源 AI 编译器计划员

通过 FlagOS 的 Triton 算子优化和摩尔线程的 SQMMA 张量加快引擎,赛马投注中国app官方版下载他们把 DeepSeek V4 的首 token 蔓延镌汰了 56.7%,模糊量进步了 23%。

对此,肖航暗意:

咱们莫得作念什么黑魔法,就是把两个最要道的算子优化到了极致。

FP8 矩阵乘算子平均加快 8.85 倍,寥落防卫力算子平均加快 6.01 倍,这两个占了推理时辰 80% 的算子一优化,端到端性能当然就上去了。

TileLang 爱戴者唐正举的分享,则让统共东说念主看到了下一代算子编程的畴昔。

△TileLang 爱戴者唐正举

这个 2025 年 2 月才开源的技俩,短短一年多就得益了 6k 星和 133 位孝敬者,连 DeepSeek V4 的中枢 kernel 王人是用 TileLang 写的,正如唐正举所说:

用 TileLang 写 FlashAttention,惟有 50 行 Python 代码,性能和巨匠手写的 CUDA 一模一样。

况且从他在现场展示的对比图来看,一样的 GEMM 算子,TileLang 用 15 行代码达到了 CUTLASS 的性能,代码量减少了 90%。

终末上台的阿里云马腾,带来了 Mooncake 技俩的最新发达。

△Mooncake Contributor 马腾

这个专注于 KVCache 解耦的技俩,当今依然是 SGLang、vLLM 等主流推理框架的标配。

他展示的一组较为吸睛的数据:

通过 RDMA P2P 权重更新,Kimi K2 1T 模子的权重同步时辰从 53 秒降到了 7.2 秒,加快了 7.37 倍;EPD 三级解耦架构让多模态模子的首 token 蔓延镌汰了 6-8 倍;HiCache + Mooncake 后端让多轮对话的缓存射中率跳跃 90%。

至此,这场 Meetup 的拼图基本无缺——

SGLang 是推理框架主链路,MUSA 是国产 GPU 底层平台,FlagOS/Triton 处置要道算子优化,TileLang 镌汰高性能 kernel 编程门槛,Mooncake 补上 KVCache 和分娩部署。

这,2026世界杯竞猜中国官网即是一条较为无缺的工程链路。

为什么摩尔线程能把他们摇来?

这个问题的谜底弗成只归结为办了一场行为。

开源圈很实践,群众闲逸来,中枢原因不是谁会讲故事,是这件事简直和他们正在作念的工程问题关连。

最初看 MUSA 本人的想象初心。

摩尔线程 CTO张钰勃在开场中解释,MUSA 是 Meta-computing Unified System Architecture。

△摩尔线程 CTO 张钰勃

Meta-computing 指向通用策画,摩尔线程但愿 GPU 尽量拥抱通用策画,而不是给畴昔可策画的领域设限;Unified 则意味着摩尔线程家具但愿校服并吞套颐养轨范,幸免不同家具线使用不同提示集和架构,导致软件生态无法鸠合。

更要道的一句话是,MUSA 不但愿迷惑者为了使用 MUSA 而从新学习一套东西。

这句话看似朴素,其实直指国产 GPU 生态的痛点。

迷惑者最怕什么?

不是新硬件本人,是为了新硬件,学习一整套新 API,重写一堆代码,改完还进不了上游,社区一更新又要从新补丁。

淌若一个国产 GPU 生态条目迷惑者从新学一遍,那它面临的即是巨大的迁徙阻力。

是以 MUSA 的门路,是尽量逼近迷惑者依然熟识的 GPU 编程神气、API 接口和使用俗例。底层结束不错不同,但表层体验尽可能一致。

三层 CUDA 兼容栈的道理就在这里。

torch_musa 端庄把 PyTorch 和 MUSA 的基础才气接起来;torchada 端庄让 CUDA-first 生态陆续使命;mthreads-ml-py 端庄把确立照料、拓扑、显存、MTLink、P2P 等信息表示给表层框架。

用一句更粗造的话说,摩尔线程在尽量把原本的路修到我方门口。

这径直影响到开源社区互助的可行性。

因为上游技俩最垂青的是低侵入、可儿戴、可复用。淌若一个适配决策需要大面积编削干线代码,后续每次 rebase 王人不幸,上游很难领受。

反过来,淌若适配不错通过更透明的神气完成,PR 就更容易被 review,也更容易持续奴才社区迭代。

这就是从"我我方爱戴一个分支"到"我参加干线"的区别。

再看生态伙同。

SGLang × MUSA,是推理主链路买通。

摩尔线程从客岁启动把 SGLang 当作要点接入和孝敬的开源技俩,经由泰半年发愤,MUSA 后端近期依然合入 SGLang 干线。后续不单是奴才 feature,也但愿在框架层面孝敬更多才气。

这件事的道理在于,国产 GPU 不再只是某个框架的外部适配对象,依然启动成为干线生态的一部分。

FlagOS × MUSA,是要道算子和新模子适配。

大模子推理的性能竞争,越来越多发生在 kernel、编译器、弯曲、低精度和通讯层。DeepSeek V4 day-0 适配这样的使命,本体上进修的是从模子发布到工程落地之间的反映速率。能弗成第一时辰跑通,能弗成快速调优,能弗成在真实 shape 上找到更好的设立,决定了生态跟不跟得上。

Mooncake × MUSA,是推相识耦和分娩部署。

KVCache 的价值在 Agent、多轮对话、长落魄文期间被进一步放大。Mooncake 与 MUSA 的伙同,不单是让某个缓存后端能跑在国产 GPU 上,更是在探索跨实例 KVCache 分享、弹性扩缩容、缓存复用、原地升级这类分娩级问题。

TileLang × MUSA,则是下一代算子生态的提前布局。

淌若畴昔更多模子和硬件王人需要定制 kernel,算子编程弗成永远停留在少数巨匠手里。TileLang 这类 DSL 的价值,是把高性能 kernel 编程形成更多迷惑者能上手的工程器用。

这四条线合在全部,才是摩尔线程能组局的底气。

它把我方放进了大模子推理的真实工程蚁集里,包括框架、算子、缓存、通讯、部署、CI/CD、upstream 等等。

乐动中国手机app官网

而这,亦然国产 GPU 生态确切要补的课。

国产 GPU 的生态位,正在走向互助

淌若把这场 Meetup 从更深广的算力发展角度来看,它的价值粗略远超时期分享本人。

昔时几年,国产 GPU 的生态逆境是相比显然的。

好多厂商俗例了闭门觅句,我方从新写一套深度学习框架,我方攒一套算子库,斥逐因为不适应主流迷惑者的俗例,鲜有东说念主问津。

又或者,有的厂商只是拉一个特有 Fork 作念适配,从来不向开源上游提嘱咐码,导致主流框架一更新,我方的适配版块就成了无东说念主爱戴的孤品。

而当今,摩尔线程给出了一个全王人不同的谜底:

全面融入全球开源生态,去和天下上最贤人的一批东说念主全部作念事。

在这场行为中,咱们时常听到几个词:Day-0 Support、Upstream PR、CI/CD。

这阐扬国产 GPU 的生态位正在发生质变。摩尔线程不再只豪迈于作念一个被迫的适配者,它要的是主动出击,成为中枢代码的"孝敬者",以致是畴昔架构的"共建者"。

他们不单是是丢一个单点的 Patch 昔时,而是把一整套包含环境构建、PR 提交、CI 自动化测试、Release 发布、文档爱戴在内的工程闭环,深深地镶嵌到了 SGLang 等顶级技俩的血脉中。

这种可持续的 Upstream 形状,才是确切掌持生态言语权的神气。

这场开源局还解释了一件事,国产 GPU 依然走上了大模子推理开源生态的寰球牌桌。

在这个牌桌上,依然坐着风头正劲的 SGLang,坐着死磕底层编译的 Triton/FlagOS,坐堤防塑算子生态的 TileLang,坐着主导解耦架构的 Mooncake。

而当今,国产 GPU,也不错拉开椅子,安宁地坐下来,和这群明星玩家们全部打好大模子期间最要道的这把牌。

一键三连「点赞」「转发」「小心心」

迎接在驳斥区留住你的思法!

—  完  —

� � 点亮星标 � �

科技前沿发达逐日见2026世界杯竞猜中国官网