https://www.modelscope.cn/learnModelScope——汇聚各领域先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。在这里，共建模型开源社区，发现、学习、定制和分享心仪的模型。 - Powered by AtomRSSAtomRSScontact@atomgroup.dev (AtomRSS)enhttps://g.alicdn.com/sail-web/maas/0.8.10/favicon/128.icohttps://www.modelscope.cn/learnTue, 20 Oct 2026 09:07:01 GMT5沿一条命中前缀缓存的请求阅读 mini-sglang 源码，追踪 Radix Tree、page table 与 KV Cache Pool 的协作，理解前缀匹配、物理页分配、KV 写入及请求结束后的回收。https://www.modelscope.cn/learn/437494https://www.modelscope.cn/learn/437494Tue, 20 Oct 2026 08:40:58 GMTCcyestnlpboot-camp-courses不同请求怎样共享已经算好的 KV Cache？本章讲解前缀缓存、压缩 Radix Tree、最长前缀匹配和节点分裂，串起缓存锁定、分配、插入、解锁与淘汰的生命周期。https://www.modelscope.cn/learn/437493https://www.modelscope.cn/learn/437493Tue, 20 Oct 2026 08:40:27 GMTCcyestnlpboot-camp-coursesKV Cache 如何摆脱连续显存分配的限制？本章分析内部碎片、外部碎片和动态扩容问题，建立物理块、槽位、块表的分页抽象，并解释 PagedAttention 如何读取分散的 K/V。https://www.modelscope.cn/learn/437492https://www.modelscope.cn/learn/437492Tue, 20 Oct 2026 08:39:56 GMTCcyestnlpboot-camp-courses对照 mini-sglang 的 api_server.py，追踪请求模型、HTTP 路由、内部消息、结果缓冲与事件通知，理解非流式拼接、SSE 流式返回和取消请求的实现。https://www.modelscope.cn/learn/437491https://www.modelscope.cn/learn/437491Tue, 20 Oct 2026 08:39:11 GMTCcyestnlpboot-camp-courses怎样让本地生成程序服务多个用户？本章从 HTTP、客户端与服务端讲起，沿请求和响应理解服务化，说明并发隔离、流式输出、取消请求与资源清理分别解决什么问题。https://www.modelscope.cn/learn/437490https://www.modelscope.cn/learn/437490Tue, 20 Oct 2026 08:37:44 GMTCcyestnlpboot-camp-courses这一轮新算出的 K/V 放在哪里，下一轮又怎样找回来？本章对照 mini-sglang 的 KV 池、写入索引、页表与缓存策略，追踪张量存储、地址映射和跨请求复用的实现。https://www.modelscope.cn/learn/437489https://www.modelscope.cn/learn/437489Tue, 20 Oct 2026 08:36:01 GMTCcyestnlpboot-camp-courses没有 KV Cache 时，历史 token 为什么会被反复计算？本章区分 K/V 投影和注意力计算的复杂度，推导缓存的收益，并解释 Prefill、Decode、位置编码与缓存读写的关系。https://www.modelscope.cn/learn/437488https://www.modelscope.cn/learn/437488Tue, 20 Oct 2026 08:35:23 GMTCcyestnlpboot-camp-courses模型的一次前向计算怎样变成逐 token 生成？本章拆解 Tokenizer、Embedding、QKV 投影、多头注意力、Transformer Block 与 LM Head，串起采样和自回归生成循环。https://www.modelscope.cn/learn/437487https://www.modelscope.cn/learn/437487Tue, 20 Oct 2026 08:34:42 GMTCcyestnlpboot-camp-courses对照 mini-sglang 源码跟随一条请求，串起 API Server、Tokenizer、Scheduler、Model Runner 与 Detokenizer，理解内部消息、批次执行和流式返回如何配合。https://www.modelscope.cn/learn/437486https://www.modelscope.cn/learn/437486Tue, 20 Oct 2026 08:34:02 GMTCcyestnlpboot-camp-courses一条请求进入 SGLang 后，会经过哪些进程和模块？本章沿请求进入、分词、调度、模型执行、采样和返回的路径，讲清推理服务的完整生命周期。https://www.modelscope.cn/learn/437485https://www.modelscope.cn/learn/437485Tue, 20 Oct 2026 08:33:20 GMTCcyestnlpboot-camp-courses一次推理优化究竟有没有效果？本章讲清 TTFT、TPOT、ITL、吞吐和 Goodput，解释百分位与尾延迟，介绍怎样选择数据集、设计可复现的基准测试，并读懂 SGLang benchmark 的结果。https://www.modelscope.cn/learn/437484https://www.modelscope.cn/learn/437484Tue, 20 Oct 2026 08:32:49 GMTCcyestnlpboot-camp-coursesKV Cache 为什么只保存 Key 和 Value？本章从 Attention 推导缓存机制，跟随一次请求理解缓存的创建、读取和追加，并结合模型配置定量计算显存占用与并发限制。https://www.modelscope.cn/learn/437483https://www.modelscope.cn/learn/437483Tue, 20 Oct 2026 08:31:44 GMTCcyestnlpboot-camp-coursesGPU 为什么适合大模型推理？本章从 CPU 与 GPU 的设计差异出发，拆解 SM、Warp、CUDA Core、Tensor Core 和多级内存，再沿 Prefill 与 Decode 的执行流程理解计算和访存瓶颈。https://www.modelscope.cn/learn/437482https://www.modelscope.cn/learn/437482Tue, 20 Oct 2026 08:31:05 GMTCcyestnlpboot-camp-coursesLLM 怎样从预测下一个 token 走到对话和代码生成？本章梳理大语言模型的发展与能力边界，拆解 Transformer 的位置编码、多头注意力、残差连接和前馈网络，建立理解推理引擎所需的基础。https://www.modelscope.cn/learn/437481https://www.modelscope.cn/learn/437481Tue, 20 Oct 2026 08:29:37 GMTCcyestnlpboot-camp-courses从能生成文本的模型调用，到能承接用户请求的推理引擎，中间还缺哪些模块？本章梳理 mini-sglang 的请求、批次、调度器、模型执行器、缓存和服务接口，建立后续逐章实现的路线图。https://www.modelscope.cn/learn/437480https://www.modelscope.cn/learn/437480Tue, 20 Oct 2026 08:26:44 GMTCcyestnlpboot-camp-courses从 mini-sglang 的实际源码理解前向计算与生成：沿 Embedding、Attention、模型层和 LM Head 追踪张量流，再看采样结果怎样驱动下一轮生成。https://www.modelscope.cn/learn/437479https://www.modelscope.cn/learn/437479Tue, 20 Oct 2026 08:04:34 GMTCcyestnlpboot-camp-coursesGemini 4 Argon 能把复杂任务完成到什么程度？面对内容、视觉与交互等多项要求，能否同时落实关键功能与具体约束？不同任务的生成耗时与 Token 消耗又有何差异？围绕这些问题，我们设置了 8 个 Case，覆盖网站与看板开发、学术汇报、动画与小说创作，以及交互推理和 3D 演示、游戏。https://www.modelscope.cn/learn/437478https://www.modelscope.cn/learn/437478Tue, 20 Oct 2026 07:51:23 GMTAmumuBieKuLenlpmulti-modalmodel-best-practices同步开放训练语料、模型权重与推理镜像。https://www.modelscope.cn/learn/437477https://www.modelscope.cn/learn/437477Tue, 20 Oct 2026 05:53:18 GMTniaaayanlptechnical-interpretation