<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>大模型推理 on Hellokitty&#39;s Blog</title>
    <link>https://yangyang233333.github.io/tags/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86/</link>
    <description>Recent content in 大模型推理 on Hellokitty&#39;s Blog</description>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Sun, 06 Sep 2026 18:50:00 +0800</lastBuildDate>
    <atom:link href="https://yangyang233333.github.io/tags/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E6%8E%A8%E7%90%86/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>vLLM 与 LMCache MP 模式如何对接：从调度器到缓存服务的数据链路</title>
      <link>https://yangyang233333.github.io/posts/vllm-lmcache-mp-integration/</link>
      <pubDate>Sun, 06 Sep 2026 18:50:00 +0800</pubDate>
      <guid>https://yangyang233333.github.io/posts/vllm-lmcache-mp-integration/</guid>
      <description>从 LMCacheMPConnector 源码出发，分析 vLLM 调度器、GPU Worker、LMCache MP Server、L1/L2 存储之间的控制面和数据面，并分别梳理 STORE、LOOKUP、RETRIEVE 的完整时序。</description>
    </item>
    <item>
      <title>LMCache LazyMemoryAllocator 源码分析：延迟锁页、分配释放与内存碎片</title>
      <link>https://yangyang233333.github.io/posts/lmcache-lazy-memory-allocator/</link>
      <pubDate>Sun, 06 Sep 2026 18:11:00 +0800</pubDate>
      <guid>https://yangyang233333.github.io/posts/lmcache-lazy-memory-allocator/</guid>
      <description>从源码拆解 LMCache LazyMemoryAllocator 如何预留连续 CPU 缓冲区、后台分批注册 pinned memory、通过地址管理器完成 alloc/free，并分析其内部碎片、外部碎片与暂时性容量不足问题。</description>
    </item>
    <item>
      <title>PagedAttention 与 RadixCache 原理：从分页 KV 管理到跨请求前缀复用</title>
      <link>https://yangyang233333.github.io/posts/pagedattention-radixcache-principles/</link>
      <pubDate>Fri, 04 Sep 2026 21:00:00 +0800</pubDate>
      <guid>https://yangyang233333.github.io/posts/pagedattention-radixcache-principles/</guid>
      <description>用操作系统虚拟内存和压缩前缀树两个类比，解释 PagedAttention 如何管理 KV 物理块、RadixCache 如何发现并复用公共前缀，并给出可运行的纯 Python 简化实现。</description>
    </item>
    <item>
      <title>LMCache MP 模式详解：CUDA IPC、共享内存与 Pickle 如何传输 KV Cache</title>
      <link>https://yangyang233333.github.io/posts/lmcache-mp-transfer-paths/</link>
      <pubDate>Fri, 04 Sep 2026 20:30:00 +0800</pubDate>
      <guid>https://yangyang233333.github.io/posts/lmcache-mp-transfer-paths/</guid>
      <description>从 PagedAttention 的 Gather/Scatter 出发，解释 LMCache 多进程模式中 CUDA IPC、SHM 和 Pickle 三条 KV Cache 传输路径的工作原理、复制成本与适用场景。</description>
    </item>
  </channel>
</rss>
