Mooncake Store 源码阅读(一):从对象存储接口到控制面与数据面

Mooncake Transfer Engine 解决的是“怎样快速搬数据”,Mooncake Store 解决的则是更上层的问题:一个对象叫什么、放在哪些节点、有哪些副本、何时可读、空间不足时淘汰谁,以及 Master 重启后怎样恢复这些事实。 本文使用 Mooncake 仓库提交 777cc77 作为源码基线。这个版本的 Store 已经远超早期原型,包含多租户配额、内存与本地盘分层、动态副本、批量淘汰、快照和热备等能力。 一、先看整体分层 Mooncake Store 可以拆成四层。 第一层是上层调用者。vLLM、SGLang 或其他推理系统通过 Python、C++、Rust、Go 等接口访问对象。 第二层是 Client。RealClient 负责本地缓冲区、Master RPC、数据传输、重试和资源清理。 第三层是 Master。MasterService 保存对象元数据,管理 Segment、分配副本、维护租户配额,并驱动淘汰和复制。 第四层是数据资源。DRAM、VRAM、本地 SSD 或其他后端提供真正保存字节的空间,Transfer Engine 执行跨节点传输。 数据不会先发送到 Master,再由 Master 转发。Master 只告诉 Client 应该访问哪些副本,真正的大块数据直接在 Client 与目标内存之间移动。 二、源码目录怎样阅读 建议先抓住以下文件。 mooncake-store/include/real_client.h:Client 的主要状态和接口。 mooncake-store/src/real_client.cpp:Put、Get、Remove 与初始化流程。 mooncake-store/include/master_service.h:Master 的核心数据结构。 mooncake-store/src/master_service.cpp:元数据状态机和控制逻辑。 mooncake-store/include/replica.h:副本描述与状态。 mooncake-store/include/segment.h:可分配存储资源。 mooncake-store/src/allocation_strategy.cpp:副本放置策略。 mooncake-store/src/allocator.cpp:具体空间分配。 mooncake-store/src/transfer_task.cpp:Store 到 Transfer Engine 的任务封装。 不要一开始就顺序阅读体量巨大的 master_service.cpp。更有效的方法是从 RPC 接口出发,沿 PutStart、PutEnd、GetReplicaList 和 Remove 四条链路向下追踪。 ...

2026年8月24日 · 2 分钟 · Hellokitty