Rust 迭代器:从 next 到零成本抽象

从 next 的状态推进出发,理解 Iterator 与 IntoIterator、借用与移动、惰性求值、短路消费,以及迭代器零成本抽象的边界。

2026年11月9日 · 3 分钟 · Hellokitty

Rust Send 与 Sync:从所有权理解线程安全

Rust 中的 Send 和 Sync 不是发送消息或执行同步的方法,而是编译器用来检查跨线程操作是否安全的两个标记 trait: Send:这个类型的值可以安全地转移到另一个线程。 Sync:这个类型的值可以安全地通过共享引用被多个线程访问。 理解它们的起点不是“有没有锁”,而是:跨线程传递的究竟是一个值,还是指向它的共享引用? 1. Send:把值交给另一个线程 所有权决定谁负责一个值。以 String 为例,转移所有权后,原来的变量不能继续使用这个值。把所有权转移放到两个线程之间,就需要检查 Send。 use std::thread; fn main() { let message = String::from("hello"); let worker = thread::spawn(move || { println!("子线程:{message}"); }); worker.join().unwrap(); } move 让闭包按值捕获 message,随后 thread::spawn 把闭包交给子线程。String 满足 Send,所以这种传递是允许的。主线程不能再通过原来的 message 访问它;join() 只是等待线程结束,不会自动把所有权还回来。 这里有两个不同的检查:move 决定闭包怎样捕获变量,Send 决定闭包能否跨线程传递。写了 move,不等于里面的值就自动变得线程安全。 为什么 Rc 不能 Send Rc<T> 允许多个句柄共同拥有同一份数据,并通过引用计数决定何时释放数据。克隆或销毁句柄都会修改这个计数,但它的计数更新不是原子操作。 假设主线程保留一个 Rc,把克隆出的另一个 Rc 移到子线程。虽然转移出去的句柄有了新主人,两个句柄仍然指向同一个引用计数,两个线程可能同时修改它。因此,Rc<T> 不满足 Send。 关键不是“这个变量有没有被 move”,而是移动这个值之后,它关联的共享状态是否仍然安全。移动一个句柄,不等于独占句柄指向的底层资源。 2. Sync:共享引用能否跨线程 借用不转移所有权,而是提供访问一个值的引用。&T 是共享引用,&mut T 是可变、独占的引用。 ...

2026年9月27日 · 2 分钟 · Hellokitty

LMCache RawBlockBackend 源码解析:读写链路与优化边界

沿 Python Core、PyO3 与 Rust worker 追踪 KV Cache 的落盘和回读,分析固定槽位、条件零拷贝、批量 I/O、NVMe passthrough 与 FDP 的收益及限制。

2026年9月9日 · 5 分钟 · Hellokitty

从原理到实战:用 Rust 理解 io_uring 异步 I/O

从 SQ/CQ 共享环、io_uring_enter 和内核执行路径出发,解释 io_uring 为什么能批量提交 I/O,并用 Rust 实现一个可运行的并发随机读程序。

2026年9月7日 · 4 分钟 · Hellokitty

为什么 Rust + Tokio 更适合 Mooncake 这种 I/O 密集型工作

从 Mooncake 的 KV Cache 数据路径出发,解释 Tokio 为什么能用少量线程承载大量并发等待,以及 Rust 如何让这种模型保持低开销、可控和相对安全。

2026年9月5日 · 4 分钟 · Hellokitty

Rust Trait 与 C++ 继承:差异、取舍与选择

Rust trait 和 C++ 继承经常被放在一起比较,因为它们都能表达“多个类型具有相同行为”。但两者并不是严格对应的语言特性:trait 主要描述能力和约束,C++ 继承同时承担类型关系、接口抽象、实现复用与运行时多态。 因此,“哪个更好”不能脱离目标讨论。先给出结论: 表达接口、泛型约束和组合能力时,Rust trait 通常更清晰,也更难误用; 表达稳定的运行时多态时,两者都能胜任,Rust 使用 trait object,C++ 使用虚函数; 需要复用对象状态和基类实现时,C++ 继承更直接,但组合通常更容易维护; 需要与既有 C++ 框架、ABI 或面向对象体系协作时,C++ 继承不可替代; 如果从零设计强调安全性和显式依赖的系统,优先选择 Rust trait 与组合,而不是模仿类继承树。 1. 两者首先在解决什么问题 假设程序需要统一处理不同形状。 C++ 常用抽象基类: class Shape { public: virtual ~Shape() = default; virtual double area() const = 0; }; class Circle final : public Shape { public: explicit Circle(double radius) : radius_(radius) {} double area() const override { return 3.1415926 * radius_ * radius_; } private: double radius_; }; Rust 使用 trait: trait Shape { fn area(&self) -> f64; } struct Circle { radius: f64, } impl Shape for Circle { fn area(&self) -> f64 { std::f64::consts::PI * self.radius * self.radius } } 表面上,两段代码都规定了 area 接口。但它们的类型关系不同: ...

2026年9月1日 · 4 分钟 · Hellokitty

NVIDIA Dynamo 源码阅读(二):分布式运行时如何组织服务与请求

Dynamo 的推理组件能够跨进程、跨节点组合,核心依赖 lib/runtime。这一层不理解模型,也不关心 token 的语义;它提供的是一套分布式组件模型:服务如何命名、实例如何注册、客户端如何发现、请求如何流式传输。 本文基于 Dynamo 提交 27f09d5。 一、运行时的核心抽象 源码从 DistributedRuntime 开始。它持有运行时配置、服务发现实现、网络管理器和关闭信号,并向上提供 Namespace。 对象关系可以简化为: DistributedRuntime └── Namespace("dynamo") ├── Component("frontend") │ └── Endpoint("generate") ├── Component("router") │ └── Endpoint("generate") └── Component("worker") └── Endpoint("generate") × N instances 这四层各有不同职责: Runtime:进程级资源和生命周期; Namespace:隔离一组服务; Component:表示逻辑服务角色; Endpoint:表示可调用接口及其多个实例。 Endpoint 名字相同不代表只有一个服务器。每个 Worker 可注册自己的 instance,客户端通过 discovery 得到动态实例集合。 二、服务发现保存什么 lib/runtime/src/discovery 定义了发现层。一个 Endpoint 注册时,系统不仅记录地址,还附带实例、组件和元数据。客户端查询的关键维度是: (namespace, component, endpoint) -> [instance...] 在裸机模式中,注册与租约可由 etcd 支持;Kubernetes 模式使用 DynamoWorkerMetadata CRD 和 EndpointSlice。运行时把发现后端抽象掉,上层 Router 不需要分别实现 etcd watcher 与 Kubernetes watcher。 ...

2026年8月26日 · 2 分钟 · Hellokitty

Rust 异步编程原理:Future、状态机、Waker 与 Executor

Rust 的 async/await 写起来很像同步代码:调用异步函数、等待结果,然后继续向下执行。但它的底层既不会为每个任务创建一个线程,也不会在 await 时阻塞当前线程。 它真正做的事情是:编译器把异步函数转换成一个可以暂停和恢复的状态机,这个状态机实现 Future;Executor 反复调用 poll 推进状态机,Waker 在资源就绪后通知 Executor 再次调度。 本文从一段普通异步代码出发,逐层解释: async fn 返回的到底是什么; await 为什么能暂停函数; 异步代码和状态机是什么关系; Future::poll、Context 和 Waker 分别负责什么; Executor 与 Reactor 如何配合; 为什么 Rust 异步需要 Pin; Tokio 在这套模型中处于什么位置。 本文定位为 《Rust Tokio Runtime 原理与最佳实践》 的前置教程。建议先理解本文中的 Future::poll、状态机、Waker 和 Executor,再继续阅读 Tokio 的调度器、I/O Driver、任务取消与工程实践。 阅读前准备 读者只需要了解 Rust 的基本语法、所有权、枚举和 trait,不要求提前掌握 Tokio。 文中的普通 Rust 代码可以放入一个空项目中实验: cargo new rust-async-basics cd rust-async-basics 涉及 Tokio 的示例可加入依赖: [dependencies] tokio = { version = "1", features = ["full"] } 学习时建议始终追问三个问题: ...

2026年8月25日 · 7 分钟 · Hellokitty

Rust Tokio 深入解析:运行时原理、并发模型与最佳实践

Rust 语言只定义了 Future、async/await 和 Waker 等异步基础设施,并没有在标准库中提供完整的异步运行时。Tokio 补齐了这一层:它提供任务调度器、网络 I/O 驱动、定时器、异步同步原语、异步文件接口以及阻塞任务隔离机制。 如果把 Rust 异步程序比作一座城市: Future = 等待执行的工作 Executor/Scheduler = 安排工作在哪个线程运行 I/O Driver = 监听 socket 是否就绪 Timer Driver = 管理定时器何时到期 Waker = 通知某个任务可以继续 Tokio = 将上述组件组合成运行时 本文不再重复 Future::poll 和状态机的基础推导,而是聚焦 Tokio 本身:runtime 如何启动,任务如何调度,网络 I/O 为什么不会阻塞线程,以及生产代码中应该怎样处理并发、超时、共享状态、CPU 密集任务和优雅退出。 一、Tokio 提供了什么 一个典型 Tokio 应用依赖: [dependencies] tokio = { version = "1", features = ["full"] } full 适合学习和应用开发,但库作者通常应该只启用实际需要的 feature,缩短编译时间并减少依赖面。 Tokio 的主要组成包括: 组件 作用 Runtime 组合调度器、I/O driver 和 timer driver Task 由 runtime 调度的异步任务 tokio::net TCP、UDP、Unix Socket 等异步网络接口 tokio::time sleep、interval、timeout tokio::sync channel、Mutex、RwLock、Semaphore、Notify tokio::fs 文件系统异步接口 spawn_blocking 将阻塞或 CPU 密集工作移出异步 worker select! 同时等待多个异步分支 需要先建立一个重要认识: ...

2026年8月21日 · 6 分钟 · Hellokitty