分布式文件系统中的 rename 为什么会冲突:从文件到目录

在本地文件系统里,rename(old, new) 看起来只是“换个名字”;到了 GPFS(IBM Storage Scale)这类分布式文件系统中,它却是一笔需要跨节点协调的元数据事务。 核心原因是:rename 改变的不是文件内容,而是命名空间中的可达关系。 一次操作可能同时读写源目录、目标目录、被移动对象以及被覆盖对象。多个客户端若触及同一批元数据,就必须串行化,否则可能出现重名、对象丢失、目录环、错误覆盖,甚至节点间看到不同命名空间。 本文不讨论某个版本的内部锁名,而从通用实现原理出发,分别分析普通文件和目录的 rename 为什么冲突。 一、先把 rename 看成一笔事务 假设执行: rename("/A/x", "/B/y") 抽象到目录项,操作近似为: 1. 在目录 A 中查找 x,得到对象 inode X 2. 在目录 B 中查找 y 3. 若 y 已存在,校验并处理被覆盖对象 Y 4. 从 A 删除目录项 x -> X 5. 在 B 创建目录项 y -> X 6. 更新相关 inode 的时间、链接数或父目录信息 7. 提交日志,使整个变化原子可恢复 POSIX 语义要求其他进程不能看到“源名字已消失、目标名字尚未出现”的中间状态。系统崩溃后,也不能只完成其中一半。因此,分布式文件系统需要把这些修改组织成一个原子事务,并协调所有可能缓存相关元数据的节点。 可以把参与者概括为: 源父目录 Psrc ─┐ 源对象 X ├── rename 元数据事务 目标父目录 Pdst ┤ 目标对象 Y? ─┘ 冲突并不等于两个请求使用了相同路径字符串。只要它们需要修改同一个目录、同一个 inode,或需要做相互影响的命名空间判断,就可能冲突。 ...

2026年9月3日 · 3 分钟 · Hellokitty

数据库 MVCC 原理与实现:版本链、事务快照和可见性判断

MVCC(Multi-Version Concurrency Control,多版本并发控制)是现代数据库实现高并发事务的重要机制。它的核心思想并不复杂:数据被修改时,不立即丢弃旧值,而是保留多个版本;事务读取数据时,根据自己的快照选择可见版本。 因此,读事务可以继续访问旧版本,写事务则创建新版本。普通读取通常不需要等待并发写入完成,写入也不必等待读事务释放共享锁。 本文从 MVCC 要解决的问题出发,依次说明版本存储、事务快照、可见性判断、写冲突控制和旧版本回收,并比较 InnoDB 与 PostgreSQL 的典型实现。 一、为什么需要 MVCC 假设数据库中存在一条记录: 账户 A 的余额 = 100 事务 T1 正在读取这条记录,与此同时,事务 T2 希望把余额修改为 80。 如果所有读取都依赖共享锁,那么 T2 可能必须等待 T1 结束;如果 T2 已经持有排他锁,T1 又可能必须等待 T2。锁能够保证正确性,但大量读写互相等待会降低系统并发能力,并增加死锁概率。 MVCC 使用另一种思路处理普通读取: 新版本:balance = 80,由 T2 创建 ↓ 旧版本:balance = 100 如果 T1 的事务快照不允许它看到 T2 的修改,T1 就读取旧版本 100;在 T2 提交后启动的新事务,则可以读取新版本 80。 于是,同一时刻可以出现: 旧事务看到 100 新事务看到 80 这不是数据不一致,而是两个事务观察到了数据库在不同逻辑时刻的一致状态。 二、MVCC 的五个组成部分 一个完整的 MVCC 实现通常包含五个部分: MVCC = 多版本存储 + 事务快照 + 可见性判断 + 写冲突控制 + 旧版本回收 只保存历史版本还不够。数据库还必须知道版本由谁创建、事务能够看到哪些版本、两个写事务冲突时如何处理,以及历史版本何时可以安全删除。 ...

2026年8月14日 · 3 分钟 · Hellokitty