存储引擎

引言：存储引擎的设计哲学 RocketMQ 的存储引擎是其高性能的核心。它用极简的设计实现了： 百万级 TPS：单机支持百万级消息吞吐 毫秒级延迟：消息存储延迟 < 1ms TB 级存储：单 Broker 可存储数 TB 消息 零数据丢失：通过刷盘策略保证可靠性 今天我们从第一性原理出发，逐步理解这个存储引擎的巧妙设计。 一、为什么需要这样的存储模型？ 1.1 传统数据库存储的问题 方案1：为每个 Queue 建一张表 -- TopicA 的 Queue0 CREATE TABLE topic_a_queue_0 ( offset BIGINT PRIMARY KEY, message BLOB, store_time TIMESTAMP ); -- TopicA 的 Queue1 CREATE TABLE topic_a_queue_1 (...); ... 问题： 1. 表数量爆炸：1000个Topic × 4个Queue = 4000张表 2. 随机写入：不同表的写入是随机I/O → 性能差 3. 数据分散：难以统一管理和备份 1.2 RocketMQ 的解决方案 核心思想：写入集中化 + 读取索引化 ┌─────────────────────────────────────────────────┐ │ RocketMQ 存储模型 │ ├─────────────────────────────────────────────────┤ │ │ │ 所有消息 → 统一写入 CommitLog（顺序写） │ │ ↓ │ │ 异步构建 ConsumeQueue（索引） │ │ ↓ │ │ Consumer 根据索引快速定位 │ │ │ └─────────────────────────────────────────────────┘ 优势： ...

存储引擎概述 存储引擎（Storage Engine） 是MySQL的核心组件，负责数据的存储和读取。 -- 查看支持的存储引擎 SHOW ENGINES; -- 输出示例 +--------------------+---------+ | Engine | Support | +--------------------+---------+ | InnoDB | DEFAULT | -- 默认引擎 | MyISAM | YES | | MEMORY | YES | | CSV | YES | | ARCHIVE | YES | +--------------------+---------+ InnoDB vs MyISAM对比 特性 InnoDB MyISAM 事务支持 ✅ 支持ACID ❌ 不支持 锁粒度 ✅ 行锁 ❌ 表锁 外键 ✅ 支持 ❌ 不支持 崩溃恢复 ✅ 自动恢复（redo log） ❌ 需要手动修复 MVCC ✅ 支持 ❌ 不支持 全文索引 ✅ 支持（5.6+） ✅ 支持 存储结构 聚簇索引 非聚簇索引 COUNT(*) 慢（需要扫描） 快（存储行数） 空间占用 较大 较小 适用场景 OLTP（事务处理） OLAP（统计分析） InnoDB存储引擎 核心特性 支持事务：ACID保障 行级锁：高并发性能 MVCC：读写不冲突 外键约束：数据完整性 文件结构 # InnoDB文件（MySQL 5.7+） /var/lib/mysql/ ├─ ibdata1 # 系统表空间（共享） ├─ ib_logfile0 # redo log文件 ├─ ib_logfile1 ├─ test/ # 数据库目录 │ ├─ users.ibd # 独立表空间（数据+索引） │ └─ users.frm # 表结构定义（MySQL 8.0已废弃） 聚簇索引 主键索引直接存储数据： ...