此场景用于在不停机或最小化影响的情况下,为单个 Broker 增加或更换存储目录。
核心原理
Kafka 支持在 log.dirs 配置项中指定多个数据目录。从 Kafka 2.4.0 版本开始,通过 KIP-113 引入了动态日志目录迁移功能,允许在线将分区的日志从一个目录迁移到另一个,而无需重启 Broker。
实施步骤
准备新目录
在 Broker 服务器上创建新的数据目录,例如 /data/kafka-logs-2。
确保新目录的权限和所有者与 Kafka 进程匹配(例如 chown -R kafka:kafka /data/kafka-logs-2)。
更新 Broker 配置
编辑 Broker 的 server.properties 文件,在 log.dirs 配置项中添加新目录的路径,与旧目录用逗号分隔。
log.dirs=/data/kafka-logs-1,/data/kafka-logs-2