最近对自建 MySQL 和 Redis 进行了数据迁移,附踩坑记录

大家好!

最近我对服务器上的 MySQL 和 Redis 做了一次数据迁移,我没有使用像 Supabase 的 Serverless 数据库,主要原因是 Supabase 免费版限制太多了,而且要更多能力需要订阅,最重要的是自建数据库随着产品越来越多边际成本越低。但是自建是有代价的,运维都得自己来。如果对服务器不熟,产品也不多,Serverless 数据库还是更省心的选择。

为什么要迁移?

MySQL 和 Redis 都是用 Docker 部署的,当时是用我自己”祖传”的一键安装脚本部署的,很多东西都没管。脚本现在已经修好了,需要的朋友可以直接用。

Linux平台软件一键安装脚本:https://jonssonyan.com/2024/5

MySQL 的问题:

  1. 配置文件没映射出来,想改个参数只能重建容器
  2. 数据目录映射不规范
  3. 没开 Binlog,误删数据只能恢复到上次备份,中间的数据就丢了
  4. 没开慢查询日志,哪条 SQL 慢完全不知道
  5. 没有定期备份

Redis 的问题:

  1. 密码直接写在启动命令里
  2. 没有配置文件,同样改个参数就得重建容器
  3. 没有备份

要不要新买一台服务器?

我一开始想的是老服务器装得不好,新产品就别往上放了,新买一台从头规范部署。

后来想了想,新服务器解决不了老服务器的问题,老产品照样没有 Binlog、没有备份。而且数据库多几个不是买服务器的理由,多个库共用一个 MySQL 实例,内存和连接都是共享的,真正要看的是内存、CPU、磁盘够不够用。

所以我没买新服务器,先把老服务器整改好。

什么时候迁移?

迁移的时候要停掉旧数据库,这段时间产品是用不了的,所以要挑访问量最低的时候。

我的产品用户主要在海外,我选的是北京时间下午,正好是美国的深夜,这个时候访问的人最少,停一会儿影响不大。

大家可以看一下自己产品的访问数据,找到流量最低的时间段再动手。

迁移的时候最好是写脚本一键执行,这样会更快,降低停机时间。

MySQL

迁移思路

流程:停止旧容器 -> 复制数据目录 -> 挂载新配置启动新容器 -> 验证 -> 切换。

  • 新容器的镜像版本、端口、字符集、网络模式都和旧容器保持一致,这样后端那边不用改
  • 用 cp 复制,不用 mv 移动,复制的话旧目录、旧容器都还在,新容器有问题随时切回去
  • 一定要先停 MySQL 再复制,不然复制出来的数据可能不一致
  • 不用单独挂日志目录,Binlog 和慢查询日志默认就写在数据目录里
  • 验证不能只看容器是 Up,要看日志里出现 ready for connections,再确认每个产品都能正常读写

配置文件

配置文件放在宿主机上,只读挂载到容器的 /etc/mysql/conf.d/ 下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[mysqld]

# Binlog
server-id=1
log-bin=mysql-bin
binlog_format=ROW
expire_logs_days=14
sync_binlog=1

# 慢查询
slow_query_log=ON
long_query_time=1
log_output=FILE

# InnoDB 缓存,按自己服务器的内存调整
innodb_buffer_pool_size=1G

Binlog 保留 14 天,超过 1 秒的 SQL 记为慢查询。innodb_buffer_pool_size 一般设置为可用内存的一半左右。

踩过的坑

  1. 不需要再传 root 密码

    MYSQL_ROOT_PASSWORD 只在数据目录为空、第一次初始化的时候生效,新容器用的是已有数据,传了也没用,登录还是用原来的密码。

  2. 新旧容器不能同时跑

    新旧容器用同一个端口,不能同时启动。确认新容器没问题后,删掉旧容器,把新容器改回原来的名字,旧数据目录先留着,稳定运行一段时间再删。

  3. 慢查询日志不会自动过期

    expire_logs_days 只清理 Binlog,不管慢查询日志。我用 Linux 自带的 logrotate 管理,每小时检查一次,超过 50MB 就轮转压缩,最多保留 7 份。

备份

数据量不大,用 MySQL 自带的 mysqldump 就够了,导出后 gzip 压缩,几个要点:

  1. 备份文件不能只放在本机,磁盘坏了就一起没了。我用 rclone 把备份传到 Cloudflare R2,本地只留最近几天,R2 上配一个生命周期规则自动删旧备份
  2. 加到 crontab,每天跑一次

Redis

密码为什么不能写在启动命令里?

密码写在启动命令里,用 docker inspect 或者 ps 都能直接看到明文,服务器上谁能执行这两个命令,谁就能拿到密码。

配置文件

把密码挪到 redis.conf 里,配置目录挂载到容器的 /usr/local/etc/redis,启动命令改成用配置文件启动:

1
redis-server /usr/local/etc/redis/redis.conf

配置文件里最少要有密码:

1
requirepass "你的密码"

配置文件要注意权限:chmod 600 只让文件所有者能读写,防止别人看到密码;同时要 chown 999:999,因为容器里的 Redis 是用 999 这个用户运行的,不把文件所有者改成它,Redis 自己也读不了,容器直接起不来。

迁移

和 MySQL 一样,停旧容器、复制数据目录、用新配置启动新容器。

  • Redis 的密码只存在配置文件里,不在数据里,新配置文件里写原来的密码
  • 先停容器再复制,docker stop 的时候 Redis 会把内存里的数据存一次盘,复制出来的数据是最新的

备份

Redis 默认开了 RDB 持久化,数据目录里的 dump.rdb 就是一份完整的数据快照,备份就是把这个文件复制一份,和 MySQL 的备份一起传到 R2 就行。

备份的时候不用停 Redis,Redis 生成快照是先写临时文件,写完再整体替换 dump.rdb,所以运行中直接复制,也不会复制到写了一半的文件。

总结

这次整改主要做了这几件事:

  1. MySQL 配置文件独立出来,开启 Binlog 和慢查询,慢查询日志用 logrotate 管理
  2. Redis 密码从启动命令挪到配置文件
  3. MySQL、Redis 每天自动备份到 R2

迁移的时候不删旧数据、不同时做多件事,验证完再切换,出了问题随时能退回去。

以上就是我这次迁移的过程,希望能对大家有点帮助,欢迎留言一起交流。

公众号