通过dumpling导出大表数据,数据格式为csv。现需使用tidb-lightning将此数据导入工具TIDB集群中。

配置文件:
TiDB Lightning 配置文件分为全局和任务两类,结构兼容。只有当服务器模式打开时,整体配置和任务配置才会有所不同;
默认情况下,服务器模式为禁用状态 TiDB Lightning 使用相同的配置文件只执行一个任务,全局和任务配置。
实际恢复过程中使用的配置文件如下:
# touch tidb-lightning.toml
[lightning]
# 默认为转换数据的并发数 CPU 不需要配置数量。
# 在混合部署的情况下逻辑 CPU 的 75% 大小。
# region-concurrency =
# 日志
level = "info"
file = "/data/lighting-log/tidb-lightning.log"
[tikv-importer]
# backend 设置为 local 模式
backend = "local"
# 设置当地临时存储路径
# 当后端是 “local” 当地进行 KV 排序路径。如果磁盘性能低(如使用机械盘),建议设置为和 `data-source-dir` 不同的磁盘可以有效提高导入性能。
# 当后端是 “local” 时,TiKV 写入 KV 数据并发度 TiDB Lightning 和 TiKV 当直接网络传输速度超过万兆时,可适当增加此值。
sorted-kv-dir = "/lightning-data/"
[mydumper]
# 源数据目录。
data-source-dir = "/data/mps_bak/"
# no-schema=true 默认情况下,下游已经创建了所需的数据库和表,如果没有,就会报错。
no-schema = true
[tidb]
# 目标集群信息。tidb-server 填写监听地址。
host = "10.9.252.125"
port = 4000
user = "root"
password = "retail409"
# 从表架构信息 TiDB 获取状态端口。
status-port = 10080
# pd-server 填写一个地址
pd-addr = "10.9.252.125:2379"
[checkpoint]
enable =true
# 断点续传是否启用?
# # 导入数据时,TiDB Lightning 记录当前表导入的进度。
# # 所以即使 TiDB Lightning 或其它组件异常退出,重启时可避免重复导入已完成的数据。
# # 存储断点的数据库名称。
# # schema = "tidb_lightning_checkpoint"
# # 存储断点的方式。
# #- file:存储在本地文件系统中。
# #- mysql:存放在兼容 MySQL 数据库服务器。
driver = "file"
dsn = "/tidb_lightning_checkpoint.pb"
# # 设置为 false 删除断点的时间。
keep-after-success = false
# 配置 CSV 分析文件的方法。
[mydumper.csv]
# # 支持一个或多个字符的字段分隔符默认值 ','。
separator = ','
# # 引用定界符,设置为空表示字符串未加引号。
delimiter = '"'
# # 行尾定界字符,支持一个或多个字符。空(默认值)表示 "\n"(换行)和 "\r\n" (回车 换行),均表示行尾。
terminator = ""
# # CSV 文件是否包含表头。
# # 如果 header = true,将跳过首行。
header = false
# # CSV 是否包含文件 NULL。
# # 如果 not-null = true,CSV 所有列都不能分析为 NULL。
not-null = false
# # 如果 not-null = false(即 CSV 可以包含 NULL),
# # 以下值的字段将被分析为 NULL。
null = '\N'
# # 是否在字段内是否在字段内\“进行转义
# backslash-escape = true
# # 若有行以分隔符结尾,则删除尾部分隔符。
trim-last-separator = false
执行命令:
./tidb-lightning -config tidb-lightning.toml-d/data/csv/ -f 'test_general.group_dtl'
如果在命令行中直接使用nohup启动程序可能是因为 SIGHUP 建议退出信号nohup把它放在脚本里。
开始导入数据,并提示以下内容:
导入的数据可以从上面的例子中看到,导入未指定数据的schema ,目标库在配置文件中文件中指定。
这是因为 备份数据文件的名称 “,已经提示了库名test_general,表名为group_dtl。
而导入csv文件的路径、分离符号、格式等细节tidb-lightning.toml相关设置已在文件中完成。
① 如果tidb-lightning集群可能仍处于导入模式 (import mode),该模式不适用于生产环境。此时可执行以下命令查看当前使用的模式:
tidb-lightning-ctl --config tidb-lightning.toml --fetch-mode
下列命令可以强制切换回普通模式 (normal mode):
tidb-lightning-ctl --config tidb-lightning.toml --switch-mode=normal
② 备份的数据文件不能与临时数据文件相匹配kv数据文件在同一个磁盘上,否则错误报告
| sorted-kv-dir:/lightning-data/ and data-source-dir:/data/mps_bak/csv are in the same disk, may slow down performance | performance | false|
③资源分配不合理可能导致tidb-lightning无故退出工具
tidb-lightning 是 CPU 密集型程,如果和其它程序混合部署,需要通过 region-concurrency 限制 tidb-lightning 的 CPU 实际占用核数,否则会影响其他程序的正常运行。建议将混合部署机器上 75% 的 CPU 资源分配给 tidb-lightning。
例如,机器为 32 核,则 tidb-lightning 的 region-concurrency 可设为 “24”。