资讯详情

使用tidb-lightning工具恢复csv格式表数据

通过dumpling导出大表数据,数据格式为csv。现需使用tidb-lightning将此数据导入工具TIDB集群中。

配置文件:

TiDB Lightning 配置文件分为全局和任务两类,结构兼容。只有当服务器模式打开时,整体配置和任务配置才会有所不同;

默认情况下,服务器模式为禁用状态 TiDB Lightning 使用相同的配置文件只执行一个任务,全局和任务配置。

实际恢复过程中使用的配置文件如下:

# touch tidb-lightning.toml

[lightning]

# 默认为转换数据的并发数 CPU 不需要配置数量。

# 在混合部署的情况下逻辑 CPU 的 75% 大小。

# region-concurrency =

# 日志

level = "info"

file = "/data/lighting-log/tidb-lightning.log"

[tikv-importer]

# backend 设置为 local 模式

backend = "local"

# 设置当地临时存储路径

# 当后端是 “local” 当地进行 KV 排序路径。如果磁盘性能低(如使用机械盘),建议设置为和 `data-source-dir` 不同的磁盘可以有效提高导入性能。

# 当后端是 “local” 时,TiKV 写入 KV 数据并发度 TiDB Lightning 和 TiKV 当直接网络传输速度超过万兆时,可适当增加此值。

sorted-kv-dir = "/lightning-data/"

[mydumper]

# 源数据目录。

data-source-dir = "/data/mps_bak/"

# no-schema=true 默认情况下,下游已经创建了所需的数据库和表,如果没有,就会报错。

no-schema = true

[tidb]

# 目标集群信息。tidb-server 填写监听地址。

host = "10.9.252.125"

port = 4000

user = "root"

password = "retail409"

# 从表架构信息 TiDB 获取状态端口。

status-port = 10080

# pd-server 填写一个地址

pd-addr = "10.9.252.125:2379"

[checkpoint]

enable =true

# 断点续传是否启用?

# # 导入数据时,TiDB Lightning 记录当前表导入的进度。

# # 所以即使 TiDB Lightning 或其它组件异常退出,重启时可避免重复导入已完成的数据。

# # 存储断点的数据库名称。

# # schema = "tidb_lightning_checkpoint"

# # 存储断点的方式。

# #- file:存储在本地文件系统中。

# #- mysql:存放在兼容 MySQL 数据库服务器。

driver = "file"

dsn = "/tidb_lightning_checkpoint.pb"

# # 设置为 false 删除断点的时间。

keep-after-success = false

# 配置 CSV 分析文件的方法。

[mydumper.csv]

# # 支持一个或多个字符的字段分隔符默认值 ','。

separator = ','

# # 引用定界符,设置为空表示字符串未加引号。

delimiter = '"'

# # 行尾定界字符,支持一个或多个字符。空(默认值)表示 "\n"(换行)和 "\r\n" (回车 换行),均表示行尾。

terminator = ""

# # CSV 文件是否包含表头。

# # 如果 header = true,将跳过首行。

header = false

# # CSV 是否包含文件 NULL。

# # 如果 not-null = true,CSV 所有列都不能分析为 NULL。

not-null = false

# # 如果 not-null = false(即 CSV 可以包含 NULL),

# # 以下值的字段将被分析为 NULL。

null = '\N'

# # 是否在字段内是否在字段内\“进行转义

# backslash-escape = true

# # 若有行以分隔符结尾,则删除尾部分隔符。

trim-last-separator = false

执行命令:

./tidb-lightning -config tidb-lightning.toml-d/data/csv/ -f 'test_general.group_dtl'

如果在命令行中直接使用nohup启动程序可能是因为 SIGHUP 建议退出信号nohup把它放在脚本里。

开始导入数据,并提示以下内容:

导入的数据可以从上面的例子中看到,导入未指定数据的schema ,目标库在配置文件中文件中指定。

这是因为 备份数据文件的名称 “,已经提示了库名test_general,表名为group_dtl。

而导入csv文件的路径、分离符号、格式等细节tidb-lightning.toml相关设置已在文件中完成。

① 如果tidb-lightning集群可能仍处于导入模式 (import mode),该模式不适用于生产环境。此时可执行以下命令查看当前使用的模式:

tidb-lightning-ctl --config tidb-lightning.toml --fetch-mode

下列命令可以强制切换回普通模式 (normal mode):

tidb-lightning-ctl --config tidb-lightning.toml --switch-mode=normal

② 备份的数据文件不能与临时数据文件相匹配kv数据文件在同一个磁盘上,否则错误报告

| sorted-kv-dir:/lightning-data/ and data-source-dir:/data/mps_bak/csv are in the same disk, may slow down performance | performance | false|

③资源分配不合理可能导致tidb-lightning无故退出工具

tidb-lightning 是 CPU 密集型程,如果和其它程序混合部署,需要通过 region-concurrency 限制 tidb-lightning 的 CPU 实际占用核数,否则会影响其他程序的正常运行。建议将混合部署机器上 75% 的 CPU 资源分配给 tidb-lightning。

例如,机器为 32 核,则 tidb-lightning 的 region-concurrency 可设为 “24”。

标签: 铜铝电缆连接端子dtl

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

 锐单商城 - 一站式电子元器件采购平台  

 深圳锐单电子有限公司