MaxWell抓取数据

提前准备好MaxWell软件包

 tar -zxvf /opt/software/maxwell-1.25.0.tar.gz -C /opt/module/ 

1、在 MySQL 中建立一个 maxwell 库用于存储 Maxwell 的元数据

mysql -uroot -p000000  mysql> CREATE DATABASE maxwell; 

2.设置安全级别

mysql> set global validate_password_length=4; mysql> set global validate_password_policy=0; 

3.分配帐户可以操作数据库

GRANT ALL ON maxwell.* TO 'maxwell'@'%' IDENTIFIED BY '000000'; 

4.该账户的分配可以监控其他数据库的权限

GRANT SELECT ,REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO maxwell@'%'; 

1、拷贝配置文件

cp config.properties.example config.properties 

修改配置文件

producer=kafka kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092 #需要添加 kafka_topic=ods_base_db_m # mysql login info host=hadoop102 user=maxwell password=000000 #需要添加 初始化会用 client_id=maxwell_1 

注意：

• 默认或输出到指定 Kafka 主题的一个 kafka 分区，因为多个分区并行可能会打乱 binlog 的顺序
• 要提高平行度，首先设置 kafka 的分区数>1,然后设置 producer_partition_by 属性
  • producer_partition_by=database|table|primary_key|random| column

3、启动maxwell

/opt/module/maxwell-1.25.0/bin/maxwell --config /opt/module/maxwell-1.25.0/config.properties 

4、启动kafka消费客户端(提前启动)zookeeper）

bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_db_m 

5.操作数据库，找到消费者消费的信息