大数据Canal(二):Canal下载安装
Canal下载安装
一、安装前准备(开启MySQL binlog)
对于自建 MySQL , 需要先开启 Binlog 写入功能,配置 binlog-format 为 ROW 模式,开启Mysql binlog日志步骤如下:
1、登录mysql查看MySQL是否开启binlog日志
[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";
2、开启mysql binlog日志
在/etc/my.cnf文件中[mysqld]下写入以下内容:
(资料图片仅供参考)
[mysqld]# 随机指定一个不能和其他集群中机器重名的字符串,配置 MySQL replaction 需要定#义,不要和 canal 的 slaveId 重复server-id=123 #配置binlog日志目录,配置后会自动开启binlog日志,并写入该目录log-bin=/var/lib/mysql/mysql-bin# 选择 ROW 模式binlog-format=ROW
MySQL binlog-format有三种模式:Row、Statement 和 Mixed 。
Row:不记录sql语句上下文相关信息,仅保存哪条记录被修改。优点: binlog中可以不记录执行的sql语句的上下文相关的信息,仅需要记录那一条记录被修改成什么了。所以row level的日志内容会非常清楚的记录下每一行数据修改的细节。
缺点:所有的执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容,比如一条update语句,修改多条记录,则binlog中每一条修改都会有记录,这样造成binlog日志量会很大,特别是当执行alter table之类的语句的时候,由于表结构修改,每条记录都发生改变,那么该表每一条记录都会记录到日志中。
Statement(默认):每一条会修改数据的sql都会记录在binlog中。这种模式下,slave在复制的时候sql进程会解析成和原来master端执行过的相同的sql来再次执行。
优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。
缺点:由于只记录语句,所以,在statement level下 已经发现了有不少情况会造成MySQL的复制出现问题,主要是修改数据的时候使用了某些定的函数或者功能的时候会出现。 例如:update 语句中含有uuid() ,now() 这种函数时,Statement模式就会有问题(update t1 set xx = now() where xx = xx)
Mixed: 混合模式在Mixed模式下,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志格式,也就是在Statement和Row之间选择一种。如果sql语句确实就是update或者delete等修改数据的语句,那么还是会记录所有行的变更。
3、重启mysql 服务,重新查看binlog日志情况
[root@node2 ~]# service mysql restart[root@node2 ~]# mysql -u root -p123456mysql> show variables like "log_%";
二、下载安装Canal
1、下载Canal
Cannal下载地址如下:Releases · alibaba/canal · GitHub
这里选择Canal 1.1.4版本下载。
2、上传解压
将下载好的Canal安装包上传到node3节点上,解压
#首先创建目录 “/software/canal”[root@node3 ~]# mkdir -p /software/canal#将Canal安装包解压到创建的canal目录中[root@node3 ~]# tar -zxvf /software/canal.deployer-1.1.4.tar.gz -C /software/canal/
关键词:
责任编辑:hnmd004
- 大数据Canal(二):Canal下载安装2023-03-19
- 韩国商会:今年韩国对日本出口有望增加3.52023-03-19
- 博济医药拟推2023年限制性股票激励计划2023-03-19
- 今日聚焦!监管掐断QB国利“垄断”链条,债2023-03-19
- 【天天快播报】联动科技:2022年净利同比降2023-03-19
- 全国钢材社会库存连续4周下降,建材库存下2023-03-19
- 每日聚焦:当代年轻人,都想花小钱办大事2023-03-19
- 环旭电子:子公司拟与Ample Trading合资设2023-03-19
- 环球新动态:挖金客发布2022年度业绩,净利2023-03-19
- 中金公司:预计美联储本周加息25个基点,不2023-03-19
- “冀X”牌照即将落地河北雄安新区2023-03-19
- 2023年大中城市联合招聘高校毕业生春季专场2023-03-19
- Jio 5G服务将于2022年排灯节推出5G网络将2023-03-19
- 贝壳四季度扭亏,房产中介的好日子要回来了2023-03-19
- 2023全球6G技术大会即将召开2023-03-19
- 对冲基金大鳄阿克曼:美银或将于周一收购Si2023-03-19
- 俄媒:2022年俄罗斯的镍和化肥出口呈现最大2023-03-19
- 环球动态:中汽工程与哈萨克斯坦ASTANA汽车2023-03-19
- 年轻人口增加,日本地方政府少子化对策初见2023-03-19
- 株洲市气象局发布暴雨黄色预警【Ⅲ级/较重2023-03-19
- 天天热点评!众叛亲离后,他成了全球锂王2023-03-19
- 微速讯:中信证券:A股全面修复行情的第二2023-03-19
- 中古合资电动车厂助力古巴经济社会发展 报2023-03-19
- 广期所冷冰:正在开展碳酸锂和多晶硅期货、2023-03-19
- 被汇丰收购后,硅谷银行英国子公司发出多至2023-03-19
- 全球新动态:深交所奚伟鹏:进一步完善期权2023-03-19
- 兴业银行吕家进:商业银行要把构建生育友好2023-03-19
- 头部券商改革基金代销考核机制,保有量占大2023-03-19
- 特朗普自称即将被捕并呼吁抗议,纽约检察官2023-03-19
- 光大银行王志恒:金融机构须吸取硅谷银行等2023-03-19