作者:秦广飞
爱可生 DBA 团队成员,负责项目日常问题处理及公司平台问题排查,对数据库有兴趣,对技术有想法。一入 IT 深似海,从此节操是路人。
(资料图片)
本文来源:原创投稿
* 爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。
1背景
照例要先讲下本文档背景的,不过在介绍背景之前,先简单说下 MySQL 主从切换的过程。
正常来说,当要发生主从切换时,主库要做下面几个动作:
断开流量入口(解绑 VIP)
设置只读
Kill 掉数据库残留连接
而从库,要做下面几个动作:
补全与主库差异的 binlog 日志
关闭只读
清除复制信息
开启流量入口(绑定 VIP)
我们公司自研的数据库集群管理平台 云树® DMP[1]大概也是这么个切换过程,而这个切换过程跟本文的关联点,就在主库 Kill 掉残留连接上。
偶然间发现,DMP 在切换过程中 Kill 残留连接时,日志中有时会出现 warn 信息:[warn] kill process warning:Error 1094:Unknown thread id:4
后来观察到,MySQL 5.7 的主从切换时,就不会出现这个 warning 信息,而 MySQL 8.0 就会稳定复现。进一步测试验证后,终于发现了这个 Unknown thread id 的真面目,就是 USER 为 event_scheduler的这个"连接"。
2什么是 event_scheduler?
event_scheduler 到底是什么呢?毕竟从 processlist 信息中可以看到,它与普通的会话似乎不太一样。
其实它是 MySQL 中的一个特殊线程,主要负责执行 MySQL 事件调度器所创建的事件。我们知道 MySQL 是有 event 的,可以像 Linux 中 crontab 一样,定时执行一些任务。
The MySQL Event Scheduler manages the scheduling and execution of events, that is, tasks that run according to a schedule
当 MySQL 事件调度器启用时 event_scheduler=ON,MySQL 就会在后台启动一个 event_scheduler 线程,并且 event_scheduler线程将一直运行,直到 MySQL 服务停止。该线程会负责检查当前时间和已定义的事件,如果事件需要执行,则 event_scheduler线程将启动一个新的会话来执行事件。
需要注意的是,在 MySQL 5.7中,event_scheduler默认是关闭的,而 MySQL 8.0 中则默认打开了,而这也就是为什么在 MySQL 5.7 的切换过程中没有发现 warning 信息的原因。
3为什么 Kill 不掉?
了解 event_scheduler大概是什么之后,我们再来看看,为什么 Kill 时,会报 Unknown thread id。
注意看 processlist 信息,我们发现 event_scheduler的 COMMAND 值为 Daemon。从字面意思上看,Daemon 为后台守护的意思,其实在 MySQL 中,当在后台运行一些特殊的功能时,会话 COMMAND 可能被标记为 Daemon(实际工作场景中,只注意到过 event_scheduler)。
因为这类会话并不是由用户直接发起的连接,而是 MySQL 内部的线程,所以无法像普通会话一样被 Kill 掉。
官方文档中,给出的信息较少,大家有兴趣的可以自己翻下代码。
4如何使用定时任务?
具体如何使用定时任务,其实网上也有很多资料,如果真有需要使用的,建议最好参考官方文档。下面我们简单使用下 event 看看效果。
启用/关闭/禁用
--修改变量event_scheduler来动态启用或者关闭eventmysql>showvariableslike"%event_scheduler%";+-----------------+-------+|Variable_name|Value|+-----------------+-------+|event_scheduler|ON|+-----------------+-------+1rowinset(0.00sec)mysql>--关闭mysql>SETGLOBALevent_scheduler=0;--启用mysql>SETGLOBALevent_scheduler=1;--禁用event_scheduler,只能在配置文件中设置event_scheduler为disable并重启服务,而不能动态修改[mysqld]event_scheduler=DISABLED
创建
--准备测试表和数据mysql>CREATETABLElogs(idINT(11)primarykeyAUTO_INCREMENT,log_messageVARCHAR(255)NOTNULL,log_timeTIMESTAMPNOTNULL);QueryOK,0rowsaffected,1warning(0.02sec)mysql>INSERTINTOlogs(log_message,log_time)VALUES->("君不见黄河之水天上来,奔流到海不复回","2023-06-0709:01:00"),->("君不见高堂明镜悲白发,朝如青丝暮成雪","2023-06-0723:02:00"),->("人生得意须尽欢,莫使金樽空对月","2023-06-0801:03:00"),->("天生我材必有用,千金散尽还复来","2023-06-0818:04:00"),->("烹羊宰牛且为乐,会须一饮三百杯","2023-06-0923:05:00"),->("钟鼓馔玉不足贵,但愿长醉不复醒","2023-06-0911:06:00"),->("古来圣贤皆寂寞,惟有饮者留其名","2023-06-1023:02:00"),->("陈王昔时宴平乐,斗酒十千恣欢谑","2023-06-1101:03:00"),->("主人何为言少钱,径须沽取对君酌","2023-06-1218:04:00"),->("五花马、千金裘","2023-06-1323:05:00"),->("呼儿将出换美酒,与尔同销万古愁","2023-06-1411:06:00");QueryOK,11rowsaffected(0.01sec)Records:11Duplicates:0Warnings:0mysql>--创建event,实现定时将该日志表中7天之前的数据删除--为了快速看到效果,我们每分钟执行一次,一次删除1行mysql>CREATEEVENTdelete_logs_event->ONSCHEDULEEVERY1MINUTESTARTS"2023-06-1900:00:00"->DO->DELETEFROMlogs->WHERElog_time
查看--执行showevents查看,需要先进到event所在的schemamysql>useuniversemysql>showevents\G***************************1.row***************************Db:universeName:delete_logs_eventDefiner:root@localhostTimezone:SYSTEMType:RECURRINGExecuteat:NULLIntervalvalue:1Intervalfield:MINUTEStarts:2023-06-1900:00:00Ends:NULLStatus:ENABLEDOriginator:1862993913character_set_client:utf8mb4collation_connection:utf8mb4_0900_ai_ciDatabaseCollation:utf8mb4_bin1rowinset(0.00sec)mysql>--通过information_schema.events可以看到更详细的信息mysql>select*frominformation_schema.events\G***************************1.row***************************EVENT_CATALOG:defEVENT_SCHEMA:universeEVENT_NAME:delete_logs_eventDEFINER:root@localhostTIME_ZONE:SYSTEMEVENT_BODY:SQLEVENT_DEFINITION:DELETEFROMlogsWHERElog_time--查看表中是否被定时删除mysql>select*fromlogs;+----+--------------------------------------------------------+---------------------+|id|log_message|log_time|+----+--------------------------------------------------------+---------------------+|2|君不见高堂明镜悲白发,朝如青丝暮成雪|2023-06-0723:02:00||3|人生得意须尽欢,莫使金樽空对月|2023-06-0801:03:00||4|天生我材必有用,千金散尽还复来|2023-06-0818:04:00||5|烹羊宰牛且为乐,会须一饮三百杯|2023-06-0923:05:00||6|钟鼓馔玉不足贵,但愿长醉不复醒|2023-06-0911:06:00||7|古来圣贤皆寂寞,惟有饮者留其名|2023-06-1023:02:00||8|陈王昔时宴平乐,斗酒十千恣欢谑|2023-06-1101:03:00||9|主人何为言少钱,径须沽取对君酌|2023-06-1218:04:00||10|五花马、千金裘|2023-06-1323:05:00||11|呼儿将出换美酒,与尔同销万古愁|2023-06-1411:06:00|+----+--------------------------------------------------------+---------------------+10rowsinset(0.00sec)mysql>--查看showprocesslist中event_scheduler的信息,可以看到stats为Waitingfornextactivationmysql>select*frominformation_schema.processlistwhereuser="event_scheduler";+-------+-----------------+-----------+------+---------+------+-----------------------------+------+|ID|USER|HOST|DB|COMMAND|TIME|STATE|INFO|+-------+-----------------+-----------+------+---------+------+-----------------------------+------+|12869|event_scheduler|localhost|NULL|Daemon|58|Waitingfornextactivation|NULL|+-------+-----------------+-----------+------+---------+------+-----------------------------+------+1rowinset(0.00sec)mysql>--我们在从库上看下event的信息,可以看到STATUS为SLAVESIDE_DISABLED,因此不用担心从库重复执行eventmysql>select*frominformation_schema.events\G***************************1.row***************************EVENT_CATALOG:defEVENT_SCHEMA:universeEVENT_NAME:delete_logs_eventDEFINER:root@localhostTIME_ZONE:SYSTEMEVENT_BODY:SQLEVENT_DEFINITION:DELETEFROMlogsWHERElog_time修改--使用ALTER语句修改,其他高权限用户也可以执行,且event的用户会变成最后一个ALTER的用户mysql>ALTEREVENTdelete_logs_event->ONSCHEDULEEVERY1DAYSTARTS"2023-06-1900:00:00"->DO->DELETEFROMlogs->WHERElog_time--可以看到DEFINER已经变成了修改的用户,且时间间隔也修改为了1天,DELETE语句也去掉了LIMITmysql>select*frominformation_schema.events\G***************************1.row***************************EVENT_CATALOG:defEVENT_SCHEMA:universeEVENT_NAME:delete_logs_eventDEFINER:qin@%TIME_ZONE:SYSTEMEVENT_BODY:SQLEVENT_DEFINITION:DELETEFROMlogsWHERElog_time删除mysql>dropeventdelete_logs_event;QueryOK,0rowsaffected(0.01sec)mysql>showevents\GEmptyset(0.00sec)切换时注意
当在主库上创建了 event,之后发生了主从切换。此时 event 并不会随着切换而变成在新主上执行,且状态也不会发生改变。
即原主 event 的状态还是 ENABLED,而新主 event 的状态还是 DISABLED。
5总结
show processlist 中看到的 User 为 event_scheduler的会话为 MySQL 内部线程,无法被 Kill 掉。
在主库上创建的 event,定时执行的 SQL 语句,在从库上会正常随着复制回放,但不会被重复执行。
主从切换后,原主上的 event 不会在新主上执行。
参考资料
[1]云树® DMP: https://www.actionsky.com/cloudTreeDMP
本文关键字:#MySQL# #复制# #event#
活动推荐:
【上海7.6-7.8】爱可生开源社区亮相 WAIC 2023 开源集市
【深圳7.15】Action 与您相约OB Cloud 公开课开放麦环节
文章推荐:
技术分享 | 如何校验 MySQL&Oracle 时间字段合规性
故障分析 | 从慢日志问题看 MySQL 半一致性读的应用场景
故障分析 | MySQL 管理端口登录异常排查及正确使用技巧
技术分享 | ibdata1 “减肥” 记
故障分析 | TRUNCATE 到底因何而慢?
技术分享 | DBA 抓包神器 tshark 测评
源码分析 | MySQL 的 commit 是怎么 commit 的?
技术分享 | 一文了解 MySQL Optimizer Trace 的神奇功效
故障分析 | MySQL 升级到 8.0 变慢问题分析
技术分享 | 一招解决 MySQL 中 DDL 被阻塞的问题
故障分析 | 一条本该记录到慢日志的 SQL 是如何被漏掉的
关于 SQLE
爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者,支持多场景审核,支持标准化上线流程,原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。
SQLE 获取
类型地址
| 版本库 | https://github.com/actiontech/sqle |
| 文档 | https://actiontech.github.io/sqle-docs/ |
| 发布信息 | https://github.com/actiontech/sqle/releases |
| 数据审核插件开发文档 | https://actiontech.github.io/sqle-docs-cn/3.modules/3.7_auditplugin/auditplugin_development.html |
提交有效 pr,高质量 issue,将获赠面值 200-500 元(具体面额依据质量而定)京东卡以及爱可生开源社区精美周边!
更多关于 SQLE 的信息和交流,请加入官方QQ交流群:637150065
标签: