MySQL for update skip locked 与 for update nowait

理论(下方有实操)

for update skip locked

  • 官方文档:https://dev.mysql.com/doc/refman/8.0/en/innodb-locking-reads.html#innodb-locking-reads-for-update
  • 语法:select语句后跟 for update skip locked
  • 作用:目标对象没有被其它会话加锁则可加锁,被其它会话加了锁就跳过。
  • 解决问题:用来避免锁资源竞争引起的阻塞。
  • 适用场景:
    • 多用于MySQL作为消息队列的存储组件,特别是消费者数量>1的场景,多个worker进程同时检测任务队列中的任务,确保每个任务只被一个worker处理,同时其它worker不会被阻塞(这里的worker进程,可以是不断循环查询队列任务的过程,用毫秒级到分钟级的死循环检测表里是否有要处理的队列任务,加锁是为了避免多个消费者同时处理同一个队列任务引发的并发问题)。
    • 换句话说:加锁的目的是为了避免多个消费者同时消费相同的数据造成重复消费,加skip locked的目的是为了保证其它进程 每次扫描到加锁的数据时跳开,避免因排它锁阻塞,保证探测任务快速执行。
  • 坑:
    • 不适用与并发条件下加锁保证数据不出错的场景,因为它遇见目标数据加锁就跳过。(MySQL官方文档原文:Queries that skip locked rows return an inconsistent view of the data. SKIP LOCKED is therefore not suitable for general transactional work. However, it may be used to avoid lock contention when multiple sessions access the same queue-like table.)。
    • 它能跳过仅仅是它能跳过,不代表没加skip locked的X或S锁遇见这个锁不会发生阻塞。
    • MySQL8才有的特性,5.7会报错:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'skip locked' at line 1。

nowait

  • 官方文档:https://dev.mysql.com/doc/refman/8.0/en/innodb-locking-reads.html#innodb-locking-reads-for-update
  • 语法:select语句后跟 nowait。
  • 作用:目标对象没有被其它会话加锁则可加锁,被其它会话加了锁则返回异常。
  • 解决问题:用来避免锁资源竞争引起的阻塞。
  • 适用场景:类似于skip locked,但应用场景不多,因为MySQL返回的异常,可能会升级为编程语言调用时的报错。
  • 坑:MySQL8才有的特性,5.7会报错:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'nowait' at line 1。

No BB,Show Code

成品用例

  • 以消息队列表为例,这是一个标准的支持多渠道,多生产者,多消费者队列和延时队列的任务记录表(记录失败的任务表需要另创建,本文略)。

    sql
    CREATE TABLE `jobs` (
    `id` bigint unsigned NOT NULL AUTO_INCREMENT,
    `queue` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '不同渠道队列执行的优先级,可以是high,default,low等。',
    `payload` longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '队列进程所需要的数据,序列化后的json字符串,包含了框架所需要的序列化数据和业务数据。',
    `attempts` tinyint unsigned NOT NULL COMMENT '记录任务已经被尝试执行的次数。每次任务失败后,attempts的值会递增。当attempts达到设定的最大重试次数时,任务将被标记为失败。',
    `reserved_at` int unsigned DEFAULT NULL COMMENT '表示任务被锁定(reserved)的时间戳。当一个worker开始处理任务时,任务会被锁定,以防止其它 worker同时处理相同的任务。reserved_at存储的是记录被锁定时的时间戳。',
    `available_at` int unsigned NOT NULL COMMENT '记录任务应该变为可执行状态的时间戳。将任务推送到队列时,可以选择延迟任务的执行时间。',
    `created_at` int unsigned NOT NULL COMMENT '队列被创建的时间戳。',
    PRIMARY KEY (`id`) USING BTREE,
    KEY `jobs_queue_index` (`queue`) USING BTREE
    ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci ROW_FORMAT=DYNAMIC;

  • 添加三条模拟数据,新增了3个队列任务

    sql
    INSERT INTO `jobs` (`id`, `queue`, `payload`, `attempts`, `reserved_at`, `available_at`, `created_at`) VALUES (1, 'default', '这里是要被处理的任务:xxxxx', 1, NULL, 1735097169, 1735097169);
    INSERT INTO `jobs` (`id`, `queue`, `payload`, `attempts`, `reserved_at`, `available_at`, `created_at`) VALUES (2, 'default', '这里是要被处理的任务:xxxxx', 1, NULL, 1735097179, 1735097179);
    INSERT INTO `jobs` (`id`, `queue`, `payload`, `attempts`, `reserved_at`, `available_at`, `created_at`) VALUES (3, 'default', '这里是要被处理的任务:xxxxx', 1, NULL, 1735097189, 1735097189);

  • 队列在无任务执行时的扫描任务,SQL是这样的,找到符合条件的数据后更新reserved_at字段为当前时间,并使用worker进程执行队列任务。

    sql
    select * from `jobs` where `queue` = 'high' and ((`reserved_at` is null and `available_at` <= 1735097879) or (`reserved_at` <= 1735094259)) order by `id` asc limit 1 FOR UPDATE SKIP LOCKED select * from `jobs` where `queue` = 'default' and ((`reserved_at` is null and `available_at` <= 1735097879) or (`reserved_at` <= 1735094259)) order by `id` asc limit 1 FOR UPDATE SKIP LOCKED select * from `jobs` where `queue` = 'low' and ((`reserved_at` is null and `available_at` <= 1735097879) or (`reserved_at` <= 1735094259)) order by `id` asc limit 1 FOR UPDATE SKIP LOCKED

for update skip locked用法

证明跳过被锁定的行

步骤 会话1 会话2 说明
1 start transaction; start transaction; 双方开启事务
2 select * from jobs where queue = 'default' and ((reserved_at is null and available_at <= 1735097879) or (reserved_at <= 1735094259)) order by id asc limit 1 FOR UPDATE SKIP LOCKED / 会话1返回id为1的数据
3 / select * from jobs where queue = 'default' and ((reserved_at is null and available_at <= 1735097879) or (reserved_at <= 1735094259)) order by id asc limit 1 FOR UPDATE SKIP LOCKED 会话2返回id为2的数据,直接跳过加锁的1
4 update jobs set reserved_at = UNIX_TIMESTAMP() where id = 1; update jobs set reserved_at = UNIX_TIMESTAMP() where id = 2; 将找到的任务标记为队列正在处理
5 commit; commit; 提交事务,结束流程

nowait用法

证明锁定相同范围的数据会报错。

步骤 会话1 会话2 说明
1 start transaction; start transaction; 双方开启事务
2 select * from jobs where id = 3 FOR UPDATE nowait; / 可正常加锁
3 / select * from jobs where id = 3 FOR UPDATE nowait; 报错:3572 - Statement aborted because lock(s) could not be acquired immediately and NOWAIT is set.
4 commit; commit; 提交事务,结束流程

文章整理自互联网,只做测试使用。发布者:Lomu,转转请注明出处:https://www.it1024doc.com/5022.html

(0)
LomuLomu
上一篇 2024 年 12 月 31 日 上午7:19
下一篇 2024 年 12 月 31 日 上午8:20

相关推荐

  • Python 潮流周刊#80:Django 项目性能调优(摘要)

    由 Python猫 精心策划,本周刊汇集了全球精选的 250+ 资讯,为你呈现最有价值的文章、教程、开源项目、软件工具、音视频内容以及热门话题。我们的目标是助力每一位读者提升 Python 技能,并在职业和副业中实现收入增长。 本期精选了 12 篇精选文章,12 个开源项目,以及 3 个音视频资源,总字数约 2100 字。 以下是本期内容概览: **[🦄 文…

    未分类 2024 年 12 月 24 日
    43800
  • 微服务架构下SpringBoot构建Docker镜像并整合SkyWalking全指南

    一、前言 随着微服务开发模式愈发成熟,微服务的健康状况检测以及服务间的链路追踪成为众多实际运营项目必须考虑的要素。在大型服务平台中,微服务链路追踪有着举足轻重的地位,它不仅能够监控各个服务的健康状态,还能协助开发、测试、运维等人员快速排查、分析并定位线上问题,同时可以对服务运行过程中各服务之间的调用情况以及性能瓶颈点进行定位等,几乎涵盖了服务运行过程中各项重…

    未分类 2025 年 6 月 18 日
    78000
  • 深入解析 Spring AI 系列:以OpenAI与Moonshot案例为例寻找共同点

    今天,我们将重点探讨对接的业务逻辑。为了帮助大家更直观地掌握其中的规律性,我将通过对比OpenAI与《月之暗面》中的Moonshot两个案例来阐述这一点。通过这样的对比,大家可以更清晰地看到,这些对接业务的整体框架其实非常相似。换句话说,我们要做的工作只是其中的一小部分,但它同样是关键的一环。 好了,接下来我们就开始深入了解这个话题。 模型对接 我们首先需要…

    2025 年 1 月 13 日
    48600
  • 2025最新IDEA激活码免费领+永久破解教程|IDEA破解一键搞定

    本方案对 JetBrains 全家桶(IDEA、PyCharm、DataGrip、Goland 等)全部有效,亲测可用! 先放一张最新版 IDEA 的激活截图镇楼——直接飙到 2099 年,爽翻! 下面用图文手把手教学,把 IDEA 一口气激活到 2099 年;老版本同样照此操作即可。 Windows / macOS / Linux 全覆盖,步骤与文件都已打…

    未分类 2025 年 11 月 12 日
    57000
  • 促销系统:促销业务详解

    大家好,我是汤师爷~ 促销活动的核心价值在于利用价格优势吸引贪便宜的消费者。许多用户会积极寻找各类优惠,看到红包或折扣时容易产生购买冲动。 对商家而言,促销是快速清理库存的有效工具。特别是对于季节性商品或临期产品,促销能加快出货速度。同时,促销也能提升销售额,当顾客对商品感兴趣,但因价格犹豫不决时,适当的优惠往往能促使其下单购买。 促销业务概述 什么是促销?…

    2025 年 1 月 10 日
    46700

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信