disgare 的博客
首页
博客
分类
标签
首页
博客
分类
标签
  • 网络

    • 计算机网络学习笔记
    • 网络安全相关
    • 域名和子网掩码
    • CORS 跨域资源共享
    • DNS、HTTP 与 HTTPS
    • Server-Sent Events (SSE)
    • WebSocket 长连接
  • 计算机基础

    • 操作系统 IO 相关知识
    • 操作系统学习笔记
    • 程序的机器级表示
    • 音频文件基础
    • 正则表达式相关概念
    • ffmpeg 的安装以及实现音频切分功能
    • Hex 和 Base64 编码
    • XML 的使用
  • 数据结构与算法

    • 动态规划算法学习笔记
    • 基于比较的排序算法的最坏情况下的最优下界为什么是O(nlogn)
    • 集合与数据结构学习笔记
    • 面试常见算法总结
    • 算法导论第二部分排序学习笔记
    • 算法导论第一部分学习笔记
  • Java

    • 对象之间的映射与转换
    • 反射学习笔记
    • 泛型相关概念
    • 关于 boolean 类型的坑
    • 如何使用 lambda 表达式实现排序
    • CompletableFuture 相关用法
    • CompletableFuture 源码浅要阅读
    • FutureTask 源码阅读
    • Guava 常用 API
    • Guava 源码阅读:Multimap 相关
    • Jackson 的各种使用
    • Java 的 Excel 相关操作
    • java 的常见性能问题分析以及出现场景
    • java 基础知识
    • JAVA 枚举的基础和原理
    • Java 图片文件上传下载处理
    • Java 序列化
    • Java 异常
    • Java 语法糖
    • Java 中关于字符串处理的常用方法
    • Java 中强、软、弱、虚引用
    • JAVA 注解小结
    • Java Http 访问框架
    • Java Stream 的使用
    • Java8 新特性
    • netty 学习笔记
    • Scanner 的各种用法
    • Servlet 学习笔记
    • String、StringBuffer、StringBuilder 学习笔记
  • JVM

    • 虚拟机执行子系统
    • JVM 自动内存管理
    • Linux 中 JVM 常用工具以及常见问题解决思路
  • Linux

    • crontab 表达式
    • Linux 常见命令
    • Linux 文件系统
  • 中间件

    • 关于定时任务原理
    • 详解 kafka
    • ES 搜索引擎
    • flink 提交流程
    • Grape-RAG
    • Hadoop 基础原理
  • 多线程

    • 多线程基础学习笔记
    • 简单了解并发集合
    • 如何手写单例
    • 深入理解 java 多线程安全
    • 生产者消费者问题
    • 线程池作用、用法以及原理
    • AQS 组件
    • ThreadLocal 原理以及使用
  • 非关系型数据库

    • Redis 集群
    • Redis 数据结构、对象与数据库
    • Redis 学习笔记
  • 关系型数据库

    • B+ 树的插入、删除和数据页分裂机制
    • MySQL 的 binglog、redolog、undolog
    • MySQL 的记录存储结构、存储引擎与 Buffer Pool
    • MySQL 基本的特性
    • MySQL 开发规范
    • MySQL 事务与锁与 MVCC
    • MySQL 数据类型、字符集相关内容
    • MySQL 索引与索引优化
    • PostgreSQL 更新数据时 HOT优化
      • 一、数据块结构
      • 二、更新后查看数据
      • 三、vacuum 后查看数据
      • 四、HOT 使用的条件
    • PostgreSQL 相关用法
  • Python

    • Python 基础语法
    • Python 学习
  • Spring 项目

    • Lombok 的常用注解
    • maven 小结
    • MyBatis 框架的使用
    • MyBatis 重要知识点总结
    • MybatisPlus 的使用
    • Spring 框架基础使用
    • Spring 事务相关
    • Spring IOC 的原理及源码
    • Spring AOP 的使用和原理
    • SpringBoot 的原理
    • SpringBoot 基础使用
    • SpringWeb 重要知识点
  • 分布式

    • 初步了解 docker
    • 从 ACID 到 BASE 事务处理的实现
    • 访问远程服务
    • 分布式 id
    • 分布式缓存相关问题
    • 分布式集群理论和分布式事务协议
    • 分布式架构的观测
    • 分布式一致性算法
    • 负载均衡 Load Balancing
    • 关于分布式系统 RPC 中高可用功能的实现
    • 集群间数据同步的目的
    • 三高问题下的系统优化
    • 数据库分库分表
    • 详解 Spring Cloud
    • Dubbo 基础概念
    • Gossip 协议
    • nginx 学习笔记
    • Protobuf 通信协议
    • Zookeeper 基础学习
  • 架构设计

    • 参数校验与异常处理
    • 抽象方法与设计模式
    • 代码整洁之道
    • 权限系统设计
    • 用低内存处理大量数据
    • 设计模式——策略模式
    • 设计模式——过滤器模式在 Spring 中的实践
    • 状态模式
    • 统一结果返回
    • 为什么要打日志?怎么打日志?打什么日志?
    • 运维监控常见指标含义
    • 资深研发进阶
    • DDD 架构学习笔记
    • Java 常用的规则引擎
    • MVC 架构学习笔记
  • AI

    • 如何编写 Prompt
    • Agent 工程架构
    • LLM 相关内容
    • NLP 相关知识
    • vibe coding 最佳实践
    • windows 下 ollama 迁移到 D 盘
  • 开发工具

    • 如何画时序图、流程图、状态流转图
    • excel 关于 =vlookup 的用法
    • git 的学习以及使用
    • IDEA 插件推荐
    • IDEA 常用快捷键以及调试
    • Shell 脚本
    • swagger 的使用
  • 前端

    • 简单了解前端页面开发
    • 伪静态是什么
    • GitHub Pages 部署教程
    • Vercel 部署教程
    • vue-admin-template 简单使用
    • VuePress 博客搭建指南
  • 项目

    • 面试刷题网——技术方案
    • 影视资源聚合站——技术方案
  • 问题记录

    • 定时任务单线程消费 redis 中数据导致消费能力不足
    • 提供可传递的易受攻击的依赖项
    • Liteflow 在 SpringBoot 启动时无法注入组件问题 couldn‘t find chain with the id[THEN(NodeComponent)]
  • 金融

    • 股票分析——关于电力
    • 股票技术面——量价关系
    • 股票技术面——盘口
    • 股票技术面——基础
    • 基础的金融知识
    • 基金与股票
    • 韭菜的自我总结
    • 聊聊价值投资
  • 其他

    • 程序员职场工作需要注意什么
    • 创业全链路SOP:从灵光一现到系统化增长的实战指南
    • 观罗翔讲刑法随笔
    • 价格和价值
    • 立直麻将牌效益理论
    • 梅花易数学习笔记
    • 压力管理
2023-06-13
关系型数据库
目录

PostgreSQL 更新数据时 HOT优化

原文链接:https://my.oschina.net/207miner/blog/2994857

在 PostgreSQL 中,当更新一行数据时,实际上旧行并没有删除,只是插入了一行新数据。如果这个表其他列上有索引,而更新的列上没有索引,因为新行的物理位置发生变化,因此需要更新索引,这将导致性能下降。为了解决这个问题,PostgreSQL 引入了 Heap Only Tuple(HOT)技术,如果更新后的新行和旧行位于同一个数据块内,则旧行会有一个指针指向新行,这样就不用更新索引了,通过索引访问到旧行数据,进而访问到新行数据。

# 一、数据块结构

要了解 HOT 技术,先来看一下 PostgreSQL 的数据块结构。如下图:

  • 页头,存储 LSN 号、校验位等元数据信息。

  • 行数据指针数组,存储指向实际数据的指针,共 32 位,前 15 位为行数据 Page 内偏移量,中间 2 位为标志位,后面 15 位为行数据长度。

  • 实际行数据

  • 特殊数据

查看实际数据情况和索引项情况。两条索引 id=1 和 id=2 项分别指向两条数据行指针,两条数据的 ctid 分别为 (0,1),(0,2)。lp(line pointer) 行数据指针,分别指向 2 条数据。每个页面 8192 字节,两行数据存储的开始地址分别为 8160,8128。

postgres=## create table a(id int primary key, v text);
CREATE TABLE
postgres=## insert into a values (1, 'a'),(2, 'b');
INSERT 0 2
postgres=## SELECT lp,lp_off, lp_flags, lp_len,t_ctid,t_data FROM heap_page_items(get_raw_page('a', 0));
 lp | lp_off | lp_flags | lp_len | t_ctid |     t_data
----+--------+----------+--------+--------+----------------
  1 |   8160 |        1 |     30 | (0,1)  | \x010000000561
  2 |   8128 |        1 |     30 | (0,2)  | \x020000000562
(2 rows)
postgres=## SELECT * FROM bt_page_items('a_pkey', 1);
 itemoffset | ctid  | itemlen | nulls | vars |          data
------------+-------+---------+-------+------+-------------------------
          1 | (0,1) |      16 | f     | f    | 01 00 00 00 00 00 00 00
          2 | (0,2) |      16 | f     | f    | 02 00 00 00 00 00 00 00
(2 rows)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# 二、更新后查看数据

更新第一条数据后,可以发现索引项并没有变化,索引仍然指向 (0,1) 第一行数据行指针,而第一行数据内部 ctid 数据指向了第三条数据。这样通过索引访问时,仍然可以访问到正常的数据。

postgres=## update a set v = 'aa' where id = 1;
UPDATE 1
​
postgres=## select * from a;
 id | v
----+----
  2 | b
  1 | aa
(2 rows)
​
postgres=## SELECT lp,lp_off, lp_flags, lp_len,t_ctid,t_xmin,t_xmax,t_data FROM heap_page_items(get_raw_page('a', 0));
 lp | lp_off | lp_flags | lp_len | t_ctid | t_xmin | t_xmax |      t_data
----+--------+----------+--------+--------+--------+--------+------------------
  1 |   8160 |        1 |     30 | (0,3)  |    713 |    714 | \x010000000561
  2 |   8128 |        1 |     30 | (0,2)  |    713 |      0 | \x020000000562
  3 |   8096 |        1 |     31 | (0,3)  |    714 |      0 | \x01000000076161
(3 rows)
​
postgres=## SELECT * FROM bt_page_items('a_pkey', 1);
 itemoffset | ctid  | itemlen | nulls | vars |          data
------------+-------+---------+-------+------+-------------------------
          1 | (0,1) |      16 | f     | f    | 01 00 00 00 00 00 00 00
          2 | (0,2) |      16 | f     | f    | 02 00 00 00 00 00 00 00
(2 rows)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

# 三、vacuum 后查看数据

来考虑另一个问题,第一行数据是一条死数据 dead tuple,经过 vacuum 之后,其占用的存储空间会被回收,回收后又是如何访问到正常的数据呢?

vacuum 后,原第一行数据存储空间进行了回收。可以发现索引项并没有变化,索引仍然指向 (0,1) 第一行数据行指针,只是第一行数据的行指针指向了第三行数据的行指针。

postgres=## vacuum a;
VACUUM
postgres=## SELECT lp,lp_off, lp_flags, lp_len,t_ctid,t_xmin,t_xmax,t_data FROM heap_page_items(get_raw_page('a', 0));
 lp | lp_off | lp_flags | lp_len | t_ctid | t_xmin | t_xmax |      t_data
----+--------+----------+--------+--------+--------+--------+------------------
  1 |      3 |        2 |      0 |        |        |        |
  2 |   8160 |        1 |     30 | (0,2)  |    713 |      0 | \x020000000562
  3 |   8128 |        1 |     31 | (0,3)  |    714 |      0 | \x01000000076161
(3 rows)
​
postgres=## SELECT * FROM bt_page_items('a_pkey', 1);
 itemoffset | ctid  | itemlen | nulls | vars |          data
------------+-------+---------+-------+------+-------------------------
          1 | (0,1) |      16 | f     | f    | 01 00 00 00 00 00 00 00
          2 | (0,2) |      16 | f     | f    | 02 00 00 00 00 00 00 00
(2 rows)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# 四、HOT 使用的条件

1、新老数据行必须位于同一个数据块内。如原来的数据块中无法放下新行,则无法使用 HOT。

2、更新的列上如果有索引,此列上的索引不能使用 HOT 技术。

针对条件一,如果一张表经常做 update 操作,我们可以设置数据块的填充因子,使更新操作的新旧行都位于同一个数据块内。

--数据块填充到达50%后,就不再写入数据,开辟下一个数据块写入。
postgres=## alter table a set (fillfactor = 50);
ALTER TABLE
postgres=#
1
2
3
4
#PostgreSQL
最后更新: 1/17/2026, 2:51:21 AM
MySQL 索引与索引优化
PostgreSQL 相关用法

← MySQL 索引与索引优化 PostgreSQL 相关用法→

最近更新
01
vibe coding 最佳实践
02-24
02
立直麻将牌效益理论
02-23
03
伪静态是什么
02-08
更多文章>
Theme by Vdoing
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式