PostgreSQL源码分析——INSERT

这里我们对INSERT语句进行分析， 只分析其宏观过程，具体细节后续再分析。我们就分析下面的语句的执行过程。

insert into t1 values(4,4);

主流程

主流程如下：

exec_simple_query
--> pg_parse_query   //语法解析--> raw_parser--> base_yyparse
--> pg_analyze_and_rewrite--> parse_analyze--> transformStmt--> transformInsertStmt  //语义分析--> pg_plan_queries    //查询优化，生成执行计划--> pg_plan_query--> standard_planner--> subquery_planner--> grouping_planner--> query_planner  --> build_simple_rel--> make_one_rel--> create_modifytable_path // INSERT/UPDATE/DELETE都会生成ModifyTablePath--> create_plan
--> PortalStart
--> PortalRun--> ProcessQuery--> ExecutorStart--> InitPlan--> ExecInitModifyTable--> ExecutorRun--> ExecutePlan--> ExecModifyTable--> planSlot = ExecProcNode(subplanstate); // 执行子执行计划Result，获取要插入的tuple值， 对应values(4,4)--> ExecInitInsertProjection--> ExecGetInsertNewTuple--> ExecInsert  // 执行插入--> table_tuple_insert--> ExecutorEnd
--> PortalDrop

查询优化

这里已经分析的比较多了，可参考之前的源码分析文章Postgres源码分析——UPDATE。

执行器

执行插入，首先是在Bufer缓冲区中获取空闲页，如果Buffer没有指定表的页，则新增一个空白页，向页中插入一条元组。在插入元组前，需要构造元组所须的隐藏字段，事务ID，cid等。标记Buffer中的页为脏页（后台进程会处理脏页进行刷盘—）。之后是写入WAL日志。需要注意的是写WAL日志也是先写入WAL Buffer，再刷盘的。并不是直接写文件。

主流程：

ExecInsert  // 执行插入
--> table_tuple_insert--> heap_insert/* *******  Buffer中向Page插入一条tuple ***********/--> GetCurrentTransactionId()--> heap_prepare_insert //  Prepares a tuple for insertion--> RelationGetBufferForTuple // Buffer中获取足够插入tuple大小的页，--> GetPageWithFreeSpace--> fsm_search  // 结合fsm，查找含有足够空闲size的页// 如果fsm没有足够信息，尝试last page，避免one-tuple-per-page syndrome during bootstrapping or in a recently-started system.--> CheckForSerializableConflictIn--> RelationPutHeapTuple // 向页中插入tuple--> BufferGetPage(buffer);--> PageAddItemExtended--> MarkBufferDirty/****** 写WAL日志 ***********/--> XLogBeginInsert--> XLogRegisterData--> XLogRegisterBuffer--> XLogRegisterBufData--> XLogSetRecordFlags--> XLogInsert--> XLogRecordAssemble  // 由前面的信息生成日志记录--> XLogInsertRecord    // 插入WAL日志中--> CopyXLogRecordToWAL(rechdr->xl_tot_len, isLogSwitch, rdata,StartPos, EndPos);-->  GetXLogBuffer(CurrPos)--> XLogFlush(EndPos) // Ensure that all XLOG data through the given position is flushed to disk.--> XLogWrite // 写入WAL日志文件--> PageSetLSN(page, recptr);

关键数据结构：

// HeapTupleData is an in-memory data structure that points to a tuple.
typedef struct HeapTupleData
{uint32		t_len;			/* length of *t_data */ItemPointerData t_self;		/* SelfItemPointer */Oid			t_tableOid;		/* table the tuple came from */
#define FIELDNO_HEAPTUPLEDATA_DATA 3HeapTupleHeader t_data;		/* -> tuple header and data */
} HeapTupleData;

下面我们就重点看看元组是怎么插入到表中的。理解页面布局的话，下面的代码就很容易理解，可以参考《PostgreSQL指南：内幕探索》中第1.3章节。

// Insert a tuple from a slot into table AM routine.
// rel: 被插入的表
// slot: 插入的数据
static inline void 
table_tuple_insert(Relation rel, TupleTableSlot *slot, CommandId cid, int options, struct BulkInsertStateData *bistate)
{rel->rd_tableam->tuple_insert(rel, slot, cid, options, bistate);    
}static void
heapam_tuple_insert(Relation relation, TupleTableSlot *slot, CommandId cid, int options, BulkInsertState bistate)
{bool		shouldFree = true;HeapTuple	tuple = ExecFetchSlotHeapTuple(slot, true, &shouldFree);/* Update the tuple with table oid */slot->tts_tableOid = RelationGetRelid(relation);tuple->t_tableOid = slot->tts_tableOid;/* Perform the insertion, and copy the resulting ItemPointer */heap_insert(relation, tuple, cid, options, bistate);ItemPointerCopy(&tuple->t_self, &slot->tts_tid);if (shouldFree)pfree(tuple);
}/**	heap_insert		- insert tuple into a heap** The new tuple is stamped with current transaction ID and the specified command ID.*/
void
heap_insert(Relation relation, HeapTuple tup, CommandId cid, int options, BulkInsertState bistate)
{TransactionId xid = GetCurrentTransactionId();  // 获取事务XIDHeapTuple	heaptup;Buffer		buffer;Buffer		vmbuffer = InvalidBuffer;bool		all_visible_cleared = false;/** Fill in tuple header fields and toast the tuple if necessary.** Note: below this point, heaptup is the data we actually intend to store* into the relation; tup is the caller's original untoasted data.*/heaptup = heap_prepare_insert(relation, tup, xid, cid, options);/** Find buffer to insert this tuple into.  If the page is all visible,* this will also pin the requisite visibility map page.*/// Buffer中获取足够插入tuple大小的页， 要大于heaptup->t_lenbuffer = RelationGetBufferForTuple(relation, heaptup->t_len,InvalidBuffer, options, bistate,&vmbuffer, NULL);CheckForSerializableConflictIn(relation, NULL, InvalidBlockNumber);/* NO EREPORT(ERROR) from here till changes are logged */START_CRIT_SECTION();// 向页中插入tupleRelationPutHeapTuple(relation, buffer, heaptup,(options & HEAP_INSERT_SPECULATIVE) != 0);MarkBufferDirty(buffer);/* XLOG stuff */if (RelationNeedsWAL(relation)){XLogBeginInsert();XLogRegisterData((char *) &xlrec, SizeOfHeapInsert);xlhdr.t_infomask2 = heaptup->t_data->t_infomask2;xlhdr.t_infomask = heaptup->t_data->t_infomask;xlhdr.t_hoff = heaptup->t_data->t_hoff;/* note we mark xlhdr as belonging to buffer; if XLogInsert decides to* write the whole page to the xlog, we don't need to store* xl_heap_header in the xlog. */XLogRegisterBuffer(0, buffer, REGBUF_STANDARD | bufflags);XLogRegisterBufData(0, (char *) &xlhdr, SizeOfHeapHeader);/* PG73FORMAT: write bitmap [+ padding] [+ oid] + data */XLogRegisterBufData(0,(char *) heaptup->t_data + SizeofHeapTupleHeader,heaptup->t_len - SizeofHeapTupleHeader);/* filtering by origin on a row level is much more efficient */XLogSetRecordFlags(XLOG_INCLUDE_ORIGIN);// 把数据写入WAL Bufferrecptr = XLogInsert(RM_HEAP_ID, info);PageSetLSN(page, recptr);}
}

对于WAL日志部分内容，可参考《PostgreSQL技术内幕：事务处理深度探索》中的第4章。

页中插入一条元组

这个函数帮助我们理解Page, tuple，物理结构，看一条元组怎么插入页中

/** RelationPutHeapTuple - place tuple at specified page** !!! EREPORT(ERROR) IS DISALLOWED HERE !!!  Must PANIC on failure!!!** Note - caller must hold BUFFER_LOCK_EXCLUSIVE on the buffer.*/
void
RelationPutHeapTuple(Relation relation,Buffer buffer,HeapTuple tuple,bool token)
{Page		pageHeader;OffsetNumber offnum;// .../* Add the tuple to the page */pageHeader = BufferGetPage(buffer);offnum = PageAddItem(pageHeader, (Item) tuple->t_data,tuple->t_len, InvalidOffsetNumber, false, true);/* Update tuple->t_self to the actual position where it was stored */ItemPointerSet(&(tuple->t_self), BufferGetBlockNumber(buffer), offnum);// ...
}

具体插入是在PageAddItemExtended函数中实现的。

OffsetNumber
PageAddItemExtended(Page page,Item item,Size size,OffsetNumber offsetNumber,int flags)
{PageHeader	phdr = (PageHeader) page;Size		alignedSize;int			lower;int			upper;ItemId		itemId;OffsetNumber limit;bool		needshuffle = false;/** Be wary about corrupted page pointers*/if (phdr->pd_lower < SizeOfPageHeaderData ||phdr->pd_lower > phdr->pd_upper ||phdr->pd_upper > phdr->pd_special ||phdr->pd_special > BLCKSZ)ereport(PANIC,(errcode(ERRCODE_DATA_CORRUPTED),errmsg("corrupted page pointers: lower = %u, upper = %u, special = %u",phdr->pd_lower, phdr->pd_upper, phdr->pd_special)));/** Select offsetNumber to place the new item at*/limit = OffsetNumberNext(PageGetMaxOffsetNumber(page));/* was offsetNumber passed in? */if (OffsetNumberIsValid(offsetNumber)){/* yes, check it */if ((flags & PAI_OVERWRITE) != 0){if (offsetNumber < limit){itemId = PageGetItemId(phdr, offsetNumber);if (ItemIdIsUsed(itemId) || ItemIdHasStorage(itemId)){elog(WARNING, "will not overwrite a used ItemId");return InvalidOffsetNumber;}}}else{if (offsetNumber < limit)needshuffle = true; /* need to move existing linp's */}}else{/* offsetNumber was not passed in, so find a free slot *//* if no free slot, we'll put it at limit (1st open slot) */if (PageHasFreeLinePointers(phdr)){/** Scan line pointer array to locate a "recyclable" (unused)* ItemId.** Always use earlier items first.  PageTruncateLinePointerArray* can only truncate unused items when they appear as a contiguous* group at the end of the line pointer array.*/for (offsetNumber = FirstOffsetNumber;offsetNumber < limit;	/* limit is maxoff+1 */offsetNumber++){itemId = PageGetItemId(phdr, offsetNumber);/** We check for no storage as well, just to be paranoid;* unused items should never have storage.  Assert() that the* invariant is respected too.*/Assert(ItemIdIsUsed(itemId) || !ItemIdHasStorage(itemId));if (!ItemIdIsUsed(itemId) && !ItemIdHasStorage(itemId))break;}if (offsetNumber >= limit){/* the hint is wrong, so reset it */PageClearHasFreeLinePointers(phdr);}}else{/* don't bother searching if hint says there's no free slot */offsetNumber = limit;}}/* Reject placing items beyond the first unused line pointer */if (offsetNumber > limit){elog(WARNING, "specified item offset is too large");return InvalidOffsetNumber;}/* Reject placing items beyond heap boundary, if heap */if ((flags & PAI_IS_HEAP) != 0 && offsetNumber > MaxHeapTuplesPerPage){elog(WARNING, "can't put more than MaxHeapTuplesPerPage items in a heap page");return InvalidOffsetNumber;}/** Compute new lower and upper pointers for page, see if it'll fit.** Note: do arithmetic as signed ints, to avoid mistakes if, say,* alignedSize > pd_upper.*/if (offsetNumber == limit || needshuffle)lower = phdr->pd_lower + sizeof(ItemIdData);elselower = phdr->pd_lower;alignedSize = MAXALIGN(size);upper = (int) phdr->pd_upper - (int) alignedSize;if (lower > upper)return InvalidOffsetNumber;/** OK to insert the item.  First, shuffle the existing pointers if needed.*/itemId = PageGetItemId(phdr, offsetNumber);if (needshuffle)memmove(itemId + 1, itemId,(limit - offsetNumber) * sizeof(ItemIdData));/* set the line pointer */ItemIdSetNormal(itemId, upper, size);/** Items normally contain no uninitialized bytes.  Core bufpage consumers* conform, but this is not a necessary coding rule; a new index AM could* opt to depart from it.  However, data type input functions and other* C-language functions that synthesize datums should initialize all* bytes; datumIsEqual() relies on this.  Testing here, along with the* similar check in printtup(), helps to catch such mistakes.** Values of the "name" type retrieved via index-only scans may contain* uninitialized bytes; see comment in btrescan().  Valgrind will report* this as an error, but it is safe to ignore.*/VALGRIND_CHECK_MEM_IS_DEFINED(item, size);/* copy the item's data onto the page */memcpy((char *) page + upper, item, size);/* adjust page header */phdr->pd_lower = (LocationIndex) lower;phdr->pd_upper = (LocationIndex) upper;return offsetNumber;
}

分析数据库的源码，有一个困难，那就是源码实在是太多了，内容太多，所以每次分析就只能有一个侧重点，不可能面面都去分析。最好是抓住一个功能点分析，不要漫天去分析代码。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/29621.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据库面试题-ElasticSearch

数据库面试题-ElasticSearch

数据库面试题-ElasticSearch 1、ElasticSearch是什么？2、谈谈ElasticSearch分词与倒排索引的原理？3、说说ElasticSearch分段存储的思想？4、说说你对ElasticSearch段合并的策略思想的认识？5、知道什么是文本相似度TF-IDF吗？6、说说ElasticSearch写索引的逻辑？7、说说Elast…
阅读更多...
AI大模型的战场：通用大模型VS垂直大模型，谁会赢？

AI大模型的战场：通用大模型VS垂直大模型，谁会赢？

人不走空 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌赋&#xff1a;斯是陋室&#xff0c;惟吾德馨 目录 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌…
阅读更多...
Clickhouse备份恢复_clickhouse-backup方式备份恢复的使用介绍

Clickhouse备份恢复_clickhouse-backup方式备份恢复的使用介绍

https://clickhouse.com/docs/zh/operations/backup https://github.com/Altinity/clickhouse-backup?tabreadme-ov-file#readmeclichouse-backup备份的总结 1、clichouse-backup备份的方式是物理备份 2、clichouse-backup只能在数据库本机运行备份&#xff0c;在远程异机去备…
阅读更多...
联合类型和交叉类型

联合类型和交叉类型

联合类型和交叉类型 在TypeScript中,除了基本的类型(如 number、string、boolean 等),我们还可以使用更加高级的类型来描述复杂的数据结构。其中,联合类型和交叉类型就是两个非常有用的高级类型。 联合类型(Union Types) 联合类型允许一个变量可以是多种类型中的任意一种。我…
阅读更多...
Mybatis (plus 也适用)原生直接执行某句SQL

Mybatis (plus 也适用)原生直接执行某句SQL

场景 想要不论传入什么sql 都能直接执行 示例 Autowiredprivate SqlSessionTemplate sqlSessionTemplate;public void executeSql(String replaceSql) {if (StringUtils.isEmpty(replaceSql)) {return;}try {SqlSession sqlSession sqlSessionTemplate.getSqlSessionFactory…
阅读更多...
二、利用YOLOv8解决现实世界的问题

二、利用YOLOv8解决现实世界的问题

Ultralytics Solutions提供顶尖的YOLO模型应用&#xff0c;提供现实世界的解决方案如&#xff1a;目标记数&#xff0c;模糊和安全系统&#xff0c;提升效率和准确率在各种工业中。探索YOLOv8在实用性和有效性上的强大功能。 解决方案&#xff1a; 下面展示利用Ultralytics So…
阅读更多...
abstract 的 method 是否可同时是 static,是否可同时是 native，是否可同时是 synchronized？

abstract 的 method 是否可同时是 static,是否可同时是 native，是否可同时是 synchronized？

在 Java 中&#xff0c;abstract 方法不能同时是 static、native 或 synchronized。让我们详细解释每种情况&#xff0c;并提供相应的代码示例和解释&#xff1a; abstract 方法不能是 static&#xff1a; abstract 方法必须被子类实现&#xff0c;而 static 方法是与类相关的&…
阅读更多...
使用vscode插件du-i18n处理前端项目国际化翻译多语言

使用vscode插件du-i18n处理前端项目国际化翻译多语言

前段时间我写了一篇关于项目国际化使用I18n组件的文章&#xff0c;Vue3 TS 使用国际化组件I18n&#xff0c;那个时候还没真正在项目中使用&#xff0c;需求排期还没有定&#xff0c;相当于是预研。 当时就看了一下大概怎么用&#xff0c;改了一个简单的页面&#xff0c;最近需…
阅读更多...
【Python系列】Python 中的日期和时间处理

【Python系列】Python 中的日期和时间处理

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…
阅读更多...
Vue3模拟国足18强赛抽签

Vue3模拟国足18强赛抽签

Vue3国足18强赛抽签 国足遇到这个对阵&#xff0c;能顺利出现吗&#xff1f; 1、系统演示 Vue3模拟国足18强赛抽签 2、关键代码 开始抽签 <script setup> import FenDang from "/components/chouqian/FenDang.vue"; import {ref} from "vue";le…
阅读更多...
赶紧收藏！2024 年最常见 20道设计模式面试题（三）

赶紧收藏！2024 年最常见 20道设计模式面试题（三）

上一篇地址&#xff1a;赶紧收藏&#xff01;2024 年最常见 20道设计模式面试题&#xff08;二&#xff09;-CSDN博客 五、建造者模式&#xff1a;建造者模式如何解决复杂对象的构建问题&#xff1f; 建造者模式&#xff08;Builder Pattern&#xff09;是一种对象创建型设计…
阅读更多...
看完轻松解决家里灰尘毛絮多难题？除粉尘的空气净化器品牌分享

看完轻松解决家里灰尘毛絮多难题？除粉尘的空气净化器品牌分享

家里的空气中弥漫着灰尘和毛絮&#xff0c;让人呼吸不畅&#xff0c;也影响着家人的健康。灰尘中含有各种有害物质&#xff0c;如细菌、病毒、花粉等&#xff0c;长期吸入会导致呼吸道疾病、皮肤过敏等问题。尤其是对于有宠物、孩子、过敏人群来说&#xff0c;空气质量更是至关…
阅读更多...
关于办公软件的使用

关于办公软件的使用

第一部分&#xff1a; 常用函数的使用 在使用的地方&#xff0c;输入SUM(B2:F2)回车 第二部分&#xff1a; 自定义函数的使用 1、打开 宏编辑 2、 自定义函数方法 3、自定义函数的使用和常用函数一样&#xff1a; 在使用的地方&#xff0c;输入计算面积(A3&#xff0c;B3)…
阅读更多...
游戏试玩站打码zq平台系统可运营的任务网源码

游戏试玩站打码zq平台系统可运营的任务网源码

安装说明 1.恢复数据&#xff1b; 2.数据连接库配置路径&#xff1a;protected\config\mail.php 文件中修改第60行 &#xff08;记得不要用记事本修改&#xff0c;否则可能会出现验证码显示不了问题&#xff0c;建议用Notepad&#xff09; 3.浏览器访问输入 127.0.0.2 显示界…
阅读更多...
Hype4.0 for Mac软件下载-Hype for Mac HTML5 创作工具下载附加详细安装步骤

Hype4.0 for Mac软件下载-Hype for Mac HTML5 创作工具下载附加详细安装步骤

Hype 4 Pro Mac正式版是款功能实用的动画创作工具。Hype 4 Pro Mac最新版可以帮您轻松创建令人惊叹的动画和交互式网页内容。并且Hype 4 Pro Mac还可被设计师用来创建动画&#xff0c;为网页、信息图形、演示文稿、数字杂志、广告、iBooks、教育内容、应用程序原型、作品集、动…
阅读更多...
C# —— 字典

C# —— 字典

简介 字典: 包含一个key(键)和这个key所对应的value(值),字典是无序的,key是唯一的&#xff0c;可以根据key获取值。可以吧键当成数组的索引值进行理解 <> 泛型 定义一个字典 new Dictionary<key的类型, value值的类型>() var dic new Dictionary<string, s…
阅读更多...
Flume基础教程

Flume基础教程

Apache Flume教程 资料来源&#xff1a;Apache Flume - Introduction (tutorialspoint.com) Flume是一个标准的、简单的、健壮的、灵活的、可扩展的工具&#xff0c;用于将从各种数据生产者(web服务器)中所产生的数据抽取到Hadoop中。在本教程中&#xff0c;我们将使用简单的…
阅读更多...
软件测试技术（一）：软件测试流程

软件测试技术（一）：软件测试流程

软件测试流程 软件测试流程如下&#xff1a; 测试计划测试设计测试执行 单元测试集成测试确认测试系统测试验收测试回归测试验证活动 测试计划 测试计划由测试负责人来编写&#xff0c;用于确定各个测试阶段的目标和策略。这个过程将输出测试计划&#xff0c;明确要完成的测…
阅读更多...
ch552g使用torch-pad测试触摸按键遇到的问题

ch552g使用torch-pad测试触摸按键遇到的问题

基本工作原理 通过设置好功能在寄存器和控制寄存器检测引脚输入的值。 实际检测阶段分为3个步骤&#xff1a;第一阶段&#xff1a;选择需要检测的阶段&#xff0c;选择扫描周期1或2ms&#xff0c;开启触摸按键中断&#xff0c;然后在87us内为充电准备阶段&#xff0c;87us内数…
阅读更多...
Matplotlib(小案例）

Matplotlib(小案例）

1、3D表面形状的绘制 from mpl_toolkits.mplot3d import Axes3D import matplotlib.pyplot as plt import numpy as np import matplotlib as mplfigplt.figure() axfig.add_subplot(111,projection3d)unp.linspace(0,2*np.pi,100) vnp.linspace(0,np.pi,100) x10*np.outer(n…
阅读更多...
最新文章

Copyright @ 2022~2023