Egor Rogov PostgreSQL 14 Internals Postgres Professional Moscow, ���� The elephant on the cover is a fragment of an illustration from Edward Topsell’s The History of Four-footed Beasts and Serpents, published in London in ���� PostgreSQL 14 Internals by Egor Rogov Translated from Russian by Liudmila Mantrova © Postgres Professional, 2022–2023 ISBN 978-5-6045970-4-0 This book in ��� is available at postgrespro.com/community/books/internals Contents at a Glance About This Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Part I Isolation and MVCC 37 2 Isolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3 Pages and Tuples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4 Snapshots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 5 Page Pruning and HOT Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 6 Vacuum and Autovacuum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 7 Freezing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 8 Rebuilding Tables and Indexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 Part II Buffer Cache and WAL 145 9 Buffer Cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 10 Write-Ahead Log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 11 WAL Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182 Part III Locks 197 12 Relation-Level Locks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 13 Row-Level Locks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210 14 Miscellaneous Locks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231 15 Locks on Memory Structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240 Part IV Query Execution 249 16 Query Execution Stages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 17 Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271 18 Table Access Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 19 Index Access Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 20 Index Scans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 21 Nested Loop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350 22 Hashing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 23 Sorting and Merging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387 3 Contents at a Glance Part V Types of Indexes 409 24 Hash . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411 25 B-tree . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421 26 GiST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 27 SP-GiST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472 28 GIN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 29 BRIN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541 4 Table of Contents About This Book 15 1 Introduction 20 1.1 Data Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 Databases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 System Catalog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Schemas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Tablespaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Files and Forks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 Pages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 TOAST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.2 Processes and Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.3 Clients and the Client-Server Protocol . . . . . . . . . . . . . . . . . . . . . 34 Part I Isolation and MVCC 37 2 Isolation 39 2.1 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.2 Isolation Levels and Anomalies in SQL Standard . . . . . . . . . . . . . . . 41 Lost Update . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 Dirty Reads and Read Uncommitted . . . . . . . . . . . . . . . . . . . . . . 42 Non-Repeatable Reads and Read Committed . . . . . . . . . . . . . . . . . 42 Phantom Reads and Repeatable Read . . . . . . . . . . . . . . . . . . . . . . 42 No Anomalies and Serializable . . . . . . . . . . . . . . . . . . . . . . . . . 43 Why These Anomalies? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 2.3 Isolation Levels in PostgreSQL . . . . . . . . . . . . . . . . . . . . . . . . . 44 Read Committed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Repeatable Read . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Serializable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.4 Which Isolation Level to Use? . . . . . . . . . . . . . . . . . . . . . . . . . . 61 3 Pages and Tuples 62 3.1 Page Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 Page Header . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 Special Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 5 Table of Contents Tuples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Item Pointers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Free Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.2 Row Version Layout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.3 Operations on Tuples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 Insert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 Commit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 Delete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 Abort . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 Update . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 3.4 Indexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.5 TOAST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 3.6 Virtual Transactions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 3.7 Subtransactions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Savepoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Errors and Atomicity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 4 Snapshots 80 4.1 What is a Snapshot? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.2 Row Version Visibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 4.3 Snapshot Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 4.4 Visibility of Transactions’ Own Changes . . . . . . . . . . . . . . . . . . . . 86 4.5 Transaction Horizon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.6 System Catalog Snapshots . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.7 Exporting Snapshots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5 Page Pruning and HOT Updates 92 5.1 Page Pruning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 5.2 HOT Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 5.3 Page Pruning for HOT Updates . . . . . . . . . . . . . . . . . . . . . . . . . 98 5.4 HOT Chain Splits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 5.5 Page Pruning for Indexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 6 Vacuum and Autovacuum 102 6.1 Vacuum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 6.2 Database Horizon Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 6.3 Vacuum Phases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 Heap Scan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 Index Vacuuming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 Heap Vacuuming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 Heap Truncation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 6 Table of Contents 6.4 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 6.5 Automatic Vacuum and Analysis . . . . . . . . . . . . . . . . . . . . . . . . 109 About the Autovacuum Mechanism . . . . . . . . . . . . . . . . . . . . . . . 110 Which Tables Need to be Vacuumed? . . . . . . . . . . . . . . . . . . . . . . 111 Which Tables Need to Be Analyzed? . . . . . . . . . . . . . . . . . . . . . . 113 Autovacuum in Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 6.6 Managing the Load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Vacuum Throttling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 Autovacuum Throttling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 6.7 Monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 Monitoring Vacuum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 Monitoring Autovacuum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 7 Freezing 123 7.1 Transaction ID Wraparound . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 7.2 Tuple Freezing and Visibility Rules . . . . . . . . . . . . . . . . . . . . . . . 124 7.3 Managing Freezing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 Minimal Freezing Age . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 Age for Aggressive Freezing . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 Age for Forced Autovacuum . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 Age for Failsafe Freezing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 7.4 Manual Freezing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 Freezing by Vacuum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 Freezing Data at the Initial Loading . . . . . . . . . . . . . . . . . . . . . . 133 8 Rebuilding Tables and Indexes 135 8.1 Full Vacuuming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 Why is Routine Vacuuming not Enough? . . . . . . . . . . . . . . . . . . . . 135 Estimating Data Density . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 Freezing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 8.2 Other Rebuilding Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 Alternatives to Full Vacuuming . . . . . . . . . . . . . . . . . . . . . . . . . 140 Reducing Downtime During Rebuilding . . . . . . . . . . . . . . . . . . . . 140 8.3 Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 Read-Only Queries . . . . . . .
Texto de edu.postgrespro.com tal como lo publicó, leído de su página y mostrado aquí con el formato de El Autómata. El original, en edu.postgrespro.com · Volver a la noticia de El Autómata