Перейти к содержимому

6. Очистка и заморозка

Суть

  • VACUUM обрабатывает таблицу целиком: удаляет мертвые версии (удаленные до горизонта базы) и ссылки на них из всех индексов; указатели становятся unused. Работает параллельно с чтением и записью (блокировка ShareUpdateExclusive: мешает только CREATE INDEX, большинству ALTER TABLE и другой очистке той же таблицы).
  • Пропускает страницы, отмеченные в карте видимости (all-visible), и сама ее обновляет; заполняет карту свободного пространства. Видно VACUUM VERBOSE: removable cutoff — горизонт, dead but not yet removable — версии, которые держит горизонт.
  • Фазы: scanning heap (TID мертвых версий → TID store, префиксное дерево с v17, размер ≤ maintenance_work_mem) → vacuuming indexes (каждый индекс читается целиком) → vacuuming heap (освобождение указателей) → повтор, если TID store переполнился → truncating heap (отрезать пустой хвост, нужна AccessExclusiveLock ≤ 5 с).
  • xid 32-битный: 2³² номеров закольцованы, сравниваются по модулю — половина «в прошлом», половина «в будущем». Без мер через ≈2,1 млрд транзакций старые версии стали бы невидимыми (wraparound).
  • Заморозка: очистка помечает версии за горизонтом как замороженные (оба бита xmin_committed + xmin_aborted), они видны всем независимо от xmin, номер можно переиспользовать. Страницы с только замороженными версиями отмечаются в карте заморозки (all-frozen). xmax в заморозке не участвует.
  • ANALYZE собирает статистику (reltuples, relpages, гистограммы и т. д.); VACUUM ANALYZE — просто последовательно две операции.
симулятор Как работает VACUUM
Каждый столбец — табличная страница на 4 версии строк. Под страницей — биты карты видимости (V — all-visible, F — all-frozen) и карта свободного пространства (FSM). Справа — индекс: по ссылке на каждую версию.
phase: idle
Таблица (8 стр.)
0
VF
fsm 0
1
VF
fsm 0
2
VF
fsm 0
3
VF
fsm 0
4
VF
fsm 0
5
VF
fsm 0
6
VF
fsm 0
7
VF
fsm 0
TID store
пусто
Индекс (32 записей)
актуальнаямертвая (за горизонтом)неактуальная, но горизонт держит долгая транзакциязамороженасвободный слот

Обратите внимание:

  • без долгой транзакции все мертвые версии удаляются за один проход; с долгой — они остаются dead but not yet removable;
  • маленький TID store → несколько проходов по индексам (index scans: N в выводе). В реальности при разумном maintenance_work_mem (64 МБ по умолчанию; хранилище с v17 тратит ≈ 0,5 байта на TID) это редкость;
  • DELETE хвоста → VACUUM возвращает место ОС, а «дыры» в середине таблицы — нет. Отключить усечение: VACUUM (truncate off), параметр хранения vacuum_truncate, а с v18 и одноименный конфигурационный параметр.
анимация Переполнение счетчика транзакций (wraparound)
Номера 32-битные и сравниваются по модулю 2³²: для текущей транзакции половина круга «в прошлом», половина — «в будущем». Двигайте счетчик и следите за старой версией строки T1.
age(T1)0.72 млрдT1 в прошлом: виднаT1now

зеленая половина — прошлое для текущей транзакции (≈2,1 млрд номеров назад), красная — будущее.

Когда возраст T1 превышает 2³¹ ≈ 2,1 млрд, ее номер «перепрыгивает» в будущее — и строка, вставленная давным-давно, внезапно перестает быть видна. Это катастрофа, которую предотвращает заморозка.

Замороженная версия (биты xmin_committed + xmin_aborted одновременно) видна во всех снимках независимо от номера xmin — как будто xmin = −∞. Ее номер можно переиспользовать.

SQL Живой PostgreSQL 18 в браузере
Настоящий PostgreSQL 18 (PGlite, WebAssembly) с pageinspect и pg_visibility. Каждый оператор выполняется отдельно, как в psql. Функции heap_page() и index_page() из книги уже созданы.
Что делает VACUUM? Почему он не уменьшает размер таблицы?базовый

Удаляет мертвые версии (за горизонтом базы) из таблицы и ссылки на них из индексов, освобождает указатели, обновляет карты видимости и свободного пространства, замораживает старые версии, обновляет relfrozenxid и статистику. Освобожденное место остается внутри файла и переиспользуется для новых версий; файл уменьшается, только если в конце образовались пустые страницы (усечение). Вернуть место ОС полностью может лишь перестроение (VACUUM FULL и аналоги).

Почему VACUUM не может удалить мертвые строки? Как диагностировать?средний

Горизонт базы удерживается: долгой/зависшей транзакцией (pg_stat_activity.backend_xmin, state = 'idle in transaction'), слотом репликации (pg_replication_slots.xmin/catalog_xmin), hot_standby_feedback с долгими запросами на реплике, подготовленной транзакцией (pg_prepared_xacts). В VACUUM VERBOSE это видно как N are dead but not yet removable и старый removable cutoff.

Опишите фазы VACUUM. Почему индексы читаются целиком?средний

Сканирование таблицы (с пропуском all-visible страниц) с накоплением TID мертвых версий → очистка индексов → очистка таблицы → повторить, если память кончилась → уборка индексов → усечение. Индекс позволяет найти запись по ключу, но не по TID табличной версии, поэтому для удаления ссылок каждый индекс просматривается полностью; несколько проходов по индексам из-за нехватки maintenance_work_mem очень дороги. Ручной VACUUM может чистить разные индексы параллельно (VACUUM (parallel N)), автоочистка — нет.

Что такое transaction ID wraparound и как PostgreSQL его предотвращает?средний

xid — 32 бита; номера сравниваются по модулю 2³², поэтому для любой транзакции ≈2 млрд номеров в прошлом и ≈2 млрд в будущем. Версия с очень старым xmin в какой-то момент оказалась бы «в будущем» и стала невидима. Очистка замораживает версии за горизонтом (видны всем, xmin игнорируется); relfrozenxid/datfrozenxid отслеживают самую старую незамороженную транзакцию; при приближении к пределу запускается агрессивная и аварийная автоочистка, а у самого предела сервер перестает выдавать новые xid.

Почему не сделать xid 64-битным?глубокий

xmin и xmax хранятся в заголовке каждой версии строки; 64-битные номера добавили бы 8 байт к и так большому заголовку (≥24 байт). Внутри (вне страниц) используется 64-битный FullTransactionId = эпоха + xid (pg_current_xact_id() возвращает xid8). Существуют форки/патчи с 64-битными xid в страницах, но в основном PostgreSQL их нет.

Как раньше и как сейчас отмечается замороженная версия?глубокий

До 9.4 xmin заменялся специальным FrozenTransactionId = 2. Сейчас xmin сохраняется (удобно для отладки), а заморозка — это одновременно выставленные биты HEAP_XMIN_COMMITTED и HEAP_XMIN_INVALID (в выводе heap_page — f). В старых, обновленных через pg_upgrade базах xmin = 2 еще может встречаться.