6. Очистка и заморозка
Суть
- VACUUM обрабатывает таблицу целиком: удаляет мертвые версии (удаленные до горизонта базы) и ссылки на них из всех индексов; указатели становятся unused. Работает параллельно с чтением и записью (блокировка ShareUpdateExclusive: мешает только
CREATE INDEX, большинствуALTER TABLEи другой очистке той же таблицы). - Пропускает страницы, отмеченные в карте видимости (all-visible), и сама ее обновляет; заполняет карту свободного пространства. Видно
VACUUM VERBOSE: removable cutoff — горизонт, dead but not yet removable — версии, которые держит горизонт. - Фазы: scanning heap (TID мертвых версий → TID store, префиксное дерево с v17, размер ≤
maintenance_work_mem) → vacuuming indexes (каждый индекс читается целиком) → vacuuming heap (освобождение указателей) → повтор, если TID store переполнился → truncating heap (отрезать пустой хвост, нужна AccessExclusiveLock ≤ 5 с). - xid 32-битный: 2³² номеров закольцованы, сравниваются по модулю — половина «в прошлом», половина «в будущем». Без мер через ≈2,1 млрд транзакций старые версии стали бы невидимыми (wraparound).
- Заморозка: очистка помечает версии за горизонтом как замороженные (оба бита
xmin_committed+xmin_aborted), они видны всем независимо от xmin, номер можно переиспользовать. Страницы с только замороженными версиями отмечаются в карте заморозки (all-frozen).xmaxв заморозке не участвует. - ANALYZE собирает статистику (reltuples, relpages, гистограммы и т. д.);
VACUUM ANALYZE— просто последовательно две операции.
Фазы очистки
Заголовок раздела «Фазы очистки»Таблица (8 стр.)
TID store
Индекс (32 записей)
Обратите внимание:
- без долгой транзакции все мертвые версии удаляются за один проход; с долгой — они остаются dead but not yet removable;
- маленький TID store → несколько проходов по индексам (
index scans: Nв выводе). В реальности при разумномmaintenance_work_mem(64 МБ по умолчанию; хранилище с v17 тратит ≈ 0,5 байта на TID) это редкость; DELETEхвоста → VACUUM возвращает место ОС, а «дыры» в середине таблицы — нет. Отключить усечение:VACUUM (truncate off), параметр храненияvacuum_truncate, а с v18 и одноименный конфигурационный параметр.
Переполнение счетчика и заморозка
Заголовок раздела «Переполнение счетчика и заморозка»зеленая половина — прошлое для текущей транзакции (≈2,1 млрд номеров назад), красная — будущее.
Когда возраст T1 превышает 2³¹ ≈ 2,1 млрд, ее номер «перепрыгивает» в будущее — и строка, вставленная давным-давно, внезапно перестает быть видна. Это катастрофа, которую предотвращает заморозка.
Замороженная версия (биты xmin_committed + xmin_aborted одновременно) видна во всех снимках независимо от номера xmin — как будто xmin = −∞. Ее номер можно переиспользовать.
Проверить на живом PostgreSQL
Заголовок раздела «Проверить на живом PostgreSQL»Вопросы для собеседования
Заголовок раздела «Вопросы для собеседования»Что делает VACUUM? Почему он не уменьшает размер таблицы?базовый
Удаляет мертвые версии (за горизонтом базы) из таблицы и ссылки на них из индексов, освобождает указатели, обновляет карты видимости и свободного пространства, замораживает старые версии, обновляет relfrozenxid и статистику. Освобожденное место остается внутри файла и переиспользуется для новых версий; файл уменьшается, только если в конце образовались пустые страницы (усечение). Вернуть место ОС полностью может лишь перестроение (VACUUM FULL и аналоги).
Почему VACUUM не может удалить мертвые строки? Как диагностировать?средний
Горизонт базы удерживается: долгой/зависшей транзакцией (pg_stat_activity.backend_xmin, state = 'idle in transaction'), слотом репликации (pg_replication_slots.xmin/catalog_xmin), hot_standby_feedback с долгими запросами на реплике, подготовленной транзакцией (pg_prepared_xacts). В VACUUM VERBOSE это видно как N are dead but not yet removable и старый removable cutoff.
Опишите фазы VACUUM. Почему индексы читаются целиком?средний
Сканирование таблицы (с пропуском all-visible страниц) с накоплением TID мертвых версий → очистка индексов → очистка таблицы → повторить, если память кончилась → уборка индексов → усечение. Индекс позволяет найти запись по ключу, но не по TID табличной версии, поэтому для удаления ссылок каждый индекс просматривается полностью; несколько проходов по индексам из-за нехватки maintenance_work_mem очень дороги. Ручной VACUUM может чистить разные индексы параллельно (VACUUM (parallel N)), автоочистка — нет.
Что такое transaction ID wraparound и как PostgreSQL его предотвращает?средний
xid — 32 бита; номера сравниваются по модулю 2³², поэтому для любой транзакции ≈2 млрд номеров в прошлом и ≈2 млрд в будущем. Версия с очень старым xmin в какой-то момент оказалась бы «в будущем» и стала невидима. Очистка замораживает версии за горизонтом (видны всем, xmin игнорируется); relfrozenxid/datfrozenxid отслеживают самую старую незамороженную транзакцию; при приближении к пределу запускается агрессивная и аварийная автоочистка, а у самого предела сервер перестает выдавать новые xid.
Почему не сделать xid 64-битным?глубокий
xmin и xmax хранятся в заголовке каждой версии строки; 64-битные номера добавили бы 8 байт к и так большому заголовку (≥24 байт). Внутри (вне страниц) используется 64-битный FullTransactionId = эпоха + xid (pg_current_xact_id() возвращает xid8). Существуют форки/патчи с 64-битными xid в страницах, но в основном PostgreSQL их нет.
Как раньше и как сейчас отмечается замороженная версия?глубокий
До 9.4 xmin заменялся специальным FrozenTransactionId = 2. Сейчас xmin сохраняется (удобно для отладки), а заморозка — это одновременно выставленные биты HEAP_XMIN_COMMITTED и HEAP_XMIN_INVALID (в выводе heap_page — f). В старых, обновленных через pg_upgrade базах xmin = 2 еще может встречаться.