7. Автоочистка
Суть
- autovacuum launcher раз в
autovacuum_naptime(1 мин) запускает worker на каждую активную базу; одновременно не большеautovacuum_max_workers(3; с v18 меняется на лету в пределахautovacuum_worker_slots= 16). Worker строит списки таблиц для VACUUM и ANALYZE и обрабатывает их; параллелизма внутри таблицы нет. - VACUUM нужен, если
n_dead_tup > min(threshold 50 + scale_factor 0.2 × reltuples, max_threshold 100 млн (v18))илиn_ins_since_vacuum > 1000 + 0.2 × reltuples × доля незамороженных страниц(v13, с v18 учитываетrelallfrozen). ANALYZE — еслиn_mod_since_analyze > 50 + 0.1 × reltuples. Всё переопределяется параметрами хранения таблицы. - Заморозкой управляют 4 возраста:
vacuum_freeze_min_age(50 млн — с какого возраста замораживать),vacuum_freeze_table_age(150 млн — агрессивная очистка всех не-all-frozen страниц),autovacuum_freeze_max_age(200 млн — аварийная автоочистка даже приautovacuum = off),vacuum_failsafe_age(1,6 млрд — без пауз и без индексов). - Нетерпеливое сканирование (eager scan, v18): обычная очистка читает часть all-visible, но не all-frozen страниц, чтобы заранее их заморозить: успехов ≤ 20 % таких страниц, неудач ≤
vacuum_max_eager_freeze_failure_rate(0.03) на каждый регион 4096 страниц (≈ 122 промаха). COPY … WITH (FREEZE)в таблицу, созданную/очищенную в той же транзакции, сразу замораживает строки и заполняет карту видимости (формально нарушая изоляцию RR-снимков).- Нагрузка: работа ≈
cost_limitединиц (hit 1, miss 2, dirty 20), затем сонcost_delay. Ручная VACUUM по умолчанию не спит (0 мс), автоочистка — 2 мс; лимит делится между всеми workers. Мониторинг:pg_stat_progress_vacuum,log_autovacuum_min_duration,track_cost_delay_timingиtotal_*vacuum_time(v18).
Устройство
Заголовок раздела «Устройство»Калькулятор порогов
Заголовок раздела «Калькулятор порогов»Статистика таблицы
Параметры
На больших таблицах scale_factor = 0.2 — это огромно: для 1 млрд строк очистка ждала бы 200 млн мертвых версий. Обычно его уменьшают (глобально или для горячих таблиц, например ALTER TABLE big SET (autovacuum_vacuum_scale_factor = 0.01)), а v18 добавил потолок autovacuum_vacuum_max_threshold.
Заморозка: какой возраст что включает
Заголовок раздела «Заморозка: какой возраст что включает»- Агрессивная заморозка всей таблицы происходит не чаще, чем раз в
vacuum_freeze_table_age − vacuum_freeze_min_age= 100 млн транзакций. - Очистка пропускает all-visible страницы, только если их ≥ 32 подряд (иначе мешала бы предвыборке ОС); последнюю страницу читает всегда (проверка перед усечением).
- Все параметры можно задать для таблицы, но имена параметров хранения начинаются с
autovacuum_:autovacuum_freeze_min_age,autovacuum_freeze_table_age,autovacuum_freeze_max_age. - Срочно заморозить вручную:
VACUUM (freeze, index_cleanup false).
Нетерпеливое сканирование (v18)
Заголовок раздела «Нетерпеливое сканирование (v18)»| Величина | Значение по умолчанию |
|---|---|
| минимальный размер таблицы | 8192 страницы |
| размер региона | 4096 страниц (фиксирован) |
| допустимые неудачи в регионе | vacuum_max_eager_freeze_failure_rate = 0.03 → ≈122 страницы |
| максимум успешно замороженных | 20 % страниц all-visible, но не all-frozen |
| выключить | vacuum_max_eager_freeze_failure_rate = 0 |
В книге: таблица из 8192 all-visible страниц, обычная VACUUM VERBOSE → disabling eager scanning after freezing 1638 eagerly scanned blocks (20 % от 8192), строка pages: … 1639 eagerly scanned.
Регулирование нагрузки
Заголовок раздела «Регулирование нагрузки»| Параметр | По умолчанию | Смысл |
|---|---|---|
vacuum_cost_limit |
200 | единиц работы за цикл |
vacuum_cost_delay |
0 | сон ручной очистки (не спит) |
autovacuum_vacuum_cost_limit |
−1 → 200 | общий лимит на всех workers |
autovacuum_vacuum_cost_delay |
2ms | сон автоочистки |
vacuum_cost_page_hit / miss / dirty |
1 / 2 / 20 | стоимость страницы из кеша / с диска / ставшей грязной |
autovacuum_work_mem |
−1 → maintenance_work_mem | память под TID store у каждого worker |
За цикл автоочистка обрабатывает от 200 страниц (всё в кеше, ничего не пачкается) до ≈9 (всё с диска и всё пачкается). Чтобы ускорить автоочистку при увеличении autovacuum_max_workers, пропорционально увеличьте autovacuum_vacuum_cost_limit.
-- что сейчас делает очисткаSELECT pid, relid::regclass, phase, heap_blks_total, heap_blks_scanned, heap_blks_vacuumed, index_vacuum_count, dead_tuple_bytes, num_dead_item_ids, delay_timeFROM pg_stat_progress_vacuum;
-- кто давно не чистился и сколько мусораSELECT relname, n_dead_tup, n_ins_since_vacuum, last_autovacuum, last_autoanalyze, total_autovacuum_timeFROM pg_stat_user_tables ORDER BY n_dead_tup DESC LIMIT 10;
-- угроза wraparoundSELECT datname, age(datfrozenxid) FROM pg_database ORDER BY 2 DESC;SELECT relname, age(relfrozenxid) FROM pg_class WHERE relkind IN ('r','m','t') ORDER BY 2 DESC LIMIT 10;Проверить на живом PostgreSQL
Заголовок раздела «Проверить на живом PostgreSQL»В PGlite автоочистки нет (однопользовательский режим), так что заморозку можно наблюдать вручную, как в книге.
Вопросы для собеседования
Заголовок раздела «Вопросы для собеседования»Когда автоочистка решает обработать таблицу?базовый
По статистике использования: если мертвых версий больше autovacuum_vacuum_threshold + autovacuum_vacuum_scale_factor × reltuples (в v18 не больше autovacuum_vacuum_max_threshold), или вставленных с прошлой очистки строк больше autovacuum_vacuum_insert_threshold + insert_scale_factor × reltuples × доля незамороженных страниц, или если возраст relfrozenxid превысил autovacuum_freeze_max_age. ANALYZE — если изменено больше analyze_threshold + analyze_scale_factor × reltuples строк.
Зачем очищать таблицу, в которую только вставляют?средний
Мертвых версий нет, но нужно: заморозить строки заранее (иначе потом придется агрессивно перечитывать огромную таблицу), обновить карту видимости — без нее не работает Index Only Scan, и проставить hint bits. Для этого в v13 появился порог по вставкам autovacuum_vacuum_insert_threshold/scale_factor.
Автоочистка не успевает. Что крутить?средний
Смотреть, что мешает: горизонт (долгие транзакции, слоты), нехватка памяти (index_vacuum_count > 1 → увеличить autovacuum_work_mem), пороги (уменьшить scale_factor для больших таблиц), скорость (уменьшить autovacuum_vacuum_cost_delay или увеличить autovacuum_vacuum_cost_limit; при увеличении autovacuum_max_workers лимит нужно поднять пропорционально, иначе каждый worker работает медленнее), включить log_autovacuum_min_duration и track_cost_delay_timing, чтобы увидеть время сна.
Чем агрессивная очистка отличается от обычной?средний
Обычная пропускает все all-visible страницы (их нечего чистить) и потому может оставлять незамороженные версии и не сдвигать relfrozenxid. Агрессивная (age(relfrozenxid) > vacuum_freeze_table_age или VACUUM FREEZE) читает все страницы, кроме all-frozen, замораживает всё за горизонтом и гарантированно продвигает relfrozenxid. Карта заморозки делает ее инкрементальной и устойчивой к прерываниям.
Что такое failsafe-режим очистки?глубокий
С v14: если возраст незамороженной транзакции превышает vacuum_failsafe_age (1,6 млрд), очистка переходит в приоритетный режим — перестает учитывать cost delay и пропускает очистку индексов, чтобы как можно быстрее заморозить версии и избежать остановки выдачи xid.
Что нового в автоочистке в PostgreSQL 18?глубокий
autovacuum_vacuum_max_threshold (потолок порога мертвых версий, 100 млн); учет relallfrozen в пороге вставок; изменение autovacuum_max_workers без перезапуска в пределах autovacuum_worker_slots; нетерпеливое сканирование (vacuum_max_eager_freeze_failure_rate); track_cost_delay_timing и столбец delay_time; total_vacuum_time/total_autovacuum_time в pg_stat_all_tables; конфигурационный параметр vacuum_truncate.