Перейти к содержимому

7. Автоочистка

Суть

  • autovacuum launcher раз в autovacuum_naptime (1 мин) запускает worker на каждую активную базу; одновременно не больше autovacuum_max_workers (3; с v18 меняется на лету в пределах autovacuum_worker_slots = 16). Worker строит списки таблиц для VACUUM и ANALYZE и обрабатывает их; параллелизма внутри таблицы нет.
  • VACUUM нужен, если n_dead_tup > min(threshold 50 + scale_factor 0.2 × reltuples, max_threshold 100 млн (v18)) или n_ins_since_vacuum > 1000 + 0.2 × reltuples × доля незамороженных страниц (v13, с v18 учитывает relallfrozen). ANALYZE — если n_mod_since_analyze > 50 + 0.1 × reltuples. Всё переопределяется параметрами хранения таблицы.
  • Заморозкой управляют 4 возраста: vacuum_freeze_min_age (50 млн — с какого возраста замораживать), vacuum_freeze_table_age (150 млн — агрессивная очистка всех не-all-frozen страниц), autovacuum_freeze_max_age (200 млн — аварийная автоочистка даже при autovacuum = off), vacuum_failsafe_age (1,6 млрд — без пауз и без индексов).
  • Нетерпеливое сканирование (eager scan, v18): обычная очистка читает часть all-visible, но не all-frozen страниц, чтобы заранее их заморозить: успехов ≤ 20 % таких страниц, неудач ≤ vacuum_max_eager_freeze_failure_rate (0.03) на каждый регион 4096 страниц (≈ 122 промаха).
  • COPY … WITH (FREEZE) в таблицу, созданную/очищенную в той же транзакции, сразу замораживает строки и заполняет карту видимости (формально нарушая изоляцию RR-снимков).
  • Нагрузка: работа ≈ cost_limit единиц (hit 1, miss 2, dirty 20), затем сон cost_delay. Ручная VACUUM по умолчанию не спит (0 мс), автоочистка — 2 мс; лимит делится между всеми workers. Мониторинг: pg_stat_progress_vacuum, log_autovacuum_min_duration, track_cost_delay_timing и total_*vacuum_time (v18).
калькулятор Когда сработает автоочистка и автоанализ (PostgreSQL 18)
Это то же, что делает функция relation_needs_vacanalyze. Значения параметров — по умолчанию; их можно переопределить параметрами хранения таблицы.
Статистика таблицы
Параметры
мертвые: n_dead_tup 2 500 000 > min(50 + 0.2×10 000 000, 100 000 000) = 2 000 050 → VACUUM
вставки: n_ins_since_vacuum 500 000 > 1 000 + 0.2×10 000 000×(1 − 60 000/100 000) = 801 000 → нет
анализ: n_mod_since_analyze 900 000 > 50 + 0.1×10 000 000 = 1 000 050 → нет
1e31e51e71e91e21e41e61e8
по оси X — reltuples, по Y — порог мертвых версий (обе шкалы логарифмические); пунктир — без max_threshold; точка — ваша таблица

На больших таблицах scale_factor = 0.2 — это огромно: для 1 млрд строк очистка ждала бы 200 млн мертвых версий. Обычно его уменьшают (глобально или для горячих таблиц, например ALTER TABLE big SET (autovacuum_vacuum_scale_factor = 0.01)), а v18 добавил потолок autovacuum_vacuum_max_threshold.

интерактив Возраст age(relfrozenxid) и что происходит
Двигайте возраст самой старой незамороженной транзакции в таблице. Шкала нелинейная.
50 млн
150 млн
200 млн
1,6 млрд
≈ за 40 млн до
≈ за 3 млн до
age(relfrozenxid) = 120 млнvacuum_freeze_min_age
vacuum_freeze_min_age
50 млн
Обычная (не агрессивная) очистка замораживает версии, чей xmin старше этого возраста — но только на страницах, которые она читает (не all-visible). Если страницу все равно меняем — замораживаем все версии за горизонтом (v16+).
vacuum_freeze_table_age
150 млн
Если age(relfrozenxid) таблицы больше — очистка становится агрессивной: игнорирует карту видимости (но не карту заморозки), читает все не-all-frozen страницы и сдвигает relfrozenxid.
autovacuum_freeze_max_age
200 млн
Аварийная автоочистка для предотвращения wraparound: запускается даже при autovacuum = off. Ограничивает размер CLOG. Изменение требует перезапуска.
vacuum_failsafe_age
1,6 млрд
Предохранитель (v14+): очистка перестает спать (cost delay), пропускает очистку индексов и стремится только заморозить версии как можно быстрее.
xidWarnLimit
≈ за 40 млн до
В журнале и у клиентов появляются WARNING: database must be vacuumed within N transactions.
xidStopLimit
≈ за 3 млн до
Сервер перестает выдавать новые номера транзакций: «database is not accepting commands that assign new transaction IDs». Нужна ручная VACUUM проблемной базы.
  • Агрессивная заморозка всей таблицы происходит не чаще, чем раз в vacuum_freeze_table_age − vacuum_freeze_min_age = 100 млн транзакций.
  • Очистка пропускает all-visible страницы, только если их ≥ 32 подряд (иначе мешала бы предвыборке ОС); последнюю страницу читает всегда (проверка перед усечением).
  • Все параметры можно задать для таблицы, но имена параметров хранения начинаются с autovacuum_: autovacuum_freeze_min_age, autovacuum_freeze_table_age, autovacuum_freeze_max_age.
  • Срочно заморозить вручную: VACUUM (freeze, index_cleanup false).
Величина Значение по умолчанию
минимальный размер таблицы 8192 страницы
размер региона 4096 страниц (фиксирован)
допустимые неудачи в регионе vacuum_max_eager_freeze_failure_rate = 0.03 → ≈122 страницы
максимум успешно замороженных 20 % страниц all-visible, но не all-frozen
выключить vacuum_max_eager_freeze_failure_rate = 0

В книге: таблица из 8192 all-visible страниц, обычная VACUUM VERBOSE → disabling eager scanning after freezing 1638 eagerly scanned blocks (20 % от 8192), строка pages: … 1639 eagerly scanned.

Параметр По умолчанию Смысл
vacuum_cost_limit 200 единиц работы за цикл
vacuum_cost_delay 0 сон ручной очистки (не спит)
autovacuum_vacuum_cost_limit −1 → 200 общий лимит на всех workers
autovacuum_vacuum_cost_delay 2ms сон автоочистки
vacuum_cost_page_hit / miss / dirty 1 / 2 / 20 стоимость страницы из кеша / с диска / ставшей грязной
autovacuum_work_mem −1 → maintenance_work_mem память под TID store у каждого worker

За цикл автоочистка обрабатывает от 200 страниц (всё в кеше, ничего не пачкается) до ≈9 (всё с диска и всё пачкается). Чтобы ускорить автоочистку при увеличении autovacuum_max_workers, пропорционально увеличьте autovacuum_vacuum_cost_limit.

-- что сейчас делает очистка
SELECT pid, relid::regclass, phase, heap_blks_total, heap_blks_scanned, heap_blks_vacuumed,
index_vacuum_count, dead_tuple_bytes, num_dead_item_ids, delay_time
FROM pg_stat_progress_vacuum;
-- кто давно не чистился и сколько мусора
SELECT relname, n_dead_tup, n_ins_since_vacuum, last_autovacuum, last_autoanalyze,
total_autovacuum_time
FROM pg_stat_user_tables ORDER BY n_dead_tup DESC LIMIT 10;
-- угроза wraparound
SELECT datname, age(datfrozenxid) FROM pg_database ORDER BY 2 DESC;
SELECT relname, age(relfrozenxid) FROM pg_class WHERE relkind IN ('r','m','t') ORDER BY 2 DESC LIMIT 10;

В PGlite автоочистки нет (однопользовательский режим), так что заморозку можно наблюдать вручную, как в книге.

SQL Живой PostgreSQL 18 в браузере
Настоящий PostgreSQL 18 (PGlite, WebAssembly) с pageinspect и pg_visibility. Каждый оператор выполняется отдельно, как в psql. Функции heap_page() и index_page() из книги уже созданы.
Когда автоочистка решает обработать таблицу?базовый

По статистике использования: если мертвых версий больше autovacuum_vacuum_threshold + autovacuum_vacuum_scale_factor × reltuples (в v18 не больше autovacuum_vacuum_max_threshold), или вставленных с прошлой очистки строк больше autovacuum_vacuum_insert_threshold + insert_scale_factor × reltuples × доля незамороженных страниц, или если возраст relfrozenxid превысил autovacuum_freeze_max_age. ANALYZE — если изменено больше analyze_threshold + analyze_scale_factor × reltuples строк.

Зачем очищать таблицу, в которую только вставляют?средний

Мертвых версий нет, но нужно: заморозить строки заранее (иначе потом придется агрессивно перечитывать огромную таблицу), обновить карту видимости — без нее не работает Index Only Scan, и проставить hint bits. Для этого в v13 появился порог по вставкам autovacuum_vacuum_insert_threshold/scale_factor.

Автоочистка не успевает. Что крутить?средний

Смотреть, что мешает: горизонт (долгие транзакции, слоты), нехватка памяти (index_vacuum_count > 1 → увеличить autovacuum_work_mem), пороги (уменьшить scale_factor для больших таблиц), скорость (уменьшить autovacuum_vacuum_cost_delay или увеличить autovacuum_vacuum_cost_limit; при увеличении autovacuum_max_workers лимит нужно поднять пропорционально, иначе каждый worker работает медленнее), включить log_autovacuum_min_duration и track_cost_delay_timing, чтобы увидеть время сна.

Чем агрессивная очистка отличается от обычной?средний

Обычная пропускает все all-visible страницы (их нечего чистить) и потому может оставлять незамороженные версии и не сдвигать relfrozenxid. Агрессивная (age(relfrozenxid) > vacuum_freeze_table_age или VACUUM FREEZE) читает все страницы, кроме all-frozen, замораживает всё за горизонтом и гарантированно продвигает relfrozenxid. Карта заморозки делает ее инкрементальной и устойчивой к прерываниям.

Что такое failsafe-режим очистки?глубокий

С v14: если возраст незамороженной транзакции превышает vacuum_failsafe_age (1,6 млрд), очистка переходит в приоритетный режим — перестает учитывать cost delay и пропускает очистку индексов, чтобы как можно быстрее заморозить версии и избежать остановки выдачи xid.

Что нового в автоочистке в PostgreSQL 18?глубокий

autovacuum_vacuum_max_threshold (потолок порога мертвых версий, 100 млн); учет relallfrozen в пороге вставок; изменение autovacuum_max_workers без перезапуска в пределах autovacuum_worker_slots; нетерпеливое сканирование (vacuum_max_eager_freeze_failure_rate); track_cost_delay_timing и столбец delay_time; total_vacuum_time/total_autovacuum_time в pg_stat_all_tables; конфигурационный параметр vacuum_truncate.