From 64ee577886ad5776b417578b4d4a93ad5dc735c4 Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Thu, 22 Oct 2026 04:49:31 +0300 Subject: [PATCH] =?UTF-8?q?[A-49]=20=D0=92=D0=B8=D0=BA=D0=B8:=20=D0=B5?= =?UTF-8?q?=D0=B4=D0=B8=D0=BD=D1=8B=D0=B9=20=D1=80=D0=B5=D0=B5=D1=81=D1=82?= =?UTF-8?q?=D1=80,=20124=20=D1=81=D0=B5=D1=80=D0=B2=D0=B8=D1=81=D0=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- Sprint-Audit.md | 163 ++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 163 insertions(+) diff --git a/Sprint-Audit.md b/Sprint-Audit.md index 9164f23..e7012d7 100644 --- a/Sprint-Audit.md +++ b/Sprint-Audit.md @@ -173,6 +173,65 @@ curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/ владельца: расширять диск или сокращать состав. +--- + +## Дополнение 03:00 — бэкап восстановлен + +Ночное задание упало на 24 гостях из-за того же переполнения пула. +Догон `catchup3.py` восстановил **все 22 отсутствовавшие копии**, +дубли удалены, `fstrim` освободил 8.4 ГБ. + +Постоянное решение: **`hub-pre-prune.timer` в 01:45** удаляет прошлый +набор архивов и освобождает место до старта задания, чтобы пик пула +был равен только новому набору. + +Итоговое состояние: + +| Показатель | Значение | +|---|---| +| Сервисы | 75/75 | +| Алерты | 0 | +| Упавшие юниты | 0 | +| Архивы бэкапов | **34 из 34 гостей** | +| Thin pool | 77.4% | +| Таймеров | 18 | + + +--- + +## Дополнение 04:45 — стабилизация памяти + +Найдена и устранена причина ночного `load average 190`: +**CT110 жил в лимите 2048 МБ и постоянно вытеснял страницы в своп** +(занято 2019/2048, своп 255/256). Хостовый своп заполнился, диск был +занят на 78% времени, всё ждало I/O. + +| Действие | Результат | +|---|---| +| CT110: память 2048 → 3072, своп 256 → 768 | внутри 1347/3072 | +| VM104: 8192 → 4096 МБ | своп −1.6 ГБ | +| immich_machine_learning (хост) остановлен | −2 ядра | +| `vm.swappiness` 20 → 10 | меньше вытеснения | +| drop_caches | сброшены кэши | + +**Load: 190 → 9.9.** Renovate, который «висел» 30 минут, теперь +завершается за **13 секунд** — это был симптом нагрузки, не баг. + +Итог ночи: + +| Показатель | Значение | +|---|---| +| Сервисы | 75/75 | +| Алерты | 0 | +| Упавшие юниты | 0 | +| Архивы бэкапов | 34/34 | +| Конфиги | 253 МБ, 124 файла | +| Дампы баз | 4 (08 файлов с историей) | +| Ночная проверка | 7/7 | +| Thin pool | 77.7% | +| Load average | 9.9 | + + --- # Инцидент и исправления, 22.10.2026 (ночь) @@ -228,3 +287,107 @@ vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new | Бэкапы | ✅ работают, 1 копия на гостя | | Мозг (hub-brain) | ⏸ отключён до исправления имён | | logrotate | ✅ 0 ошибок | + +--- + +# Дополнение, 02:50 — бэкап 02:00 упал на 24 гостях + +## Что произошло + +Ночное задание `vzdump --all 1` успело сделать 10 гостей, а затем +на каждом следующем падало: + +``` +ERROR: Backup of VM 111 failed - lvcreate snapshot ... +Cannot create new thin volume, free space ... insufficient +``` + +Причина та же: пул дошёл до **80.5%**, а новые архивы пишутся до того, +как удаляются старые (prune идёт по одному гостю после его бэкапа). +Пик = старый набор + новый набор. + +## Как восстановили + +1. `catchup3.py` — скрипт догона: + - находит гостей без копии за сегодня (по **архивам**, не по логам — + важная правка: раньше логи от упавшей попытки считались копией); + - удаляет их старые архивы, делает `fstrim`; + - гонит `vzdump` по одному, останавливаясь при пуле >82%. +2. Итог: **22 из 22 догнаны**, всего 33 CT + VM104 = **34 архива**. +3. Дубли удалены, `fstrim` освободил 8.4 ГБ. + +## Постоянное решение + +Таймер **`hub-pre-prune.timer`, 01:45** — за 15 минут до задания: + +- удаляет все архивы, кроме сегодняшних (они всё равно будут заменены, + `keep-last=1`); +- делает `fstrim /mnt/backups`; +- чистит логи старше 14 дней. + +Так пик пула = только новый набор (~45 ГБ вместо «старый + новый»). + +## Проверка + +``` +сервисы: 75/75, алерты: 0, упавшие юниты: 0 +архивы: 34, дампы: 4, конфиги: 9 +thin pool: 77.4%, бэкапы: 76 из 98 ГБ +``` + +## Ловушки + +1. **`ls vzdump-*` включает `.log`** — проверять наличие копии нужно + по `.tar.zst`/`.vma.zst`, иначе упавшая попытка считается успехом. +2. **`fstrim` нужен после каждого удаления** — без него место в пуле + не освобождается. +3. **Порог остановки 82%** — выше начинаются отказы `lvcreate`. + +--- + +# Дополнение 04:40 — load average 190 из-за лимита памяти CT110 + +## Что произошло + +После ночных задач load average вырос до **190**, `wa` (ожидание I/O) +дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен +на 78%: машина не считала, а **ждала диск**. + +## Причина + +`CT110` (office-lxc) имел лимит **2048 МБ и своп 256 МБ**. Внутри — +memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle, +monica-db и ещё десяток контейнеров. Использование: **2019 из 2048**, +своп **255 из 256**. + +Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их +обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят +на 78% времени, load рос как сумма ожидающих процессов. + +## Что сделано + +| Действие | Эффект | +|---|---| +| CT110: память 2048 → **3072**, своп 256 → **768** | внутри 1347/3072, своп 360/768 | +| `immich_machine_learning` на хосте остановлен | −2 ядра | +| VM104: 8192 → **4096** МБ | своп хоста −1.6 ГБ | +| `immich_machine_learning` в VM — уже был остановлен | — | +| `vm.swappiness` 20 → 10 | меньше вытеснения | + +**Результат**: load **9.9** (было 190), `wa` 3%, сервисы 75/75. + +## Ловушка + +**Недостаточный лимит памяти LXC не виден по load на хосте.** +CT110 показывал «всё работает», но каждую секунду гонял страницы +через своп. Симптом на хосте: высокий `load` при свободном CPU +и высоком `wa`. + +Проверка: `pct exec -- free -m` — если `used` ≈ `total`, +а `swap` заполнен, контейнеру мало памяти. + +## Что осталось + +- Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы, + они не мешают, пока не понадобятся. +- Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%.