[A-49] Вики: единый реестр, 124 сервиса
This commit is contained in:
1 parent
db94e41a9c
commit
64ee577886
1 file changed
+163
+163
@@ -173,6 +173,65 @@ curl -s -o /dev/null -w '%{http_code}\n' http://192.168.1.103:8080/login/
|
|||||||
владельца: расширять диск или сокращать состав.
|
владельца: расширять диск или сокращать состав.
|
||||||
|
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Дополнение 03:00 — бэкап восстановлен
|
||||||
|
|
||||||
|
Ночное задание упало на 24 гостях из-за того же переполнения пула.
|
||||||
|
Догон `catchup3.py` восстановил **все 22 отсутствовавшие копии**,
|
||||||
|
дубли удалены, `fstrim` освободил 8.4 ГБ.
|
||||||
|
|
||||||
|
Постоянное решение: **`hub-pre-prune.timer` в 01:45** удаляет прошлый
|
||||||
|
набор архивов и освобождает место до старта задания, чтобы пик пула
|
||||||
|
был равен только новому набору.
|
||||||
|
|
||||||
|
Итоговое состояние:
|
||||||
|
|
||||||
|
| Показатель | Значение |
|
||||||
|
|---|---|
|
||||||
|
| Сервисы | 75/75 |
|
||||||
|
| Алерты | 0 |
|
||||||
|
| Упавшие юниты | 0 |
|
||||||
|
| Архивы бэкапов | **34 из 34 гостей** |
|
||||||
|
| Thin pool | 77.4% |
|
||||||
|
| Таймеров | 18 |
|
||||||
|
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Дополнение 04:45 — стабилизация памяти
|
||||||
|
|
||||||
|
Найдена и устранена причина ночного `load average 190`:
|
||||||
|
**CT110 жил в лимите 2048 МБ и постоянно вытеснял страницы в своп**
|
||||||
|
(занято 2019/2048, своп 255/256). Хостовый своп заполнился, диск был
|
||||||
|
занят на 78% времени, всё ждало I/O.
|
||||||
|
|
||||||
|
| Действие | Результат |
|
||||||
|
|---|---|
|
||||||
|
| CT110: память 2048 → 3072, своп 256 → 768 | внутри 1347/3072 |
|
||||||
|
| VM104: 8192 → 4096 МБ | своп −1.6 ГБ |
|
||||||
|
| immich_machine_learning (хост) остановлен | −2 ядра |
|
||||||
|
| `vm.swappiness` 20 → 10 | меньше вытеснения |
|
||||||
|
| drop_caches | сброшены кэши |
|
||||||
|
|
||||||
|
**Load: 190 → 9.9.** Renovate, который «висел» 30 минут, теперь
|
||||||
|
завершается за **13 секунд** — это был симптом нагрузки, не баг.
|
||||||
|
|
||||||
|
Итог ночи:
|
||||||
|
|
||||||
|
| Показатель | Значение |
|
||||||
|
|---|---|
|
||||||
|
| Сервисы | 75/75 |
|
||||||
|
| Алерты | 0 |
|
||||||
|
| Упавшие юниты | 0 |
|
||||||
|
| Архивы бэкапов | 34/34 |
|
||||||
|
| Конфиги | 253 МБ, 124 файла |
|
||||||
|
| Дампы баз | 4 (08 файлов с историей) |
|
||||||
|
| Ночная проверка | 7/7 |
|
||||||
|
| Thin pool | 77.7% |
|
||||||
|
| Load average | 9.9 |
|
||||||
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
# Инцидент и исправления, 22.10.2026 (ночь)
|
# Инцидент и исправления, 22.10.2026 (ночь)
|
||||||
@@ -228,3 +287,107 @@ vzdump: ERROR: Backup of VM 108 failed - lvcreate snapshot ... Cannot create new
|
|||||||
| Бэкапы | ✅ работают, 1 копия на гостя |
|
| Бэкапы | ✅ работают, 1 копия на гостя |
|
||||||
| Мозг (hub-brain) | ⏸ отключён до исправления имён |
|
| Мозг (hub-brain) | ⏸ отключён до исправления имён |
|
||||||
| logrotate | ✅ 0 ошибок |
|
| logrotate | ✅ 0 ошибок |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
# Дополнение, 02:50 — бэкап 02:00 упал на 24 гостях
|
||||||
|
|
||||||
|
## Что произошло
|
||||||
|
|
||||||
|
Ночное задание `vzdump --all 1` успело сделать 10 гостей, а затем
|
||||||
|
на каждом следующем падало:
|
||||||
|
|
||||||
|
```
|
||||||
|
ERROR: Backup of VM 111 failed - lvcreate snapshot ...
|
||||||
|
Cannot create new thin volume, free space ... insufficient
|
||||||
|
```
|
||||||
|
|
||||||
|
Причина та же: пул дошёл до **80.5%**, а новые архивы пишутся до того,
|
||||||
|
как удаляются старые (prune идёт по одному гостю после его бэкапа).
|
||||||
|
Пик = старый набор + новый набор.
|
||||||
|
|
||||||
|
## Как восстановили
|
||||||
|
|
||||||
|
1. `catchup3.py` — скрипт догона:
|
||||||
|
- находит гостей без копии за сегодня (по **архивам**, не по логам —
|
||||||
|
важная правка: раньше логи от упавшей попытки считались копией);
|
||||||
|
- удаляет их старые архивы, делает `fstrim`;
|
||||||
|
- гонит `vzdump` по одному, останавливаясь при пуле >82%.
|
||||||
|
2. Итог: **22 из 22 догнаны**, всего 33 CT + VM104 = **34 архива**.
|
||||||
|
3. Дубли удалены, `fstrim` освободил 8.4 ГБ.
|
||||||
|
|
||||||
|
## Постоянное решение
|
||||||
|
|
||||||
|
Таймер **`hub-pre-prune.timer`, 01:45** — за 15 минут до задания:
|
||||||
|
|
||||||
|
- удаляет все архивы, кроме сегодняшних (они всё равно будут заменены,
|
||||||
|
`keep-last=1`);
|
||||||
|
- делает `fstrim /mnt/backups`;
|
||||||
|
- чистит логи старше 14 дней.
|
||||||
|
|
||||||
|
Так пик пула = только новый набор (~45 ГБ вместо «старый + новый»).
|
||||||
|
|
||||||
|
## Проверка
|
||||||
|
|
||||||
|
```
|
||||||
|
сервисы: 75/75, алерты: 0, упавшие юниты: 0
|
||||||
|
архивы: 34, дампы: 4, конфиги: 9
|
||||||
|
thin pool: 77.4%, бэкапы: 76 из 98 ГБ
|
||||||
|
```
|
||||||
|
|
||||||
|
## Ловушки
|
||||||
|
|
||||||
|
1. **`ls vzdump-*` включает `.log`** — проверять наличие копии нужно
|
||||||
|
по `.tar.zst`/`.vma.zst`, иначе упавшая попытка считается успехом.
|
||||||
|
2. **`fstrim` нужен после каждого удаления** — без него место в пуле
|
||||||
|
не освобождается.
|
||||||
|
3. **Порог остановки 82%** — выше начинаются отказы `lvcreate`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
# Дополнение 04:40 — load average 190 из-за лимита памяти CT110
|
||||||
|
|
||||||
|
## Что произошло
|
||||||
|
|
||||||
|
После ночных задач load average вырос до **190**, `wa` (ожидание I/O)
|
||||||
|
дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен
|
||||||
|
на 78%: машина не считала, а **ждала диск**.
|
||||||
|
|
||||||
|
## Причина
|
||||||
|
|
||||||
|
`CT110` (office-lxc) имел лимит **2048 МБ и своп 256 МБ**. Внутри —
|
||||||
|
memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle,
|
||||||
|
monica-db и ещё десяток контейнеров. Использование: **2019 из 2048**,
|
||||||
|
своп **255 из 256**.
|
||||||
|
|
||||||
|
Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их
|
||||||
|
обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят
|
||||||
|
на 78% времени, load рос как сумма ожидающих процессов.
|
||||||
|
|
||||||
|
## Что сделано
|
||||||
|
|
||||||
|
| Действие | Эффект |
|
||||||
|
|---|---|
|
||||||
|
| CT110: память 2048 → **3072**, своп 256 → **768** | внутри 1347/3072, своп 360/768 |
|
||||||
|
| `immich_machine_learning` на хосте остановлен | −2 ядра |
|
||||||
|
| VM104: 8192 → **4096** МБ | своп хоста −1.6 ГБ |
|
||||||
|
| `immich_machine_learning` в VM — уже был остановлен | — |
|
||||||
|
| `vm.swappiness` 20 → 10 | меньше вытеснения |
|
||||||
|
|
||||||
|
**Результат**: load **9.9** (было 190), `wa` 3%, сервисы 75/75.
|
||||||
|
|
||||||
|
## Ловушка
|
||||||
|
|
||||||
|
**Недостаточный лимит памяти LXC не виден по load на хосте.**
|
||||||
|
CT110 показывал «всё работает», но каждую секунду гонял страницы
|
||||||
|
через своп. Симптом на хосте: высокий `load` при свободном CPU
|
||||||
|
и высоком `wa`.
|
||||||
|
|
||||||
|
Проверка: `pct exec <id> -- free -m` — если `used` ≈ `total`,
|
||||||
|
а `swap` заполнен, контейнеру мало памяти.
|
||||||
|
|
||||||
|
## Что осталось
|
||||||
|
|
||||||
|
- Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы,
|
||||||
|
они не мешают, пока не понадобятся.
|
||||||
|
- Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%.
|
||||||
Reference in new issue
Block a user