[INCIDENT] read-only корень, память и zram, аудит Prometheus, порядок в Matrix, бэкапы на HDD

This commit is contained in:
buryan-agent committed 2026-10-28 08:03:04 +03:00
1 parent c70c430d8e
commit ff2e7f94db
5 files changed
+130

No files matched your search

+74
View File
@@ -0,0 +1,74 @@
# Ночной инцидент 27–28.10 и приведение системы в порядок
## Что случилось
После установки дисков и перезагрузки система уходила в **read-only по корню**
и зависала на раннем этапе загрузки. Симптомы: ping есть, SSH отдаёт
«System is booting up», контейнеры и веб Proxmox не поднимаются.
## Корневая причина (найдена и устранена)
`e2fsck -fn /dev/pve/root` показал реальные ошибки:
* несовпадение контрольных сумм bitmap в **14 группах блоков**;
* флаг `orphan_present` при чистом orphan-файле.
Из-за этого ext4 при каждой загрузке монтировал корень только для чтения, а
`pve-cluster`, `lxcfs`, `docker` падали, потому что не могли писать в `/var/lib`.
Дополнительно: `authorized_keys` был **симлинком на `/etc/pve/priv/`** — когда
`pve-cluster` не работал, доступ по SSH терялся полностью. Заменён обычным файлом.
## Лечение
```bash
mount -o remount,rw /
e2fsck -fy /dev/pve/root # из initramfs: break=premount
vgchange -ay
```
## Что нашлось при аудите и было исправлено
| Проблема | Исправление |
|---|---|
| Сумма лимитов памяти CT — **75 ГБ** при 15 ГБ RAM | подъём по группам с контролем памяти |
| zram 7.7 ГБ (swap в RAM) | отключён и замаскирован |
| Шторм автозапуска 30 CT | `pve-guests` замаскирован, юнит `hub-boot-recover` |
| swap вообще не активен после отключения zram | `/dev/pve/swap` 8 ГБ + запись в fstab |
| 13 упавших юнитов Proxmox | перезапущены (`pvescheduler`, `pvestatd`, `pve-firewall`, `postfix`) |
| Grafana — искали не в том CT | живёт в CT113, отвечает 200 |
| Prometheus: HA-скрейп 403 | токен отозван, job отключён (мониторинг HA — Kuma + хаб) |
| plex в проверках «лежит» | помечен `decommissioned`, экспортёр пропускает |
| Бэкапы писались на **старый LV** | `backup_configs.py` и `db_dumps.py` → `/mnt/archive/backups` |
| Алерт «бэкап не обновлялся 73 ч» | offsite недельный → порог 48 → **200 ч** |
| 19 пустых комнат Matrix | удалены |
| 6 легаси-ботов (bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work) | отключены (в коде не используются) |
## Matrix: структура пространств
Созданы пространства: **Личные** (12 комнат), **Боты** (8), **Работа** (4),
**Дом** (2), **Медиа** (4). Ранее существовали Buryan Hub (6) и Telegram (2).
Семья приглашена в пространства.
## Итоговое состояние (проверено)
| Показатель | Значение |
|---|---|
| Сервисы хаба | **124 из 125** (plex выведен намеренно) |
| Prometheus | таргетов 36, **down 0**, активных алертов 1 (ждал порог) |
| Упавших юнитов | **0** |
| Контейнеры с ошибками | **0** |
| CT | 32 (Ollama выключен по указанию) + VM104 Immich |
| Диск `/` | 12% |
| Общее хранилище | 882 ГБ свободно |
| Бэкапы | HDD: дампы + конфиги + базы, свежие от 28.10 |
## Уроки
1. **Не запускать fsck вслепую** без доступа к консоли: при ошибках ФС он ждёт
человека, и сервер остаётся недоступным.
2. **`authorized_keys` не должен зависеть от `pve-cluster`** — симлинк на
`/etc/pve` делает SSH заложником кластерной ФС.
3. **Сумма лимитов ≠ потребление**, но при 15 ГБ и 33 CT любой сбой приводит
к трэшингу. Правильно: лимиты + swap + постепенный запуск.
4. **zram при нехватке RAM вредит**: он занимает ту же память, которую экономит.