[INCIDENT] read-only корень, память и zram, аудит Prometheus, порядок в Matrix, бэкапы на HDD

This commit is contained in:
buryan-agent committed 2026-10-28 08:03:04 +03:00
1 parent c70c430d8e
commit ff2e7f94db
5 files changed
+130

No files matched your search

+35
View File
@@ -0,0 +1,35 @@
{
"at": "2026-10-28T04:30:01+00:00",
"jellyfin": {
"Movie": 1,
"Series": 1,
"Episode": 24,
"Audio": 0
},
"navidrome": {
"albums": 28,
"tracks": 943,
"artists": 7
},
"calibre": {
"books": 41,
"authors": 32
},
"immich": {
"assets": 0,
"albums": 0,
"users": 1
},
"paperless": {
"documents": 0
},
"sonarr": {
"items": 6
},
"radarr": {
"items": 12
},
"frigate": {
"cameras": 0
}
}
+16
View File
@@ -0,0 +1,16 @@
# Инвентаризация
на 2026-10-28T04:30:01+00:00
| Сервис | Что есть |
|---|---|
| Jellyfin | фильмы 1, сериалы 1, серии 24, треки 0 |
| Navidrome | альбомы 28, треки 943, исполнители 7 |
| Calibre | книги 41, авторы 32 |
| Immich | снимки 0, альбомы 0 |
| Paperless | документы 0 |
| Sonarr | сериалов в базе 6 |
| Radarr | фильмов в базе 12 |
| Frigate | камер 0 |
_Нули означают, что библиотека пуста, а не что сервис не работает._
+74
View File
@@ -0,0 +1,74 @@
# Ночной инцидент 27–28.10 и приведение системы в порядок
## Что случилось
После установки дисков и перезагрузки система уходила в **read-only по корню**
и зависала на раннем этапе загрузки. Симптомы: ping есть, SSH отдаёт
«System is booting up», контейнеры и веб Proxmox не поднимаются.
## Корневая причина (найдена и устранена)
`e2fsck -fn /dev/pve/root` показал реальные ошибки:
* несовпадение контрольных сумм bitmap в **14 группах блоков**;
* флаг `orphan_present` при чистом orphan-файле.
Из-за этого ext4 при каждой загрузке монтировал корень только для чтения, а
`pve-cluster`, `lxcfs`, `docker` падали, потому что не могли писать в `/var/lib`.
Дополнительно: `authorized_keys` был **симлинком на `/etc/pve/priv/`** — когда
`pve-cluster` не работал, доступ по SSH терялся полностью. Заменён обычным файлом.
## Лечение
```bash
mount -o remount,rw /
e2fsck -fy /dev/pve/root # из initramfs: break=premount
vgchange -ay
```
## Что нашлось при аудите и было исправлено
| Проблема | Исправление |
|---|---|
| Сумма лимитов памяти CT — **75 ГБ** при 15 ГБ RAM | подъём по группам с контролем памяти |
| zram 7.7 ГБ (swap в RAM) | отключён и замаскирован |
| Шторм автозапуска 30 CT | `pve-guests` замаскирован, юнит `hub-boot-recover` |
| swap вообще не активен после отключения zram | `/dev/pve/swap` 8 ГБ + запись в fstab |
| 13 упавших юнитов Proxmox | перезапущены (`pvescheduler`, `pvestatd`, `pve-firewall`, `postfix`) |
| Grafana — искали не в том CT | живёт в CT113, отвечает 200 |
| Prometheus: HA-скрейп 403 | токен отозван, job отключён (мониторинг HA — Kuma + хаб) |
| plex в проверках «лежит» | помечен `decommissioned`, экспортёр пропускает |
| Бэкапы писались на **старый LV** | `backup_configs.py` и `db_dumps.py` → `/mnt/archive/backups` |
| Алерт «бэкап не обновлялся 73 ч» | offsite недельный → порог 48 → **200 ч** |
| 19 пустых комнат Matrix | удалены |
| 6 легаси-ботов (bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work) | отключены (в коде не используются) |
## Matrix: структура пространств
Созданы пространства: **Личные** (12 комнат), **Боты** (8), **Работа** (4),
**Дом** (2), **Медиа** (4). Ранее существовали Buryan Hub (6) и Telegram (2).
Семья приглашена в пространства.
## Итоговое состояние (проверено)
| Показатель | Значение |
|---|---|
| Сервисы хаба | **124 из 125** (plex выведен намеренно) |
| Prometheus | таргетов 36, **down 0**, активных алертов 1 (ждал порог) |
| Упавших юнитов | **0** |
| Контейнеры с ошибками | **0** |
| CT | 32 (Ollama выключен по указанию) + VM104 Immich |
| Диск `/` | 12% |
| Общее хранилище | 882 ГБ свободно |
| Бэкапы | HDD: дампы + конфиги + базы, свежие от 28.10 |
## Уроки
1. **Не запускать fsck вслепую** без доступа к консоли: при ошибках ФС он ждёт
человека, и сервер остаётся недоступным.
2. **`authorized_keys` не должен зависеть от `pve-cluster`** — симлинк на
`/etc/pve` делает SSH заложником кластерной ФС.
3. **Сумма лимитов ≠ потребление**, но при 15 ГБ и 33 CT любой сбой приводит
к трэшингу. Правильно: лимиты + swap + постепенный запуск.
4. **zram при нехватке RAM вредит**: он занимает ту же память, которую экономит.
+4
View File
@@ -906,3 +906,7 @@ psql: error: connection to server at "192.168.1.151", port 5432 failed: No route
[2026-10-27 03:57:01] отложенных переведено в одобренные: 1
[2026-10-27 03:58:01] отложенных переведено в одобренные: 1
[2026-10-27 03:59:01] отложенных переведено в одобренные: 1
psql: error: connection to server at "192.168.1.151", port 5432 failed: No route to host
Is the server running on that host and accepting TCP/IP connections?
psql: error: connection to server at "192.168.1.151", port 5432 failed: No route to host
Is the server running on that host and accepting TCP/IP connections?
+1
View File
@@ -137,6 +137,7 @@ services:
backup: snapshot
container: jellyfin
plex:
decommissioned: true
ct_id: 116
compose_path: /opt/plex
healthcheck: