[INCIDENT] read-only корень, память и zram, аудит Prometheus, порядок в Matrix, бэкапы на HDD
This commit is contained in:
1 parent
c70c430d8e
commit
ff2e7f94db
5 files changed
+130
No files matched your search
@@ -0,0 +1,35 @@
|
||||
{
|
||||
"at": "2026-10-28T04:30:01+00:00",
|
||||
"jellyfin": {
|
||||
"Movie": 1,
|
||||
"Series": 1,
|
||||
"Episode": 24,
|
||||
"Audio": 0
|
||||
},
|
||||
"navidrome": {
|
||||
"albums": 28,
|
||||
"tracks": 943,
|
||||
"artists": 7
|
||||
},
|
||||
"calibre": {
|
||||
"books": 41,
|
||||
"authors": 32
|
||||
},
|
||||
"immich": {
|
||||
"assets": 0,
|
||||
"albums": 0,
|
||||
"users": 1
|
||||
},
|
||||
"paperless": {
|
||||
"documents": 0
|
||||
},
|
||||
"sonarr": {
|
||||
"items": 6
|
||||
},
|
||||
"radarr": {
|
||||
"items": 12
|
||||
},
|
||||
"frigate": {
|
||||
"cameras": 0
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,16 @@
|
||||
# Инвентаризация
|
||||
|
||||
на 2026-10-28T04:30:01+00:00
|
||||
|
||||
| Сервис | Что есть |
|
||||
|---|---|
|
||||
| Jellyfin | фильмы 1, сериалы 1, серии 24, треки 0 |
|
||||
| Navidrome | альбомы 28, треки 943, исполнители 7 |
|
||||
| Calibre | книги 41, авторы 32 |
|
||||
| Immich | снимки 0, альбомы 0 |
|
||||
| Paperless | документы 0 |
|
||||
| Sonarr | сериалов в базе 6 |
|
||||
| Radarr | фильмов в базе 12 |
|
||||
| Frigate | камер 0 |
|
||||
|
||||
_Нули означают, что библиотека пуста, а не что сервис не работает._
|
||||
@@ -0,0 +1,74 @@
|
||||
# Ночной инцидент 27–28.10 и приведение системы в порядок
|
||||
|
||||
## Что случилось
|
||||
|
||||
После установки дисков и перезагрузки система уходила в **read-only по корню**
|
||||
и зависала на раннем этапе загрузки. Симптомы: ping есть, SSH отдаёт
|
||||
«System is booting up», контейнеры и веб Proxmox не поднимаются.
|
||||
|
||||
## Корневая причина (найдена и устранена)
|
||||
|
||||
`e2fsck -fn /dev/pve/root` показал реальные ошибки:
|
||||
|
||||
* несовпадение контрольных сумм bitmap в **14 группах блоков**;
|
||||
* флаг `orphan_present` при чистом orphan-файле.
|
||||
|
||||
Из-за этого ext4 при каждой загрузке монтировал корень только для чтения, а
|
||||
`pve-cluster`, `lxcfs`, `docker` падали, потому что не могли писать в `/var/lib`.
|
||||
|
||||
Дополнительно: `authorized_keys` был **симлинком на `/etc/pve/priv/`** — когда
|
||||
`pve-cluster` не работал, доступ по SSH терялся полностью. Заменён обычным файлом.
|
||||
|
||||
## Лечение
|
||||
|
||||
```bash
|
||||
mount -o remount,rw /
|
||||
e2fsck -fy /dev/pve/root # из initramfs: break=premount
|
||||
vgchange -ay
|
||||
```
|
||||
|
||||
## Что нашлось при аудите и было исправлено
|
||||
|
||||
| Проблема | Исправление |
|
||||
|---|---|
|
||||
| Сумма лимитов памяти CT — **75 ГБ** при 15 ГБ RAM | подъём по группам с контролем памяти |
|
||||
| zram 7.7 ГБ (swap в RAM) | отключён и замаскирован |
|
||||
| Шторм автозапуска 30 CT | `pve-guests` замаскирован, юнит `hub-boot-recover` |
|
||||
| swap вообще не активен после отключения zram | `/dev/pve/swap` 8 ГБ + запись в fstab |
|
||||
| 13 упавших юнитов Proxmox | перезапущены (`pvescheduler`, `pvestatd`, `pve-firewall`, `postfix`) |
|
||||
| Grafana — искали не в том CT | живёт в CT113, отвечает 200 |
|
||||
| Prometheus: HA-скрейп 403 | токен отозван, job отключён (мониторинг HA — Kuma + хаб) |
|
||||
| plex в проверках «лежит» | помечен `decommissioned`, экспортёр пропускает |
|
||||
| Бэкапы писались на **старый LV** | `backup_configs.py` и `db_dumps.py` → `/mnt/archive/backups` |
|
||||
| Алерт «бэкап не обновлялся 73 ч» | offsite недельный → порог 48 → **200 ч** |
|
||||
| 19 пустых комнат Matrix | удалены |
|
||||
| 6 легаси-ботов (bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work) | отключены (в коде не используются) |
|
||||
|
||||
## Matrix: структура пространств
|
||||
|
||||
Созданы пространства: **Личные** (12 комнат), **Боты** (8), **Работа** (4),
|
||||
**Дом** (2), **Медиа** (4). Ранее существовали Buryan Hub (6) и Telegram (2).
|
||||
Семья приглашена в пространства.
|
||||
|
||||
## Итоговое состояние (проверено)
|
||||
|
||||
| Показатель | Значение |
|
||||
|---|---|
|
||||
| Сервисы хаба | **124 из 125** (plex выведен намеренно) |
|
||||
| Prometheus | таргетов 36, **down 0**, активных алертов 1 (ждал порог) |
|
||||
| Упавших юнитов | **0** |
|
||||
| Контейнеры с ошибками | **0** |
|
||||
| CT | 32 (Ollama выключен по указанию) + VM104 Immich |
|
||||
| Диск `/` | 12% |
|
||||
| Общее хранилище | 882 ГБ свободно |
|
||||
| Бэкапы | HDD: дампы + конфиги + базы, свежие от 28.10 |
|
||||
|
||||
## Уроки
|
||||
|
||||
1. **Не запускать fsck вслепую** без доступа к консоли: при ошибках ФС он ждёт
|
||||
человека, и сервер остаётся недоступным.
|
||||
2. **`authorized_keys` не должен зависеть от `pve-cluster`** — симлинк на
|
||||
`/etc/pve` делает SSH заложником кластерной ФС.
|
||||
3. **Сумма лимитов ≠ потребление**, но при 15 ГБ и 33 CT любой сбой приводит
|
||||
к трэшингу. Правильно: лимиты + swap + постепенный запуск.
|
||||
4. **zram при нехватке RAM вредит**: он занимает ту же память, которую экономит.
|
||||
@@ -906,3 +906,7 @@ psql: error: connection to server at "192.168.1.151", port 5432 failed: No route
|
||||
[2026-10-27 03:57:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-27 03:58:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-27 03:59:01] отложенных переведено в одобренные: 1
|
||||
psql: error: connection to server at "192.168.1.151", port 5432 failed: No route to host
|
||||
Is the server running on that host and accepting TCP/IP connections?
|
||||
psql: error: connection to server at "192.168.1.151", port 5432 failed: No route to host
|
||||
Is the server running on that host and accepting TCP/IP connections?
|
||||
@@ -137,6 +137,7 @@ services:
|
||||
backup: snapshot
|
||||
container: jellyfin
|
||||
plex:
|
||||
decommissioned: true
|
||||
ct_id: 116
|
||||
compose_path: /opt/plex
|
||||
healthcheck:
|
||||
|
||||
Reference in new issue
Block a user