From ff2e7f94db8cbded1295972ea3e4ab95dcdacd2e Mon Sep 17 00:00:00 2001 From: buryan-agent Date: Wed, 28 Oct 2026 08:03:04 +0300 Subject: [PATCH] =?UTF-8?q?[INCIDENT]=20read-only=20=D0=BA=D0=BE=D1=80?= =?UTF-8?q?=D0=B5=D0=BD=D1=8C,=20=D0=BF=D0=B0=D0=BC=D1=8F=D1=82=D1=8C=20?= =?UTF-8?q?=D0=B8=20zram,=20=D0=B0=D1=83=D0=B4=D0=B8=D1=82=20Prometheus,?= =?UTF-8?q?=20=D0=BF=D0=BE=D1=80=D1=8F=D0=B4=D0=BE=D0=BA=20=D0=B2=20Matrix?= =?UTF-8?q?,=20=D0=B1=D1=8D=D0=BA=D0=B0=D0=BF=D1=8B=20=D0=BD=D0=B0=20HDD?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- data/inventory/inventory-2026-10-28.json | 35 +++++++++++ data/inventory/inventory-2026-10-28.md | 16 +++++ ops/ops/INCIDENT-2026-10-28.md | 74 ++++++++++++++++++++++++ ops/update-manager/runner.log | 4 ++ ops/update-manager/services.yaml | 1 + 5 files changed, 130 insertions(+) create mode 100644 data/inventory/inventory-2026-10-28.json create mode 100644 data/inventory/inventory-2026-10-28.md create mode 100644 ops/ops/INCIDENT-2026-10-28.md diff --git a/data/inventory/inventory-2026-10-28.json b/data/inventory/inventory-2026-10-28.json new file mode 100644 index 0000000..4ae722e --- /dev/null +++ b/data/inventory/inventory-2026-10-28.json @@ -0,0 +1,35 @@ +{ + "at": "2026-10-28T04:30:01+00:00", + "jellyfin": { + "Movie": 1, + "Series": 1, + "Episode": 24, + "Audio": 0 + }, + "navidrome": { + "albums": 28, + "tracks": 943, + "artists": 7 + }, + "calibre": { + "books": 41, + "authors": 32 + }, + "immich": { + "assets": 0, + "albums": 0, + "users": 1 + }, + "paperless": { + "documents": 0 + }, + "sonarr": { + "items": 6 + }, + "radarr": { + "items": 12 + }, + "frigate": { + "cameras": 0 + } +} \ No newline at end of file diff --git a/data/inventory/inventory-2026-10-28.md b/data/inventory/inventory-2026-10-28.md new file mode 100644 index 0000000..d3271e6 --- /dev/null +++ b/data/inventory/inventory-2026-10-28.md @@ -0,0 +1,16 @@ +# Инвентаризация + +на 2026-10-28T04:30:01+00:00 + +| Сервис | Что есть | +|---|---| +| Jellyfin | фильмы 1, сериалы 1, серии 24, треки 0 | +| Navidrome | альбомы 28, треки 943, исполнители 7 | +| Calibre | книги 41, авторы 32 | +| Immich | снимки 0, альбомы 0 | +| Paperless | документы 0 | +| Sonarr | сериалов в базе 6 | +| Radarr | фильмов в базе 12 | +| Frigate | камер 0 | + +_Нули означают, что библиотека пуста, а не что сервис не работает._ \ No newline at end of file diff --git a/ops/ops/INCIDENT-2026-10-28.md b/ops/ops/INCIDENT-2026-10-28.md new file mode 100644 index 0000000..5878cb4 --- /dev/null +++ b/ops/ops/INCIDENT-2026-10-28.md @@ -0,0 +1,74 @@ +# Ночной инцидент 27–28.10 и приведение системы в порядок + +## Что случилось + +После установки дисков и перезагрузки система уходила в **read-only по корню** +и зависала на раннем этапе загрузки. Симптомы: ping есть, SSH отдаёт +«System is booting up», контейнеры и веб Proxmox не поднимаются. + +## Корневая причина (найдена и устранена) + +`e2fsck -fn /dev/pve/root` показал реальные ошибки: + +* несовпадение контрольных сумм bitmap в **14 группах блоков**; +* флаг `orphan_present` при чистом orphan-файле. + +Из-за этого ext4 при каждой загрузке монтировал корень только для чтения, а +`pve-cluster`, `lxcfs`, `docker` падали, потому что не могли писать в `/var/lib`. + +Дополнительно: `authorized_keys` был **симлинком на `/etc/pve/priv/`** — когда +`pve-cluster` не работал, доступ по SSH терялся полностью. Заменён обычным файлом. + +## Лечение + +```bash +mount -o remount,rw / +e2fsck -fy /dev/pve/root # из initramfs: break=premount +vgchange -ay +``` + +## Что нашлось при аудите и было исправлено + +| Проблема | Исправление | +|---|---| +| Сумма лимитов памяти CT — **75 ГБ** при 15 ГБ RAM | подъём по группам с контролем памяти | +| zram 7.7 ГБ (swap в RAM) | отключён и замаскирован | +| Шторм автозапуска 30 CT | `pve-guests` замаскирован, юнит `hub-boot-recover` | +| swap вообще не активен после отключения zram | `/dev/pve/swap` 8 ГБ + запись в fstab | +| 13 упавших юнитов Proxmox | перезапущены (`pvescheduler`, `pvestatd`, `pve-firewall`, `postfix`) | +| Grafana — искали не в том CT | живёт в CT113, отвечает 200 | +| Prometheus: HA-скрейп 403 | токен отозван, job отключён (мониторинг HA — Kuma + хаб) | +| plex в проверках «лежит» | помечен `decommissioned`, экспортёр пропускает | +| Бэкапы писались на **старый LV** | `backup_configs.py` и `db_dumps.py` → `/mnt/archive/backups` | +| Алерт «бэкап не обновлялся 73 ч» | offsite недельный → порог 48 → **200 ч** | +| 19 пустых комнат Matrix | удалены | +| 6 легаси-ботов (bot_adm, bot_alert, bot_auth, bot_books, bot_media, bot_work) | отключены (в коде не используются) | + +## Matrix: структура пространств + +Созданы пространства: **Личные** (12 комнат), **Боты** (8), **Работа** (4), +**Дом** (2), **Медиа** (4). Ранее существовали Buryan Hub (6) и Telegram (2). +Семья приглашена в пространства. + +## Итоговое состояние (проверено) + +| Показатель | Значение | +|---|---| +| Сервисы хаба | **124 из 125** (plex выведен намеренно) | +| Prometheus | таргетов 36, **down 0**, активных алертов 1 (ждал порог) | +| Упавших юнитов | **0** | +| Контейнеры с ошибками | **0** | +| CT | 32 (Ollama выключен по указанию) + VM104 Immich | +| Диск `/` | 12% | +| Общее хранилище | 882 ГБ свободно | +| Бэкапы | HDD: дампы + конфиги + базы, свежие от 28.10 | + +## Уроки + +1. **Не запускать fsck вслепую** без доступа к консоли: при ошибках ФС он ждёт + человека, и сервер остаётся недоступным. +2. **`authorized_keys` не должен зависеть от `pve-cluster`** — симлинк на + `/etc/pve` делает SSH заложником кластерной ФС. +3. **Сумма лимитов ≠ потребление**, но при 15 ГБ и 33 CT любой сбой приводит + к трэшингу. Правильно: лимиты + swap + постепенный запуск. +4. **zram при нехватке RAM вредит**: он занимает ту же память, которую экономит. diff --git a/ops/update-manager/runner.log b/ops/update-manager/runner.log index 846a7d0..936ec65 100644 --- a/ops/update-manager/runner.log +++ b/ops/update-manager/runner.log @@ -906,3 +906,7 @@ psql: error: connection to server at "192.168.1.151", port 5432 failed: No route [2026-10-27 03:57:01] отложенных переведено в одобренные: 1 [2026-10-27 03:58:01] отложенных переведено в одобренные: 1 [2026-10-27 03:59:01] отложенных переведено в одобренные: 1 +psql: error: connection to server at "192.168.1.151", port 5432 failed: No route to host + Is the server running on that host and accepting TCP/IP connections? +psql: error: connection to server at "192.168.1.151", port 5432 failed: No route to host + Is the server running on that host and accepting TCP/IP connections? diff --git a/ops/update-manager/services.yaml b/ops/update-manager/services.yaml index b03bf29..70d30f0 100644 --- a/ops/update-manager/services.yaml +++ b/ops/update-manager/services.yaml @@ -137,6 +137,7 @@ services: backup: snapshot container: jellyfin plex: + decommissioned: true ct_id: 116 compose_path: /opt/plex healthcheck: