[SPRINT] Итоговый файл спринта 04.11: состояние, инцидент, все блоки, остатки
This commit is contained in:
1 parent
34a55fb109
commit
2db79d1f97
1 file changed
+176
@@ -0,0 +1,176 @@
|
||||
# Итог спринта Buryans Hub — 04.11.2026
|
||||
|
||||
Все утверждения проверены командами; выводы приведены рядом. Что не сделано — отмечено прямо.
|
||||
|
||||
---
|
||||
|
||||
## 1. Состояние инфраструктуры на конец дня
|
||||
|
||||
```
|
||||
uptime: 2ч 33м (после перезагрузки)
|
||||
load average: 1.11 (на пике аварии было 3908)
|
||||
D-процессов: 0 (было 1385)
|
||||
память: 10 ГБ занято, 4.6 ГБ доступно
|
||||
контейнеры: 33 из 33 running (llm-lxc остановлен намеренно)
|
||||
```
|
||||
|
||||
**Все ключевые сервисы отвечают:**
|
||||
|
||||
| Сервис | Порт | Статус |
|
||||
|---|---|---|
|
||||
| Jellyfin | 103:8096 | OK |
|
||||
| Home Assistant | 106:8123 | OK |
|
||||
| Sonarr | 117:8989 | OK |
|
||||
| Radarr | 118:7878 | OK |
|
||||
| Prowlarr | 119:9696 | OK |
|
||||
| Gitea | 140:3000 | OK |
|
||||
| Authentik | 114:9000 | OK |
|
||||
| Matrix | 155:8008 | OK |
|
||||
| qBittorrent | 123:8085 | OK |
|
||||
|
||||
**Сервисы хоста:** `hub-core` active (status.json 200, 11 114 байт), `hermes` active, `hub-secretary-ai` active, `hub-media-hook` active, `telegram-userbot` active, `nginx` active, `pve-cluster` active.
|
||||
|
||||
---
|
||||
|
||||
## 2. Инцидент 04.11 (главное событие дня)
|
||||
|
||||
### Что произошло
|
||||
Хост ушёл в самоподдерживающуюся перегрузку: load **3908**, **7 578 процессов**, **1 385 в D-состоянии**, память 14/15 ГБ, swap 22 ГБ.
|
||||
|
||||
### Причины (по диагностике)
|
||||
1. `hub-core` не мог подключиться к PostgreSQL (`192.168.1.151:5432`) → цикл перезапусков.
|
||||
2. Каждая попытка порождала зависшие `pct exec`/psql-процессы (31 шт., все в D).
|
||||
3. Docker-healthcheck — **1 438 процессов**, 4 071 поток docker → нагрузка на `dm-thin`.
|
||||
4. **FlareSolverr** (Chrome, +1–2 ГБ), установленный мной, усугубил memory pressure.
|
||||
5. Диск стал узким местом → iowait → лавина.
|
||||
|
||||
### Что проверено и исключено
|
||||
- SMART `sda` — **PASSED**, `nvme0n1` — **PASSED** (железо цело).
|
||||
- thin-pool: данные 62 %, метаданные 2.81 % (места достаточно).
|
||||
- Корень `/`: 29 % (места достаточно).
|
||||
- Ошибок I/O в журнале нет.
|
||||
|
||||
### Восстановление
|
||||
1. `hub-core` остановлен, авторестарт отключён (drop-in `Restart=no`).
|
||||
2. CT119 (Prowlarr + FlareSolverr) остановлен — не помогло.
|
||||
3. **`reboot -f`** (штатный `reboot` не срабатывал из-за зависшего systemd).
|
||||
4. После перезагрузки корень смонтировался **read-only** (`fsck.mode=force`) → `pmxcfs` падал → `/etc/pve` недоступен.
|
||||
5. `mount -o remount,rw /` + `systemctl reset-failed pve-cluster && start` → восстановлено.
|
||||
6. Подняты все контейнеры вручную (33 из 33).
|
||||
7. **FlareSolverr удалён** из CT119.
|
||||
|
||||
Задача владельцу записана: `TASK-INCIDENT-2026-11-04.md`, коммит `34a55fb`.
|
||||
|
||||
---
|
||||
|
||||
## 3. Что сделано по задачам спринта
|
||||
|
||||
### 3.1 Медиа и русский контент
|
||||
|
||||
| Что | Результат |
|
||||
|---|---|
|
||||
| Причина английской библиотеки | `ffprobe`: дорожки `eng`, `spa`, `tur`, `und` — русских нет |
|
||||
| Custom Format «Russian Audio» | создан в Radarr и Sonarr |
|
||||
| Язык профилей | `Any` / `Unknown` (жёсткий `Russian` отклонял всё с ошибкой «Russian is wanted, but found English») |
|
||||
| YTS (источник английского) | отключён |
|
||||
| RuTor в Radarr | подключён, категории 8000/100003 |
|
||||
| Автообновление | 6/6 профилей `upgradeAllowed=true`, ISO запрещён |
|
||||
| Лимит загрузок qBittorrent | поднят с 3 до 10 (был простой в очереди) |
|
||||
| Скачивание | 13 торрентов, 9 активных, но **0 завершённых** — мало сидов на RuTor |
|
||||
| Cardigann-определение RuTracker | **установлено** в Prowlarr (`rutracker-org-movies.yml`, 126 КБ), Prowlarr его видит |
|
||||
| Добавление RuTracker | **не удалось**: Cloudflare отдаёт **403** на `/login.php` со всех путей (напрямую, SOCKS, HTTP-прокси) |
|
||||
| FlareSolverr | установлен и **удалён** — стал причиной аварии |
|
||||
|
||||
**Не закрыто:** русский контент фактически не скачивается — нужен источник с сидами (RuTracker с аккаунтом либо Telegram-каналы с кино).
|
||||
|
||||
### 3.2 Hermes + DeepSeek
|
||||
|
||||
| Что | Результат |
|
||||
|---|---|
|
||||
| Заданий в `jobs.yaml` | **13** (было 11) |
|
||||
| `ai-digest` (раз в час) | работает, ответ DeepSeek осмысленный |
|
||||
| `media-digest` (09:30) | работает, сводка доставлена в Matrix |
|
||||
| Доставка в Matrix | подтверждена `event_id` |
|
||||
| Почта | отключена (порты 25/587/465 закрыты дома и на VPS) |
|
||||
|
||||
**Находка и проверка:** DeepSeek предположил «корень в read-only» — опровергнуто фактами; настоящая причина — `ProtectSystem=strict` без `/var/lib/chrony`. Исправлено drop-in'ом, ошибка исчезла (`ops/CHRONYD-SANDBOX-2026-11-04.md`, коммит `e562027`).
|
||||
|
||||
### 3.3 Секретарь 2.0 (Matrix + DeepSeek + инструменты)
|
||||
|
||||
`/opt/hub-bots/secretary_ai.py`, сервис `hub-secretary-ai` active.
|
||||
|
||||
| Проверка | Результат |
|
||||
|---|---|
|
||||
| «что с кондиционером» | «Royal Clima сейчас выключен» — реальные данные HA |
|
||||
| «какие автоматизации есть» | список 6 автоматизаций |
|
||||
| «скачай фильм Inception» | «Готово: добавлен в Radarr, идёт поиск» |
|
||||
| «какая температура в спальне» | просит `entity_id`, не выдумывает |
|
||||
|
||||
Исправлена ловушка: `rootFolderPath` был `/media/movies`, правильный — `/data/movies` (берётся из API).
|
||||
|
||||
### 3.4 Telegram userbot (книги + контент)
|
||||
|
||||
`/opt/hub-core/userbot_service.py`, `telegram-userbot` active, порт 9122.
|
||||
|
||||
| Проверка | Результат |
|
||||
|---|---|
|
||||
| `/health` | `{"ok": true}` |
|
||||
| `/files?q=Стругацкий&kind=book` | 200, найдено 1 |
|
||||
| `/files?q=фильм&kind=video` | 200, найдено 2 (MP4) |
|
||||
|
||||
Переписан целиком (не патч), `py_compile` до рестарта, бэкап `userbot_service.py.bak-pre-content`.
|
||||
**Ограничение:** в подключённых каналах видео нет — нужны каналы с кино.
|
||||
|
||||
### 3.5 Дом: фото комнат и карточка
|
||||
|
||||
| Что | Результат |
|
||||
|---|---|
|
||||
| Фото в HA | **31 файл**, `/local/house3d/photos/…` → HTTP 200 |
|
||||
| Карточка комнат | `PHOTO_MAP`, превью в плитке, полоса фото в деталях |
|
||||
| Ресурс | `rooms-card.js?v=29895723`, `success: True` |
|
||||
| Оговорка | `node --check` не выполнялся (node нет в контуре), проверены баланс скобок и отдача файла |
|
||||
|
||||
### 3.6 Сценарии автоматизации
|
||||
|
||||
| Сценарий | Проверка |
|
||||
|---|---|
|
||||
| «скачался фильм → Matrix» | вебхук 9131, 4 теста доставлены (`ok`) |
|
||||
| «апгрейд на русскую версию → Matrix» | `onUpgrade` включён |
|
||||
| «сводка медиатеки 09:30» | отправлена, HTTP 200 |
|
||||
|
||||
### 3.7 SSO — откатено по требованию владельца
|
||||
|
||||
- Была массовая правка (33 домена) → сломала доступы.
|
||||
- **Откат выполнен полностью:** nginx восстановлен из `bak-pre-sso-restore-20261104-011921`, `oauth2-proxy` возвращён к исходному `redirect_url`, контейнер пересоздан.
|
||||
- Jellyfin доступен (`/web/` → 200), `auth_request` в конфиге — **0** (как было до моих правок).
|
||||
- Вывод: **трогать SSO не нужно**, у владельца своя рабочая схема.
|
||||
|
||||
### 3.8 Сеть и оборудование
|
||||
|
||||
- Скан /24: `192.168.1.182` (кондиционер, в HA), `192.168.1.207` (Hanzo, локально DPS не отдаёт). Новых устройств нет.
|
||||
- **Подбор выключателей** (обсуждение): рамки Atlas, 8 постов, реле не влезают, распаячных коробок нет. Варианты: AtlasDesign SMART (~4 000 ₽/шт), Sonoff ZBM5/Zigbee, реле у светильника. Владелец взял паузу на решение.
|
||||
|
||||
---
|
||||
|
||||
## 4. Что осталось и требует решения владельца
|
||||
|
||||
1. **Русский контент** — нет источника с сидами. Варианты: аккаунт RuTracker (Cloudflare блокирует автоматический вход), Telegram-каналы с кино, либо оставить медленную загрузку с RuTor.
|
||||
2. **Выключатели** — выбрать путь: Atlas SMART (дорого, идеальный вид) или переход на Sonoff/другую систему (дешевле, смена рамок).
|
||||
3. **Память хоста** — 10 из 15 ГБ при штатной нагрузке; FlareSolverr показал, что запаса нет. Нужно решение: RAM, разнесение сервисов или лимиты.
|
||||
4. **Docker-healthcheck** — 1 438 процессов; пересмотреть интервалы (профилактика повторной лавины).
|
||||
5. **SSO** — оставить как есть (решение владельца: не трогать).
|
||||
|
||||
---
|
||||
|
||||
## 5. Артефакты
|
||||
|
||||
**Файлы для вас:**
|
||||
- `AUDIT-SPRINT-FULL-2026-11-04.md` — полный аудит (версии, связанность, все блоки)
|
||||
- `AUDIT-NIGHT-SPRINT-2026-11-04.md` — аудит ночного спринта
|
||||
- `AUDIT-SERVICES-2026-11-04.md` — статусы LXC, docker, HTTP
|
||||
- `INVENTORY-BURYANS-2026-11-04.md` — все CT, домены, адреса
|
||||
- `TASK-INCIDENT-2026-11-04.md` — задача по инциденту
|
||||
|
||||
**Коммиты в `buryan-infra`:** `4c5948d`, `e562027`, `efcb991`, `fc9fd16`, `34a55fb` (и предшествующие).
|
||||
|
||||
**Скрипты диагностики:** `/tmp/{host_load_check,incident_diag,thin_pool_check,disk_health,fix_readonly,pve_services,start_cts}.sh`
|
||||
Reference in new issue
Block a user