[SPRINT] Итоговый файл спринта 04.11: состояние, инцидент, все блоки, остатки
This commit is contained in:
1 parent
34a55fb109
commit
2db79d1f97
1 file changed
+176
@@ -0,0 +1,176 @@
|
|||||||
|
# Итог спринта Buryans Hub — 04.11.2026
|
||||||
|
|
||||||
|
Все утверждения проверены командами; выводы приведены рядом. Что не сделано — отмечено прямо.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. Состояние инфраструктуры на конец дня
|
||||||
|
|
||||||
|
```
|
||||||
|
uptime: 2ч 33м (после перезагрузки)
|
||||||
|
load average: 1.11 (на пике аварии было 3908)
|
||||||
|
D-процессов: 0 (было 1385)
|
||||||
|
память: 10 ГБ занято, 4.6 ГБ доступно
|
||||||
|
контейнеры: 33 из 33 running (llm-lxc остановлен намеренно)
|
||||||
|
```
|
||||||
|
|
||||||
|
**Все ключевые сервисы отвечают:**
|
||||||
|
|
||||||
|
| Сервис | Порт | Статус |
|
||||||
|
|---|---|---|
|
||||||
|
| Jellyfin | 103:8096 | OK |
|
||||||
|
| Home Assistant | 106:8123 | OK |
|
||||||
|
| Sonarr | 117:8989 | OK |
|
||||||
|
| Radarr | 118:7878 | OK |
|
||||||
|
| Prowlarr | 119:9696 | OK |
|
||||||
|
| Gitea | 140:3000 | OK |
|
||||||
|
| Authentik | 114:9000 | OK |
|
||||||
|
| Matrix | 155:8008 | OK |
|
||||||
|
| qBittorrent | 123:8085 | OK |
|
||||||
|
|
||||||
|
**Сервисы хоста:** `hub-core` active (status.json 200, 11 114 байт), `hermes` active, `hub-secretary-ai` active, `hub-media-hook` active, `telegram-userbot` active, `nginx` active, `pve-cluster` active.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. Инцидент 04.11 (главное событие дня)
|
||||||
|
|
||||||
|
### Что произошло
|
||||||
|
Хост ушёл в самоподдерживающуюся перегрузку: load **3908**, **7 578 процессов**, **1 385 в D-состоянии**, память 14/15 ГБ, swap 22 ГБ.
|
||||||
|
|
||||||
|
### Причины (по диагностике)
|
||||||
|
1. `hub-core` не мог подключиться к PostgreSQL (`192.168.1.151:5432`) → цикл перезапусков.
|
||||||
|
2. Каждая попытка порождала зависшие `pct exec`/psql-процессы (31 шт., все в D).
|
||||||
|
3. Docker-healthcheck — **1 438 процессов**, 4 071 поток docker → нагрузка на `dm-thin`.
|
||||||
|
4. **FlareSolverr** (Chrome, +1–2 ГБ), установленный мной, усугубил memory pressure.
|
||||||
|
5. Диск стал узким местом → iowait → лавина.
|
||||||
|
|
||||||
|
### Что проверено и исключено
|
||||||
|
- SMART `sda` — **PASSED**, `nvme0n1` — **PASSED** (железо цело).
|
||||||
|
- thin-pool: данные 62 %, метаданные 2.81 % (места достаточно).
|
||||||
|
- Корень `/`: 29 % (места достаточно).
|
||||||
|
- Ошибок I/O в журнале нет.
|
||||||
|
|
||||||
|
### Восстановление
|
||||||
|
1. `hub-core` остановлен, авторестарт отключён (drop-in `Restart=no`).
|
||||||
|
2. CT119 (Prowlarr + FlareSolverr) остановлен — не помогло.
|
||||||
|
3. **`reboot -f`** (штатный `reboot` не срабатывал из-за зависшего systemd).
|
||||||
|
4. После перезагрузки корень смонтировался **read-only** (`fsck.mode=force`) → `pmxcfs` падал → `/etc/pve` недоступен.
|
||||||
|
5. `mount -o remount,rw /` + `systemctl reset-failed pve-cluster && start` → восстановлено.
|
||||||
|
6. Подняты все контейнеры вручную (33 из 33).
|
||||||
|
7. **FlareSolverr удалён** из CT119.
|
||||||
|
|
||||||
|
Задача владельцу записана: `TASK-INCIDENT-2026-11-04.md`, коммит `34a55fb`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Что сделано по задачам спринта
|
||||||
|
|
||||||
|
### 3.1 Медиа и русский контент
|
||||||
|
|
||||||
|
| Что | Результат |
|
||||||
|
|---|---|
|
||||||
|
| Причина английской библиотеки | `ffprobe`: дорожки `eng`, `spa`, `tur`, `und` — русских нет |
|
||||||
|
| Custom Format «Russian Audio» | создан в Radarr и Sonarr |
|
||||||
|
| Язык профилей | `Any` / `Unknown` (жёсткий `Russian` отклонял всё с ошибкой «Russian is wanted, but found English») |
|
||||||
|
| YTS (источник английского) | отключён |
|
||||||
|
| RuTor в Radarr | подключён, категории 8000/100003 |
|
||||||
|
| Автообновление | 6/6 профилей `upgradeAllowed=true`, ISO запрещён |
|
||||||
|
| Лимит загрузок qBittorrent | поднят с 3 до 10 (был простой в очереди) |
|
||||||
|
| Скачивание | 13 торрентов, 9 активных, но **0 завершённых** — мало сидов на RuTor |
|
||||||
|
| Cardigann-определение RuTracker | **установлено** в Prowlarr (`rutracker-org-movies.yml`, 126 КБ), Prowlarr его видит |
|
||||||
|
| Добавление RuTracker | **не удалось**: Cloudflare отдаёт **403** на `/login.php` со всех путей (напрямую, SOCKS, HTTP-прокси) |
|
||||||
|
| FlareSolverr | установлен и **удалён** — стал причиной аварии |
|
||||||
|
|
||||||
|
**Не закрыто:** русский контент фактически не скачивается — нужен источник с сидами (RuTracker с аккаунтом либо Telegram-каналы с кино).
|
||||||
|
|
||||||
|
### 3.2 Hermes + DeepSeek
|
||||||
|
|
||||||
|
| Что | Результат |
|
||||||
|
|---|---|
|
||||||
|
| Заданий в `jobs.yaml` | **13** (было 11) |
|
||||||
|
| `ai-digest` (раз в час) | работает, ответ DeepSeek осмысленный |
|
||||||
|
| `media-digest` (09:30) | работает, сводка доставлена в Matrix |
|
||||||
|
| Доставка в Matrix | подтверждена `event_id` |
|
||||||
|
| Почта | отключена (порты 25/587/465 закрыты дома и на VPS) |
|
||||||
|
|
||||||
|
**Находка и проверка:** DeepSeek предположил «корень в read-only» — опровергнуто фактами; настоящая причина — `ProtectSystem=strict` без `/var/lib/chrony`. Исправлено drop-in'ом, ошибка исчезла (`ops/CHRONYD-SANDBOX-2026-11-04.md`, коммит `e562027`).
|
||||||
|
|
||||||
|
### 3.3 Секретарь 2.0 (Matrix + DeepSeek + инструменты)
|
||||||
|
|
||||||
|
`/opt/hub-bots/secretary_ai.py`, сервис `hub-secretary-ai` active.
|
||||||
|
|
||||||
|
| Проверка | Результат |
|
||||||
|
|---|---|
|
||||||
|
| «что с кондиционером» | «Royal Clima сейчас выключен» — реальные данные HA |
|
||||||
|
| «какие автоматизации есть» | список 6 автоматизаций |
|
||||||
|
| «скачай фильм Inception» | «Готово: добавлен в Radarr, идёт поиск» |
|
||||||
|
| «какая температура в спальне» | просит `entity_id`, не выдумывает |
|
||||||
|
|
||||||
|
Исправлена ловушка: `rootFolderPath` был `/media/movies`, правильный — `/data/movies` (берётся из API).
|
||||||
|
|
||||||
|
### 3.4 Telegram userbot (книги + контент)
|
||||||
|
|
||||||
|
`/opt/hub-core/userbot_service.py`, `telegram-userbot` active, порт 9122.
|
||||||
|
|
||||||
|
| Проверка | Результат |
|
||||||
|
|---|---|
|
||||||
|
| `/health` | `{"ok": true}` |
|
||||||
|
| `/files?q=Стругацкий&kind=book` | 200, найдено 1 |
|
||||||
|
| `/files?q=фильм&kind=video` | 200, найдено 2 (MP4) |
|
||||||
|
|
||||||
|
Переписан целиком (не патч), `py_compile` до рестарта, бэкап `userbot_service.py.bak-pre-content`.
|
||||||
|
**Ограничение:** в подключённых каналах видео нет — нужны каналы с кино.
|
||||||
|
|
||||||
|
### 3.5 Дом: фото комнат и карточка
|
||||||
|
|
||||||
|
| Что | Результат |
|
||||||
|
|---|---|
|
||||||
|
| Фото в HA | **31 файл**, `/local/house3d/photos/…` → HTTP 200 |
|
||||||
|
| Карточка комнат | `PHOTO_MAP`, превью в плитке, полоса фото в деталях |
|
||||||
|
| Ресурс | `rooms-card.js?v=29895723`, `success: True` |
|
||||||
|
| Оговорка | `node --check` не выполнялся (node нет в контуре), проверены баланс скобок и отдача файла |
|
||||||
|
|
||||||
|
### 3.6 Сценарии автоматизации
|
||||||
|
|
||||||
|
| Сценарий | Проверка |
|
||||||
|
|---|---|
|
||||||
|
| «скачался фильм → Matrix» | вебхук 9131, 4 теста доставлены (`ok`) |
|
||||||
|
| «апгрейд на русскую версию → Matrix» | `onUpgrade` включён |
|
||||||
|
| «сводка медиатеки 09:30» | отправлена, HTTP 200 |
|
||||||
|
|
||||||
|
### 3.7 SSO — откатено по требованию владельца
|
||||||
|
|
||||||
|
- Была массовая правка (33 домена) → сломала доступы.
|
||||||
|
- **Откат выполнен полностью:** nginx восстановлен из `bak-pre-sso-restore-20261104-011921`, `oauth2-proxy` возвращён к исходному `redirect_url`, контейнер пересоздан.
|
||||||
|
- Jellyfin доступен (`/web/` → 200), `auth_request` в конфиге — **0** (как было до моих правок).
|
||||||
|
- Вывод: **трогать SSO не нужно**, у владельца своя рабочая схема.
|
||||||
|
|
||||||
|
### 3.8 Сеть и оборудование
|
||||||
|
|
||||||
|
- Скан /24: `192.168.1.182` (кондиционер, в HA), `192.168.1.207` (Hanzo, локально DPS не отдаёт). Новых устройств нет.
|
||||||
|
- **Подбор выключателей** (обсуждение): рамки Atlas, 8 постов, реле не влезают, распаячных коробок нет. Варианты: AtlasDesign SMART (~4 000 ₽/шт), Sonoff ZBM5/Zigbee, реле у светильника. Владелец взял паузу на решение.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Что осталось и требует решения владельца
|
||||||
|
|
||||||
|
1. **Русский контент** — нет источника с сидами. Варианты: аккаунт RuTracker (Cloudflare блокирует автоматический вход), Telegram-каналы с кино, либо оставить медленную загрузку с RuTor.
|
||||||
|
2. **Выключатели** — выбрать путь: Atlas SMART (дорого, идеальный вид) или переход на Sonoff/другую систему (дешевле, смена рамок).
|
||||||
|
3. **Память хоста** — 10 из 15 ГБ при штатной нагрузке; FlareSolverr показал, что запаса нет. Нужно решение: RAM, разнесение сервисов или лимиты.
|
||||||
|
4. **Docker-healthcheck** — 1 438 процессов; пересмотреть интервалы (профилактика повторной лавины).
|
||||||
|
5. **SSO** — оставить как есть (решение владельца: не трогать).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. Артефакты
|
||||||
|
|
||||||
|
**Файлы для вас:**
|
||||||
|
- `AUDIT-SPRINT-FULL-2026-11-04.md` — полный аудит (версии, связанность, все блоки)
|
||||||
|
- `AUDIT-NIGHT-SPRINT-2026-11-04.md` — аудит ночного спринта
|
||||||
|
- `AUDIT-SERVICES-2026-11-04.md` — статусы LXC, docker, HTTP
|
||||||
|
- `INVENTORY-BURYANS-2026-11-04.md` — все CT, домены, адреса
|
||||||
|
- `TASK-INCIDENT-2026-11-04.md` — задача по инциденту
|
||||||
|
|
||||||
|
**Коммиты в `buryan-infra`:** `4c5948d`, `e562027`, `efcb991`, `fc9fd16`, `34a55fb` (и предшествующие).
|
||||||
|
|
||||||
|
**Скрипты диагностики:** `/tmp/{host_load_check,incident_diag,thin_pool_check,disk_health,fix_readonly,pve_services,start_cts}.sh`
|
||||||
Reference in new issue
Block a user