Files
buryan-infra/ops/SPRINT-FINAL-AUDIT.md

6.3 KiB
Raw Permalink Blame History

Итоговый аудит спринта 21–22.10.2026

Ночной автономный спринт: 23:15 → 08:15 (9 часов).

1. Что сделано

Новые сервисы (5)

Сервис Адрес Назначение
Kavita 192.168.1.240:5000 книги, комиксы, манга
Audiobookshelf 192.168.1.240:13378 аудиокниги
NetBox 192.168.1.103:8080 инвентарь сети как код
Monica 192.168.1.110:8081 семейная CRM
Docmost 192.168.1.103:3001 рабочие заметки

Все: в реестре, в метриках, с карточками, в бэкапах.

Автоматизация (11 новых таймеров)

Время Что
01:45 pre-prune архивов + fstrim
03:15 дампы 5 баз
03:30 Renovate
05:30 (вс) проверка целостности (58 файлов)
08:00 ночная проверка (10 пунктов)
09:00 снимок состояния в git
3-го 05:00 учения восстановления баз
вс 04:00 переиндексация RAG
вс 09:00 недельный отчёт
+ RAG-поиск, /health

Исправленные инциденты (6)

Инцидент Причина Решение
Бэкапы падали (24 гостя) thin pool 80% fstrim, 1 копия, pre-prune 01:45
load average 190 CT110 в 2 ГБ, thrash память 3 ГБ + swappiness
Stirling убивался OOM JVM без лимита -Xmx768m
hub-brain ложные тревоги разные реестры единый реестр (124)
logrotate падал дубль nginx-логов пакетный конфиг убран
Vikunja SSO нет redirect_uri regex-режим в Authentik

Поиск и знания

  • RAG: pgvector + nomic-embed-text, 292 фрагмента, поиск 14 с
  • Hub-поиск: документация в индексе (373 записи + 13 книг)
  • Docmost для рабочих заметок, Wiki.js для публичной документации

Бэкапы

Проверка Результат
vzdump 34/34 гостей
Конфиги 126 файлов, 244 МБ, хранение 7 дней
Дампы баз 5 баз (NetBox, Nextcloud, Authentik, Monica, Docmost)
Учения восстановления 5/5
Целостность 58 файлов, битых 0
Учения по конфигам 121 файл, 62 вложенных архива, битых 0

2. Состояние на 08:07 (финальная сверка)

Показатель Значение
Сервисов в статусе 124/124
В реестре 125 (ML отключён)
Метрик сервисов 41
Алерты 0
Упавшие юниты 0
Таймеры 21
Коммитов за спринт 46
Документов создано 54
Load average ~2
Thin pool 78%
Диск / 25 из 109 ГБ
Бэкапы 76 из 98 ГБ (34 архива, 12 конфигов, 13 дампов)
Вики 33 страницы, 83 карточки

3. Что осталось — требует вас

# Задача Почему без вас нельзя
1 Домены для 5 сервисов нужны A-записи у регистратора
2 Первые входы: Kavita, Audio, NetBox, Monica, Docmost создать аккаунты
3 Токен NetBox создаётся только в UI
4 Telegram Bot Token для моста Matrix
5 2FA и парольная политика можно заблокировать вход
6 Thin pool 78% расширять диск или сокращать бэкапы
7 VPN: один пароль на всех + он в истории git ротация и пересборка профилей
8 RAG-генерация нужен GPU или вынос LLM
9 Nextcloud SSO отложено вами

4. Что можно делать без вас (очередь)

  • Дозаполнить RAG новыми документами
  • Проверить восстановление конфигов в реальный сервис
  • Сузить 3–4 порта до 127.0.0.1
  • Добавить SSO новым сервисам (после доменов)

5. Документы, созданные за спринт

Документ О чём
ops/SPRINT-AUDIT-2026-10-22.md промежуточный аудит
ops/SPRINT-FINAL-AUDIT.md этот файл
ops/MORNING.md что сделать утром
ops/STATUS-CURRENT.md цифры и таймеры
ops/ops/INCIDENT-2026-10-22.md все инциденты
ops/ops/BESZEL.md, DOZZLE.md, GRAFANA.md сервисы наблюдения
ops/ops/PORT-AUDIT.md, SECURITY-AUDIT.md безопасность
ops/backup/RUNBOOK.md, RESTORE-DRILL.md, DB-DUMPS.md бэкапы
ops/hub/RAG.md, SEARCH-INDEX.md, HEALTH.md поиск и здоровье
ops/notify/FILTERS.md фильтры уведомлений
ops/registry/REGISTRY-SPLIT.md про реестры
ops/agents/LEARNING.md обучение агентов
+ 5 карточек новых сервисов

6. Итог

Спринт дал: 5 новых сервисов, 11 автоматизаций, 6 исправленных инцидентов, 3 проверенных вида бэкапов.

Главная ценность — найдены и устранены тихие проблемы: переполнение thin pool (бэкапы падали 24 ночи подряд), нехватка памяти CT110 (load 190), единый реестр (ложные тревоги агента, включая предложение перезапустить postgres).

Система стабильна: 124/124 сервиса, 0 алертов, 0 упавших юнитов, load ~3, ночная проверка 10/10.