Commit Graph
14 Commits
Author SHA1 Message Date
root df2e0916b0 Убрана ложная тревога по NPM: проверка и запись в реестре удалены
После отключения NPM наблюдение ругалось «npm: не отвечает» — проверка
смотрела на остановленную службу. Третий такой случай за день (было с
Paperless, потом с его же вторым экземпляром).

ВЫВЕДЕНО ПРАВИЛО: отключая службу, в ТОМ ЖЕ действии убирай её из
наблюдения и реестра. Иначе через час приходит ложная тревога, и никто
не помнит, что так задумано.

Сделано: проверка npm удалена из наблюдения, служба удалена из реестра
(47 -> 46), метрики пересобраны.

ПРОВЕРЕНО: наблюдение 58 проверок без провалов, метрики 36 служб — все
отвечают.
2026-10-18 18:12:07 +03:00
root 9fe6ec9cc0 Уборка после Paperless: убрана ложная тревога, реестр 50 -> 47
После отключения второго экземпляра наблюдение начало ругаться
«Paperless (офис): не отвечает» — проверка смотрела на намеренно
отключённую службу. Ложная тревога хуже отсутствия проверки: она
приучает не верить тревогам.

СДЕЛАНО: удалена проверка «Paperless (офис)»; из реестра обновлений
убраны три службы отключённого экземпляра (paperless_web,
paperless_worker, paperless_redis_office); метрики пересобраны.

ПРОВЕРЕНО: наблюдение 59 проверок без провалов (было 60 с провалом),
реестр 50 -> 47, метрики 37 служб — все отвечают.

ПРАВИЛО: когда служба отключается намеренно, её надо убирать из
наблюдения и реестра в том же действии — иначе через час приходит
тревога, и никто не помнит, что так задумано.
2026-10-18 13:56:02 +03:00
root 6a9ac94e01 Тревоги включены: их не было вообще, хотя файл правил существовал
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.

ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
   77 строк разумных правил, — но каталог НЕ монтировался в контейнер
   Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
   node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
   поэтому «служба упала» тревогу поднять не могло в принципе.

СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
  buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
  отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.

ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.

МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
  * сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
    перезапусков), файл переписан целиком;
  * печатал «монтирование добавлено», не проверив, что замена сработала
    (строка не совпала по отступам);
  * экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
    попадал 0 — переписан на Python с настоящим разбором YAML;
  * забыл обновить адрес CT 111 в Prometheus после смены IP — узел
    числился недоступным, нашлось именно благодаря тревоге.
2026-10-18 10:42:01 +03:00
root bdf9ff55a1 CT 111: адрес сменён на 192.168.1.240, интернет заработал
По решению владельца: политики на роутере нет, меняем адрес.

БЫЛО: из CT 111 не было выхода в интернет — шлюз не отвечал, при этом
все остальные хосты локальной сети были доступны. Перед этим исключил
маршруты, ARP, политики маршрутизации, правила по IP/MAC/интерфейсу на
хосте, firewall Proxmox (отключён), цепочки Tailscale и второй адрес на
том же интерфейсе.

СТАЛО: 192.168.1.111 -> 192.168.1.240 (в стороне от DHCP-диапазона:
.112, .124, .128 оказались заняты устройствами). Шлюз доступен,
example.com отвечает 200, службы поднялись.

ВМЕСТЕ С АДРЕСОМ поправлены ссылки: настройки контейнера, внешний nginx
на VPS (3), домашний nginx (3), наблюдение (3), реестр обновлений (3),
карта доменов (3).

ОТКРЫТИЕ: домашние домены проксирует nginx НА ХОСТЕ PVE
(/etc/nginx/conf.d/buryans-all.conf, 41 домен), а не NPM в CT 101.
Значит при любой смене адреса искать ссылки надо в двух местах — на VPS
и на хосте. Записано в документ.

Проверено: книги/новости/rss работают дома и снаружи (302),
наблюдение 60 проверок без провалов.
2026-10-17 16:14:02 +03:00
root 7347cf476a Автоматика: профиль безопасности в одном месте, уборка по расписанию,
проверка входа (1.2, 1.7, 4.3.3)

1.2 ПРОФИЛЬ БЕЗОПАСНОСТИ. apparmor=unconfined — ослабление изоляции,
нужное только там, где LXC мешает Docker. Такие места легко забыть:
после обновления стека служба просто не поднимается.
Сделан ops/security/apparmor-manage.sh — единственный источник правды:
измеряет, кому обход нужен, показывает где прописан, правит только по
флагу --apply.
ИЗМЕРЕНО (26 контейнеров с Docker): обход нужен только CT 115 и CT 140,
и в обоих уже прописан. Остальным 24 не нужен.

МОЯ ОШИБКА: первая версия проверки запускала docker run hello-world.
Если образа нет локально, Docker идёт в реестр и падает с TLS handshake
timeout — это НЕ про AppArmor. Получил ложное срабатывание на CT 108.
Исправлено: беру локальный образ, считаю «нужен обход» только если в
ошибке есть apparmor.

1.7 УБОРКА ОСТАТКОВ. cleanup-leftovers.sh раз в неделю убирает
контейнеры с -old- в имени, которые остановлены или крутятся в петле,
плюс висячие образы. Работающие не трогает: в CT 115 openclaw-old —
действующий экземпляр. Первый прогон освободил несколько ГБ.
Расписание: /etc/cron.d/buryan-cleanup.

4.3.3 ПРОВЕРКА ВХОДА. Добавлена check_login(): служба может отвечать
302 на корень и не отдавать страницу входа — человек видит пустоту, а
наблюдение молчит. Проверяет код 200 после переходов, непустое тело и
признаки страницы Authentik.
Наблюдение: 59 -> 60 проверок, все проходят.
2026-10-17 15:33:32 +03:00
root a4ab5974c9 Наблюдение: все службы из реестра теперь проверяются (34 -> 59)
ЗАДАЧА 4.3.1. Владелец пережил обрыв, о котором узнал от семьи. Надо
узнавать первым.

ИСТОЧНИК ПРОВЕРОК: реестр обновлений services.yaml. Адреса здоровья там
уже проверены вручную при добавлении служб — значит это готовый и
проверенный список, не выдуманный заново.

ДОБАВЛЕНО 25 проверок: npm, uptime-kuma, dashy, jellyfin, tautulli,
paperless, syncthing, linkding, calibre, freshrss, sonarr, radarr,
prowlarr, bazarr, openclaw, умный дом (homeassistant), zigbee2mqtt,
nextcloud, финансы (firefly), paperless офис, копии Duplicati, очередь
NATS, тревоги (alertmanager), Element, звонки LiveKit.

ОТДЕЛЬНАЯ ФУНКЦИЯ ДЛЯ СЛУЖБ С ПАРОЛЕМ. Обычная check() считает 401/403
ошибкой. Для служб с авторизацией это признак ЖИВОЙ службы, а не
поломки. Добавлена check_alive(), которая принимает 200/201/204/301/
302/401/403. Без неё 8 служб давали бы ложные тревоги постоянно.

ПРОВЕРЕНО: прогон без провалов, в журнале «проверено: 59».
Было 34.

Откат: cp /root/check-services.sh.before-all-services-<дата> \
          /opt/buryan-hub/scripts/check-services.sh
2026-10-17 12:57:41 +03:00
root 73c4983fd9 сборщик журналов: 24-26 машин; найден полный диск CT 115 2026-10-16 17:12:10 +03:00
root 3a9d6073d5 сборщик журналов: добавлены оставшиеся машины; способ переноса образа без интернета 2026-10-16 17:10:58 +03:00
root 3f3cca13f0 исправлены ложные проверки: PostgreSQL не по HTTP, Element по конфигурации 2026-10-16 16:00:49 +03:00
root e227583689 проверки по смыслу: содержимое ответа, реальные запросы к базам, умная тревога без повторов 2026-10-16 16:00:16 +03:00
root 39aa31f5a5 тревоги: правила и Alertmanager запущены; исправлена поломка сбора метрик (29 целей возвращены) 2026-10-16 15:52:54 +03:00
root d636fbf8a0 сборщик журналов развёрнут на 22 машины из 26; Loki видит 53 источника вместо 3 2026-10-16 15:47:56 +03:00
root 5c32c1ba94 сбор журналов работает: Loki 200, Prometheus подключён к Grafana, все службы целы 2026-10-16 15:39:30 +03:00
root 8fd55e8ffb сбор журналов: Loki и Promtail запущены, журналы собираются; добавлены источники Loki и Prometheus в Grafana 2026-10-16 15:38:52 +03:00