6a9ac94e01ff1d3bcf4c51b4000624efda735043
ЗАДАЧА 5.10. «Узнавать первым» — главное после обрыва, о котором владелец
узнал от семьи.
ТРИ ПРИЧИНЫ, ПОЧЕМУ ТРЕВОГ НЕ БЫЛО:
1. Файл правил (/opt/prometheus/rules/buryan-alerts.yml) существовал —
77 строк разумных правил, — но каталог НЕ монтировался в контейнер
Prometheus. API правил отдавал пустой список: тревог не было вообще.
2. Одно правило ссылалось на несуществующую метрику
node_systemd_service_restart_total — не сработало бы никогда.
3. Prometheus знал про хосты, но НЕ про службы: 60 проверок жили в bash,
поэтому «служба упала» тревогу поднять не могло в принципе.
СДЕЛАНО:
* каталог правил примонтирован, Prometheus пересоздан;
* включён textfile-коллектор в node_exporter;
* написан экспортёр метрик служб: обходит реестр обновлений и публикует
buryan_service_up{name, critical} 1|0, запуск раз в 2 минуты;
* написаны правила: 4 группы, 7 правил (сборщик недоступен, служба не
отвечает 3 мин, критичная 7 мин, место 15%/7%, память 10%, нагрузка);
* убрано правило с несуществующей метрикой.
ПРОВЕРЕНО: групп 4, правил 7, целей 29 (ни одной проблемной), служб в
метриках 38 (все отвечают). Правила реально вычисляются — во время работы
наблюдал состояние pending.
МОИ ОШИБКИ В ЗАДАЧЕ (записаны):
* сломал отступы в YAML правил -> Prometheus ушёл в петлю (8
перезапусков), файл переписан целиком;
* печатал «монтирование добавлено», не проверив, что замена сработала
(строка не совпала по отступам);
* экспортёр на awk путался: firefly отвечал 302 (норма), а в метрику
попадал 0 — переписан на Python с настоящим разбором YAML;
* забыл обновить адрес CT 111 в Prometheus после смены IP — узел
числился недоступным, нашлось именно благодаря тревоге.
🏠 Buryan Hub Infrastructure
Homelab с публичным edge через VPS и VPN-доступом через Headscale.
Архитектура
| Узел | Роль | IP |
|---|---|---|
| VPS | Nginx + SSL, Headscale coordinator, DERP | 193.233.210.184 |
| PVE | Proxmox, Tailscale subnet router | 192.168.1.10 |
| LAN | Сервисы (n8n, Gitea, Vault...) | 192.168.1.0/24 |
Публичные домены (SSL через certbot)
- n8n.buryans.ru → 192.168.1.108:5680 (CT 108)
- git.buryans.ru → 192.168.1.140:3000 (CT 140)
- status.buryans.ru → 192.168.1.107:3001 (CT 107)
- vault.buryans.ru → 192.168.1.109:8080 (CT 109)
- finance.buryans.ru → 192.168.1.110:8080 (CT 110)
- recipes.buryans.ru → 192.168.1.110:9925 (CT 110)
- music.buryans.ru → 192.168.1.125:4533 (CT 125)
- sync.buryans.ru → 192.168.1.139:8384 (CT 139)
- headscale.buryans.ru → 127.0.0.1:8443
VPP
- Server: https://headscale.buryans.ru
- Подключение: docs/vpn-clients.md
- Ключи: headscale preauthkeys create --user buryan-hub --reusable --expiration 30d
Структура репозитория
- vps/ — конфиги VPS (nginx, headscale, ufw)
- pve/ — конфиги PVE (iptables, sysctl)
- docs/ — документация (runbook, VPN, troubleshooting)
- deploy/ — disaster recovery скрипты
- docker/ — docker-compose для контейнеров
- knowledge/runbooks/ — runbook'и по сервисам
Быстрые команды
Проверка статуса
for d in n8n git status vault finance recipes music sync; do echo "$d $(curl -4 -s -o /dev/null -w '%{http_code}' --max-time 20 https://$d.buryans.ru/)" done
Disaster recovery
./deploy/install-on-new-vps.sh
Авто-синк
/root/sync-infra.sh (cron 04:00 ежедневно)
Контакты
Roman Buryan (maloyakapg@gmail.com)
Description
SSOT инфраструктуры: deploy, ops, политики агента
226 MiB
0 Stars
2 Watchers
0 Forks
Releases
1
Languages
Python
70.1%
Shell
22.7%
HTML
5.5%
JavaScript
1.4%
Ruby
0.2%