Files

8.8 KiB
Raw Permalink Blame History

Beszel — мониторинг всех гостей

Охват: 35 из 35

Что Как развёрнуто
pve (хост) контейнер, 45876
27 CT с Docker контейнер beszel-agent
5 CT без Docker бинарник + systemd
VM 104 (Immich) бинарник + systemd
CT110 (сам хаб) контейнер

Проверка: гостей: 35 | в Beszel: 35 | не покрыты: нет.

Схема

  • Хаб: CT110, 0.0.0.0:8092, прокси oauth2-proxy-metrics на 9996, домен https://metrics.buryans.ru.
  • Агент: слушает 45876, хаб подключается к нему по SSH по ключу — токен системы не требуется.
  • Бинарник агента лежит в /usr/local/bin/beszel-agent, systemd-юнит beszel-agent.service.

Ловушки (все стоили времени)

  1. Docker API разный: CT110 требует DOCKER_API_VERSION=1.41, остальные — ≥1.44.
  2. Нет compose в CT124/126 — только docker run.
  3. AppArmor в LXC (CT115, CT140): нужен --security-opt apparmor=unconfined.
  4. CT111 — это 192.168.1.240, а не .111.
  5. UID — readonly в bash.
  6. KEY содержит пробел: в systemd-юните обязательны кавычки Environment="KEY=ssh-ed25519 AAAA...", иначе Failed to load public keys: failed to parse key.
  7. VM 104 доступна по SSH root@192.168.1.104 — агент ставится напрямую.

Dozzle — логи контейнеров

Где

Параметр Значение
CT 110 (office-lxc)
Порт 127.0.0.1:9998
Прокси oauth2-proxy-logs, network_mode: host, порт 9997
Домен https://logs.buryans.ru (ждёт DNS)
Данные нет, читает docker.sock

Почему не на хосте

На PVE Docker ограничен (AppArmor): контейнер не может подключиться к /var/run/docker.sock — Could not connect to any Docker Engine. Memos и Stirling тоже падали на хосте по этой причине.

Поэтому Dozzle живёт в CT110 и видит контейнеры этого CT.

SSO

proxy 9997 → 302 https://authentik.buryans.ru/application/o/authorize/
dozzle 9998 → 200 (локально)

Провайдер provider-logs, приложение logs, redirect https://logs.buryans.ru/oauth2/callback.

Инцидент при развёртывании

oauth2-proxy-logs занял порт 9999, на котором работал telegram-proxy.py. Процесс упал, systemd его поднял. Прокси переведён на 9997.

Также выяснилось, что tmdb-proxy.service (socat на 8888) конфликтует с SSH-туннелем на том же порту. Метаданные работают через туннель (401 от api.themoviedb.org = доступ есть), поэтому tmdb-proxy отключён как дубль.

Что осталось

  1. DNS: logs.buryans.ru → 193.233.210.184 (сейчас указывает на 5.101.152.161 — чужой адрес).
  2. После DNS: certbot на VPS, копия сертификата домой, 443-блок на VPS.

Grafana: дашборд «Инфраструктура»

Где

Параметр Значение
CT 113 (backup-lxc)
Порт 192.168.1.113:3000
Версия 12.4.0
Датасорс Prometheus, uid prom-buryan
Дашборд uid buryan-infra

Панели

Панель Запрос
Машин онлайн count(up{job=~"node|buryan"} == 1)
Алертов активно count(ALERTS{alertstate="firing"})
Минимум свободного места min(node_filesystem_avail_bytes{mountpoint="/"})
Максимальная нагрузка max(node_load15)
CPU по машинам 100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100
Память по машинам 100 * (1 - MemAvailable/MemTotal)
Диск / по машинам 100 * (1 - avail/size)
Сеть (МБ/с) rate(node_network_receive_bytes_total{device="eth0"}[5m])

Проверено: 28 серий по CPU/памяти/диску/сети, значения приходят.

Что добавилось по ходу

node_exporter на хосте — его не было, поэтому сам PVE не попадал в метрики. Запущен контейнер node_exporter на хосте (network host, порт 9100), добавлена цель в Prometheus (ct=0, host=pve).

Проверка: up{job="node",instance="192.168.1.10:9100"} = 1.

Ловушки

  1. Grafana живёт в CT113, а не в CT134 рядом с Prometheus.
  2. Правка prometheus.yml через heredoc внутри pct exec не сработала молча — файл не изменился. Надёжно: сформировать файл на хосте, затем pct push.
  3. instance для хоста — 192.168.1.10:9100, у CT — 192.168.1.N:9100.

Публикация домена (21.10.2026)

До этого grafana.buryans.ru не работал: в конфиге VPS стоял комментарий «сертификат не выпущен — пропущен».

Сделано:

  1. VPS: блок listen 80 + certbot + listen 443 → 192.168.1.113:3000.
  2. Домашний nginx: grafana-local.conf + grafana-http-redirect.conf.
  3. Сертификат скопирован в /etc/nginx/certs/grafana.buryans.ru/.
  4. OAuth-адреса в Grafana переведены на публичные:
    • GF_AUTH_GENERIC_OAUTH_AUTH_URL → https://authentik.buryans.ru/application/o/authorize/
    • GF_AUTH_GENERIC_OAUTH_TOKEN_URL → https://authentik.buryans.ru/application/o/token/
    • GF_AUTH_GENERIC_OAUTH_API_URL → https://authentik.buryans.ru/application/o/userinfo/
  5. В Authentik добавлен redirect https://grafana.buryans.ru/login/generic_oauth.

Проверка:

http://grafana.buryans.ru  → 301 https
https://grafana.buryans.ru → 302 /login (200)
SSO старт → https://authentik.buryans.ru/... ✅

Ловушки

  1. Grafana 12 хранит SSO не в setting, а в sso_setting (и то записей может не быть — тогда работают только env). Таблицы setting в базе нет вообще: relation "setting" does not exist.
  2. После пересоздания контейнера том теряет владельца: mkdir: can't create directory '/var/lib/grafana/plugins': Permission denied. Лечится chown -R 472:472 <volume>.
  3. В compose был старый AUTH_URL с внутренним адресом — env перекрывал всё, пока его не заменили в файле.
  4. GF_AUTH_GENERIC_OAUTH_TOKEN_URL брался из .env через ${...} — подстановка осталась внутренней, пока не вписали литерал.

Dozzle и Beszel

Оба в CT110, оба за SSO.

Dozzle — логи

Параметр Значение
Порт 127.0.0.1:9998
Прокси oauth2-proxy-logs на 9997
Домен https://logs.buryans.ru
Проверка http 301 → https 302 → Authentik

Показывает контейнеры CT110. Больше не может: Docker на хосте PVE ограничен AppArmor, а сокет другого CT недоступен.

Beszel — мониторинг

Параметр Значение
Порт 127.0.0.1:8092
Прокси oauth2-proxy-metrics на 9996
Домен https://metrics.buryans.ru
Проверка http 301 → https 302 → Authentik

Хаб поднят. Для сбора метрик с машин нужны агенты — по одному на каждую: хост, CT109, CT105 и т.д. Ключ агента берётся в интерфейсе Beszel после первого входа.

Ловушки

  1. Порты 9996/9997/9998 свободны, а 9999 занят telegram-proxy.py — проверять перед запуском.
  2. user: root в compose для образа без passwd падает: unable to find user root. Нужно user: "0:0".
  3. OAuth2-прокси в network_mode: host слушает порт напрямую — маппинг портов ему не нужен и только мешает.