Files
buryan-wiki/Monitoring.md
T

209 lines
8.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Beszel — мониторинг всех гостей
## Охват: 35 из 35
| Что | Как развёрнуто |
|---|---|
| pve (хост) | контейнер, `45876` |
| 27 CT с Docker | контейнер `beszel-agent` |
| 5 CT без Docker | **бинарник + systemd** |
| VM 104 (Immich) | бинарник + systemd |
| CT110 (сам хаб) | контейнер |
Проверка: `гостей: 35 | в Beszel: 35 | не покрыты: нет`.
## Схема
- Хаб: CT110, `0.0.0.0:8092`, прокси `oauth2-proxy-metrics` на `9996`,
домен `https://metrics.buryans.ru`.
- Агент: слушает `45876`, хаб подключается к нему по SSH по ключу —
токен системы не требуется.
- Бинарник агента лежит в `/usr/local/bin/beszel-agent`,
systemd-юнит `beszel-agent.service`.
## Ловушки (все стоили времени)
1. **Docker API разный**: CT110 требует `DOCKER_API_VERSION=1.41`,
остальные — ≥1.44.
2. **Нет compose** в CT124/126 — только `docker run`.
3. **AppArmor в LXC** (CT115, CT140): нужен `--security-opt apparmor=unconfined`.
4. **CT111 — это 192.168.1.240**, а не `.111`.
5. **`UID` — readonly в bash**.
6. **KEY содержит пробел**: в systemd-юните обязательны кавычки
`Environment="KEY=ssh-ed25519 AAAA..."`, иначе
`Failed to load public keys: failed to parse key`.
7. **VM 104 доступна по SSH root@192.168.1.104** — агент ставится напрямую.
---
# Dozzle — логи контейнеров
## Где
| Параметр | Значение |
|---|---|
| CT | 110 (office-lxc) |
| Порт | `127.0.0.1:9998` |
| Прокси | `oauth2-proxy-logs`, `network_mode: host`, порт `9997` |
| Домен | `https://logs.buryans.ru` (ждёт DNS) |
| Данные | нет, читает `docker.sock` |
## Почему не на хосте
На PVE Docker ограничен (AppArmor): контейнер не может подключиться
к `/var/run/docker.sock` — `Could not connect to any Docker Engine`.
Memos и Stirling тоже падали на хосте по этой причине.
Поэтому Dozzle живёт в CT110 и видит контейнеры этого CT.
## SSO
```
proxy 9997 → 302 https://authentik.buryans.ru/application/o/authorize/
dozzle 9998 → 200 (локально)
```
Провайдер `provider-logs`, приложение `logs`, redirect
`https://logs.buryans.ru/oauth2/callback`.
## Инцидент при развёртывании
`oauth2-proxy-logs` занял порт **9999**, на котором работал
`telegram-proxy.py`. Процесс упал, systemd его поднял. Прокси переведён
на 9997.
Также выяснилось, что `tmdb-proxy.service` (socat на 8888) конфликтует
с SSH-туннелем на том же порту. Метаданные работают через туннель (401
от api.themoviedb.org = доступ есть), поэтому `tmdb-proxy` отключён как дубль.
## Что осталось
1. DNS: `logs.buryans.ru` → **193.233.210.184** (сейчас указывает
на 5.101.152.161 — чужой адрес).
2. После DNS: certbot на VPS, копия сертификата домой, 443-блок на VPS.
---
# Grafana: дашборд «Инфраструктура»
## Где
| Параметр | Значение |
|---|---|
| CT | 113 (backup-lxc) |
| Порт | `192.168.1.113:3000` |
| Версия | 12.4.0 |
| Датасорс | Prometheus, uid `prom-buryan` |
| Дашборд | uid `buryan-infra` |
## Панели
| Панель | Запрос |
|---|---|
| Машин онлайн | `count(up{job=~"node\|buryan"} == 1)` |
| Алертов активно | `count(ALERTS{alertstate="firing"})` |
| Минимум свободного места | `min(node_filesystem_avail_bytes{mountpoint="/"})` |
| Максимальная нагрузка | `max(node_load15)` |
| CPU по машинам | `100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100` |
| Память по машинам | `100 * (1 - MemAvailable/MemTotal)` |
| Диск / по машинам | `100 * (1 - avail/size)` |
| Сеть (МБ/с) | `rate(node_network_receive_bytes_total{device="eth0"}[5m])` |
Проверено: 28 серий по CPU/памяти/диску/сети, значения приходят.
## Что добавилось по ходу
**node_exporter на хосте** — его не было, поэтому сам PVE не попадал
в метрики. Запущен контейнер `node_exporter` на хосте (`network host`,
порт 9100), добавлена цель в Prometheus (`ct=0`, `host=pve`).
Проверка: `up{job="node",instance="192.168.1.10:9100"} = 1`.
## Ловушки
1. **Grafana живёт в CT113**, а не в CT134 рядом с Prometheus.
2. **Правка `prometheus.yml` через heredoc внутри `pct exec` не сработала**
молча — файл не изменился. Надёжно: сформировать файл на хосте,
затем `pct push`.
3. **instance для хоста** — `192.168.1.10:9100`, у CT — `192.168.1.N:9100`.
## Публикация домена (21.10.2026)
До этого `grafana.buryans.ru` **не работал**: в конфиге VPS стоял
комментарий «сертификат не выпущен — пропущен».
Сделано:
1. VPS: блок `listen 80` + certbot + `listen 443` → `192.168.1.113:3000`.
2. Домашний nginx: `grafana-local.conf` + `grafana-http-redirect.conf`.
3. Сертификат скопирован в `/etc/nginx/certs/grafana.buryans.ru/`.
4. OAuth-адреса в Grafana переведены на публичные:
- `GF_AUTH_GENERIC_OAUTH_AUTH_URL` → `https://authentik.buryans.ru/application/o/authorize/`
- `GF_AUTH_GENERIC_OAUTH_TOKEN_URL` → `https://authentik.buryans.ru/application/o/token/`
- `GF_AUTH_GENERIC_OAUTH_API_URL` → `https://authentik.buryans.ru/application/o/userinfo/`
5. В Authentik добавлен redirect `https://grafana.buryans.ru/login/generic_oauth`.
Проверка:
```
http://grafana.buryans.ru → 301 https
https://grafana.buryans.ru → 302 /login (200)
SSO старт → https://authentik.buryans.ru/... ✅
```
## Ловушки
1. **Grafana 12 хранит SSO не в `setting`**, а в `sso_setting`
(и то записей может не быть — тогда работают только env).
Таблицы `setting` в базе нет вообще: `relation "setting" does not exist`.
2. **После пересоздания контейнера том теряет владельца**:
`mkdir: can't create directory '/var/lib/grafana/plugins': Permission denied`.
Лечится `chown -R 472:472 <volume>`.
3. **В compose был старый `AUTH_URL` с внутренним адресом** — env
перекрывал всё, пока его не заменили в файле.
4. **`GF_AUTH_GENERIC_OAUTH_TOKEN_URL` брался из `.env`** через
`${...}` — подстановка осталась внутренней, пока не вписали литерал.
---
# Dozzle и Beszel
Оба в CT110, оба за SSO.
## Dozzle — логи
| Параметр | Значение |
|---|---|
| Порт | `127.0.0.1:9998` |
| Прокси | `oauth2-proxy-logs` на `9997` |
| Домен | `https://logs.buryans.ru` |
| Проверка | http 301 → https 302 → Authentik |
Показывает контейнеры CT110. Больше не может: Docker на хосте PVE
ограничен AppArmor, а сокет другого CT недоступен.
## Beszel — мониторинг
| Параметр | Значение |
|---|---|
| Порт | `127.0.0.1:8092` |
| Прокси | `oauth2-proxy-metrics` на `9996` |
| Домен | `https://metrics.buryans.ru` |
| Проверка | http 301 → https 302 → Authentik |
Хаб поднят. Для сбора метрик с машин нужны **агенты** — по одному
на каждую: хост, CT109, CT105 и т.д. Ключ агента берётся в интерфейсе
Beszel после первого входа.
## Ловушки
1. Порты `9996/9997/9998` свободны, а `9999` занят `telegram-proxy.py`
— проверять перед запуском.
2. `user: root` в compose для образа без passwd падает:
`unable to find user root`. Нужно `user: "0:0"`.
3. OAuth2-прокси в `network_mode: host` слушает порт напрямую —
маппинг портов ему не нужен и только мешает.