209 lines
8.8 KiB
Markdown
209 lines
8.8 KiB
Markdown
# Beszel — мониторинг всех гостей
|
||
|
||
## Охват: 35 из 35
|
||
|
||
| Что | Как развёрнуто |
|
||
|---|---|
|
||
| pve (хост) | контейнер, `45876` |
|
||
| 27 CT с Docker | контейнер `beszel-agent` |
|
||
| 5 CT без Docker | **бинарник + systemd** |
|
||
| VM 104 (Immich) | бинарник + systemd |
|
||
| CT110 (сам хаб) | контейнер |
|
||
|
||
Проверка: `гостей: 35 | в Beszel: 35 | не покрыты: нет`.
|
||
|
||
## Схема
|
||
|
||
- Хаб: CT110, `0.0.0.0:8092`, прокси `oauth2-proxy-metrics` на `9996`,
|
||
домен `https://metrics.buryans.ru`.
|
||
- Агент: слушает `45876`, хаб подключается к нему по SSH по ключу —
|
||
токен системы не требуется.
|
||
- Бинарник агента лежит в `/usr/local/bin/beszel-agent`,
|
||
systemd-юнит `beszel-agent.service`.
|
||
|
||
## Ловушки (все стоили времени)
|
||
|
||
1. **Docker API разный**: CT110 требует `DOCKER_API_VERSION=1.41`,
|
||
остальные — ≥1.44.
|
||
2. **Нет compose** в CT124/126 — только `docker run`.
|
||
3. **AppArmor в LXC** (CT115, CT140): нужен `--security-opt apparmor=unconfined`.
|
||
4. **CT111 — это 192.168.1.240**, а не `.111`.
|
||
5. **`UID` — readonly в bash**.
|
||
6. **KEY содержит пробел**: в systemd-юните обязательны кавычки
|
||
`Environment="KEY=ssh-ed25519 AAAA..."`, иначе
|
||
`Failed to load public keys: failed to parse key`.
|
||
7. **VM 104 доступна по SSH root@192.168.1.104** — агент ставится напрямую.
|
||
|
||
|
||
---
|
||
|
||
# Dozzle — логи контейнеров
|
||
|
||
## Где
|
||
|
||
| Параметр | Значение |
|
||
|---|---|
|
||
| CT | 110 (office-lxc) |
|
||
| Порт | `127.0.0.1:9998` |
|
||
| Прокси | `oauth2-proxy-logs`, `network_mode: host`, порт `9997` |
|
||
| Домен | `https://logs.buryans.ru` (ждёт DNS) |
|
||
| Данные | нет, читает `docker.sock` |
|
||
|
||
## Почему не на хосте
|
||
|
||
На PVE Docker ограничен (AppArmor): контейнер не может подключиться
|
||
к `/var/run/docker.sock` — `Could not connect to any Docker Engine`.
|
||
Memos и Stirling тоже падали на хосте по этой причине.
|
||
|
||
Поэтому Dozzle живёт в CT110 и видит контейнеры этого CT.
|
||
|
||
## SSO
|
||
|
||
```
|
||
proxy 9997 → 302 https://authentik.buryans.ru/application/o/authorize/
|
||
dozzle 9998 → 200 (локально)
|
||
```
|
||
|
||
Провайдер `provider-logs`, приложение `logs`, redirect
|
||
`https://logs.buryans.ru/oauth2/callback`.
|
||
|
||
## Инцидент при развёртывании
|
||
|
||
`oauth2-proxy-logs` занял порт **9999**, на котором работал
|
||
`telegram-proxy.py`. Процесс упал, systemd его поднял. Прокси переведён
|
||
на 9997.
|
||
|
||
Также выяснилось, что `tmdb-proxy.service` (socat на 8888) конфликтует
|
||
с SSH-туннелем на том же порту. Метаданные работают через туннель (401
|
||
от api.themoviedb.org = доступ есть), поэтому `tmdb-proxy` отключён как дубль.
|
||
|
||
## Что осталось
|
||
|
||
1. DNS: `logs.buryans.ru` → **193.233.210.184** (сейчас указывает
|
||
на 5.101.152.161 — чужой адрес).
|
||
2. После DNS: certbot на VPS, копия сертификата домой, 443-блок на VPS.
|
||
|
||
|
||
---
|
||
|
||
# Grafana: дашборд «Инфраструктура»
|
||
|
||
## Где
|
||
|
||
| Параметр | Значение |
|
||
|---|---|
|
||
| CT | 113 (backup-lxc) |
|
||
| Порт | `192.168.1.113:3000` |
|
||
| Версия | 12.4.0 |
|
||
| Датасорс | Prometheus, uid `prom-buryan` |
|
||
| Дашборд | uid `buryan-infra` |
|
||
|
||
## Панели
|
||
|
||
| Панель | Запрос |
|
||
|---|---|
|
||
| Машин онлайн | `count(up{job=~"node\|buryan"} == 1)` |
|
||
| Алертов активно | `count(ALERTS{alertstate="firing"})` |
|
||
| Минимум свободного места | `min(node_filesystem_avail_bytes{mountpoint="/"})` |
|
||
| Максимальная нагрузка | `max(node_load15)` |
|
||
| CPU по машинам | `100 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100` |
|
||
| Память по машинам | `100 * (1 - MemAvailable/MemTotal)` |
|
||
| Диск / по машинам | `100 * (1 - avail/size)` |
|
||
| Сеть (МБ/с) | `rate(node_network_receive_bytes_total{device="eth0"}[5m])` |
|
||
|
||
Проверено: 28 серий по CPU/памяти/диску/сети, значения приходят.
|
||
|
||
## Что добавилось по ходу
|
||
|
||
**node_exporter на хосте** — его не было, поэтому сам PVE не попадал
|
||
в метрики. Запущен контейнер `node_exporter` на хосте (`network host`,
|
||
порт 9100), добавлена цель в Prometheus (`ct=0`, `host=pve`).
|
||
|
||
Проверка: `up{job="node",instance="192.168.1.10:9100"} = 1`.
|
||
|
||
## Ловушки
|
||
|
||
1. **Grafana живёт в CT113**, а не в CT134 рядом с Prometheus.
|
||
2. **Правка `prometheus.yml` через heredoc внутри `pct exec` не сработала**
|
||
молча — файл не изменился. Надёжно: сформировать файл на хосте,
|
||
затем `pct push`.
|
||
3. **instance для хоста** — `192.168.1.10:9100`, у CT — `192.168.1.N:9100`.
|
||
|
||
## Публикация домена (21.10.2026)
|
||
|
||
До этого `grafana.buryans.ru` **не работал**: в конфиге VPS стоял
|
||
комментарий «сертификат не выпущен — пропущен».
|
||
|
||
Сделано:
|
||
|
||
1. VPS: блок `listen 80` + certbot + `listen 443` → `192.168.1.113:3000`.
|
||
2. Домашний nginx: `grafana-local.conf` + `grafana-http-redirect.conf`.
|
||
3. Сертификат скопирован в `/etc/nginx/certs/grafana.buryans.ru/`.
|
||
4. OAuth-адреса в Grafana переведены на публичные:
|
||
- `GF_AUTH_GENERIC_OAUTH_AUTH_URL` → `https://authentik.buryans.ru/application/o/authorize/`
|
||
- `GF_AUTH_GENERIC_OAUTH_TOKEN_URL` → `https://authentik.buryans.ru/application/o/token/`
|
||
- `GF_AUTH_GENERIC_OAUTH_API_URL` → `https://authentik.buryans.ru/application/o/userinfo/`
|
||
5. В Authentik добавлен redirect `https://grafana.buryans.ru/login/generic_oauth`.
|
||
|
||
Проверка:
|
||
|
||
```
|
||
http://grafana.buryans.ru → 301 https
|
||
https://grafana.buryans.ru → 302 /login (200)
|
||
SSO старт → https://authentik.buryans.ru/... ✅
|
||
```
|
||
|
||
## Ловушки
|
||
|
||
1. **Grafana 12 хранит SSO не в `setting`**, а в `sso_setting`
|
||
(и то записей может не быть — тогда работают только env).
|
||
Таблицы `setting` в базе нет вообще: `relation "setting" does not exist`.
|
||
2. **После пересоздания контейнера том теряет владельца**:
|
||
`mkdir: can't create directory '/var/lib/grafana/plugins': Permission denied`.
|
||
Лечится `chown -R 472:472 <volume>`.
|
||
3. **В compose был старый `AUTH_URL` с внутренним адресом** — env
|
||
перекрывал всё, пока его не заменили в файле.
|
||
4. **`GF_AUTH_GENERIC_OAUTH_TOKEN_URL` брался из `.env`** через
|
||
`${...}` — подстановка осталась внутренней, пока не вписали литерал.
|
||
|
||
|
||
---
|
||
|
||
# Dozzle и Beszel
|
||
|
||
Оба в CT110, оба за SSO.
|
||
|
||
## Dozzle — логи
|
||
|
||
| Параметр | Значение |
|
||
|---|---|
|
||
| Порт | `127.0.0.1:9998` |
|
||
| Прокси | `oauth2-proxy-logs` на `9997` |
|
||
| Домен | `https://logs.buryans.ru` |
|
||
| Проверка | http 301 → https 302 → Authentik |
|
||
|
||
Показывает контейнеры CT110. Больше не может: Docker на хосте PVE
|
||
ограничен AppArmor, а сокет другого CT недоступен.
|
||
|
||
## Beszel — мониторинг
|
||
|
||
| Параметр | Значение |
|
||
|---|---|
|
||
| Порт | `127.0.0.1:8092` |
|
||
| Прокси | `oauth2-proxy-metrics` на `9996` |
|
||
| Домен | `https://metrics.buryans.ru` |
|
||
| Проверка | http 301 → https 302 → Authentik |
|
||
|
||
Хаб поднят. Для сбора метрик с машин нужны **агенты** — по одному
|
||
на каждую: хост, CT109, CT105 и т.д. Ключ агента берётся в интерфейсе
|
||
Beszel после первого входа.
|
||
|
||
## Ловушки
|
||
|
||
1. Порты `9996/9997/9998` свободны, а `9999` занят `telegram-proxy.py`
|
||
— проверять перед запуском.
|
||
2. `user: root` в compose для образа без passwd падает:
|
||
`unable to find user root`. Нужно `user: "0:0"`.
|
||
3. OAuth2-прокси в `network_mode: host` слушает порт напрямую —
|
||
маппинг портов ему не нужен и только мешает.
|