Files
buryan-infra/ops/monitoring/LOKI-HOWTO.md
T

203 lines
7.2 KiB
Markdown

# Сбор журналов (Loki) — как это работает
## Что сделано 16.10.2026
```
Loki: CT 113, порт 3100, хранение 30 дней
Promtail: CT 113, собирает журналы контейнеров
Grafana: подключены источники Loki и Prometheus
```
## Зачем
**Было:** чтобы найти причину сбоя, надо обойти 29 контейнеров.
**Стало:** один поиск в Grafana по всем журналам сразу.
## Как устроено
```
контейнеры → Promtail (сборщик) → Loki (хранилище) → Grafana (поиск)
```
## Важная особенность
Плагин `docker compose` в этой версии **слишком новый** для
Docker 20.10.24:
```
Error: client version 1.53 is too new.
Maximum supported API version is 1.41
```
**Поэтому контейнеры запускаются напрямую** (`docker run`),
без compose-файла. При обновлении compose-файл заработает.
## Настройки
| Что | Где |
|---|---|
| Настройка Loki | `/opt/loki/config/loki-config.yml` |
| Настройка сборщика | `/opt/loki/promtail/promtail-config.yml` |
| Данные | `/opt/loki/data` |
**Хранение:** 30 дней (`retention_period: 720h`)
**Место:** ~89 ГБ свободно в CT 113
## Запуск и остановка
```bash
# Запуск
pct exec 113 -- docker run -d --name loki --restart unless-stopped \
--user root -p 3100:3100 \
-v /opt/loki/config/loki-config.yml:/etc/loki/local-config.yaml:ro \
-v /opt/loki/data:/loki \
grafana/loki:3.2.1 -config.file=/etc/loki/local-config.yaml
pct exec 113 -- docker run -d --name promtail --restart unless-stopped \
--user root --network host \
-v /opt/loki/promtail/promtail-config.yml:/etc/promtail/config.yml:ro \
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
# Проверка
curl -s http://192.168.1.113:3100/ready
curl -s "http://192.168.1.113:3100/loki/api/v1/label/container/values"
```
## Поиск в Grafana
```
1. Открыть Grafana → Explore
2. Выбрать источник Loki
3. Запрос: {container="имя_контейнера"}
или: {job="docker"} |= "ошибка"
```
## Что дальше
**Сборщик видит только журналы своей машины (CT 113).**
Для сбора со ВСЕХ 29 машин нужно:
* поставить сборщик в каждую машину (проще, но 29 экземпляров);
* либо настроить общий приём и направить журналы туда.
**Проще всего:** поставить сборщик в каждую машину с Docker —
их 27. Настройка одна и та же, меняется только адрес Loki.
---
## Обновление от 16.10.2026 — состояние
### Работает
```
Loki: 200 (CT 113, порт 3100)
Promtail: работает, собирает журналы
Grafana: источники Loki и Prometheus подключены
Собрано: 1,2 МБ журналов
Хранение: 30 дней
```
### Источники в Grafana
| Имя | Тип | Адрес |
|---|---|---|
| Loki | loki | 192.168.1.113:3100 |
| Prometheus | prometheus | 192.168.1.134:9090 |
| Buryan PostgreSQL | postgresql | 192.168.1.151:5432 |
| PostgreSQL-Buryan | postgresql | 192.168.1.151:5432 |
### Две ошибки, которые пришлось обойти
**1. Плагин compose слишком новый**
```
Error: client version 1.53 is too new.
Maximum supported API version is 1.41
```
Docker в CT 113 — версии 20.10.24. Плагин `docker compose`
новее, чем поддерживает сервер. **Обошёл, запуская контейнеры
напрямую через `docker run`.**
**2. Не те колонки в таблице источников Grafana**
Обязательные колонки таблицы `data_source`:
```
id, org_id, version, type, name, access, url,
basic_auth, is_default, created, updated,
with_credentials, uid
```
Плюс `json_data` и `secure_json_data` — можно пусто.
**Важно:** `uid` обязателен и должен быть УНИКАЛЕН.
Пустой uid превращается в `0` и конфликтует.
### Следующий шаг
Сборщик видит журналы только CT 113. Для сбора со всех
27 машин с Docker нужно поставить сборщик в каждую.
**Настройка одинакова**, меняется только адрес Loki:
```
clients:
- url: http://192.168.1.113:3100/loki/api/v1/push
```
**Скрипт для развёртывания по всем машинам** можно сделать
по образцу того, что уже работает в CT 113.
---
## Обновление: сборщик развёрнут по всем машинам
### Результат
```
Установлен: 22 машины из 26
Loki видит: 53 контейнера-источника (было 3)
Машин: 25
Собрано: 399 МБ (было 1,2 МБ)
```
### Где не получилось
| Машина | Что | Причина |
|---|---|---|
| CT 108 (automation/n8n) | образ не скачался | вероятно, нет доступа к хранилищу образов |
| CT 111 (reading) | образ не скачался | то же |
| CT 115 (OpenClaw) | не запустился | надо смотреть журнал |
| CT 140 (gitea) | не запустился | надо смотреть журнал |
**Это не срочно:** журналы 22 машин из 26 уже собираются.
Для оставшихся — разобрать причину отдельно.
### Как развернуть вручную (для одной машины)
```bash
CT=140
# Настройка
pct push $CT /tmp/promtail-template.yml /opt/promtail-config.yml
# Запуск
pct exec $CT -- docker run -d --name promtail --restart unless-stopped \
--user root --network host \
-v /opt/promtail-config.yml:/etc/promtail/config.yml:ro \
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
```
### Важно: настройка должна быть ФАЙЛОМ, а не через compose
Причина — плагин compose слишком новый для Docker 20.10.24.
### Поиск журналов в Grafana
```
Grafana → Explore → источник Loki
{job="docker"} все журналы
{container="matrix-synapse"} конкретная служба
{job="docker"} |= "ошибка" поиск по тексту
{ct="155"} по машине
```