Files
buryan-infra/ops/monitoring/LOKI-HOWTO.md
T

256 lines
9.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Сбор журналов (Loki) — как это работает
## Что сделано 16.10.2026
```
Loki: CT 113, порт 3100, хранение 30 дней
Promtail: CT 113, собирает журналы контейнеров
Grafana: подключены источники Loki и Prometheus
```
## Зачем
**Было:** чтобы найти причину сбоя, надо обойти 29 контейнеров.
**Стало:** один поиск в Grafana по всем журналам сразу.
## Как устроено
```
контейнеры → Promtail (сборщик) → Loki (хранилище) → Grafana (поиск)
```
## Важная особенность
Плагин `docker compose` в этой версии **слишком новый** для
Docker 20.10.24:
```
Error: client version 1.53 is too new.
Maximum supported API version is 1.41
```
**Поэтому контейнеры запускаются напрямую** (`docker run`),
без compose-файла. При обновлении compose-файл заработает.
## Настройки
| Что | Где |
|---|---|
| Настройка Loki | `/opt/loki/config/loki-config.yml` |
| Настройка сборщика | `/opt/loki/promtail/promtail-config.yml` |
| Данные | `/opt/loki/data` |
**Хранение:** 30 дней (`retention_period: 720h`)
**Место:** ~89 ГБ свободно в CT 113
## Запуск и остановка
```bash
# Запуск
pct exec 113 -- docker run -d --name loki --restart unless-stopped \
--user root -p 3100:3100 \
-v /opt/loki/config/loki-config.yml:/etc/loki/local-config.yaml:ro \
-v /opt/loki/data:/loki \
grafana/loki:3.2.1 -config.file=/etc/loki/local-config.yaml
pct exec 113 -- docker run -d --name promtail --restart unless-stopped \
--user root --network host \
-v /opt/loki/promtail/promtail-config.yml:/etc/promtail/config.yml:ro \
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
# Проверка
curl -s http://192.168.1.113:3100/ready
curl -s "http://192.168.1.113:3100/loki/api/v1/label/container/values"
```
## Поиск в Grafana
```
1. Открыть Grafana → Explore
2. Выбрать источник Loki
3. Запрос: {container="имя_контейнера"}
или: {job="docker"} |= "ошибка"
```
## Что дальше
**Сборщик видит только журналы своей машины (CT 113).**
Для сбора со ВСЕХ 29 машин нужно:
* поставить сборщик в каждую машину (проще, но 29 экземпляров);
* либо настроить общий приём и направить журналы туда.
**Проще всего:** поставить сборщик в каждую машину с Docker —
их 27. Настройка одна и та же, меняется только адрес Loki.
---
## Обновление от 16.10.2026 — состояние
### Работает
```
Loki: 200 (CT 113, порт 3100)
Promtail: работает, собирает журналы
Grafana: источники Loki и Prometheus подключены
Собрано: 1,2 МБ журналов
Хранение: 30 дней
```
### Источники в Grafana
| Имя | Тип | Адрес |
|---|---|---|
| Loki | loki | 192.168.1.113:3100 |
| Prometheus | prometheus | 192.168.1.134:9090 |
| Buryan PostgreSQL | postgresql | 192.168.1.151:5432 |
| PostgreSQL-Buryan | postgresql | 192.168.1.151:5432 |
### Две ошибки, которые пришлось обойти
**1. Плагин compose слишком новый**
```
Error: client version 1.53 is too new.
Maximum supported API version is 1.41
```
Docker в CT 113 — версии 20.10.24. Плагин `docker compose`
новее, чем поддерживает сервер. **Обошёл, запуская контейнеры
напрямую через `docker run`.**
**2. Не те колонки в таблице источников Grafana**
Обязательные колонки таблицы `data_source`:
```
id, org_id, version, type, name, access, url,
basic_auth, is_default, created, updated,
with_credentials, uid
```
Плюс `json_data` и `secure_json_data` — можно пусто.
**Важно:** `uid` обязателен и должен быть УНИКАЛЕН.
Пустой uid превращается в `0` и конфликтует.
### Следующий шаг
Сборщик видит журналы только CT 113. Для сбора со всех
27 машин с Docker нужно поставить сборщик в каждую.
**Настройка одинакова**, меняется только адрес Loki:
```
clients:
- url: http://192.168.1.113:3100/loki/api/v1/push
```
**Скрипт для развёртывания по всем машинам** можно сделать
по образцу того, что уже работает в CT 113.
---
## Обновление: сборщик развёрнут по всем машинам
### Результат
```
Установлен: 22 машины из 26
Loki видит: 53 контейнера-источника (было 3)
Машин: 25
Собрано: 399 МБ (было 1,2 МБ)
```
### Где не получилось
| Машина | Что | Причина |
|---|---|---|
| CT 108 (automation/n8n) | образ не скачался | вероятно, нет доступа к хранилищу образов |
| CT 111 (reading) | образ не скачался | то же |
| CT 115 (OpenClaw) | не запустился | надо смотреть журнал |
| CT 140 (gitea) | не запустился | надо смотреть журнал |
**Это не срочно:** журналы 22 машин из 26 уже собираются.
Для оставшихся — разобрать причину отдельно.
### Как развернуть вручную (для одной машины)
```bash
CT=140
# Настройка
pct push $CT /tmp/promtail-template.yml /opt/promtail-config.yml
# Запуск
pct exec $CT -- docker run -d --name promtail --restart unless-stopped \
--user root --network host \
-v /opt/promtail-config.yml:/etc/promtail/config.yml:ro \
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
```
### Важно: настройка должна быть ФАЙЛОМ, а не через compose
Причина — плагин compose слишком новый для Docker 20.10.24.
### Поиск журналов в Grafana
```
Grafana → Explore → источник Loki
{job="docker"} все журналы
{container="matrix-synapse"} конкретная служба
{job="docker"} |= "ошибка" поиск по тексту
{ct="155"} по машине
```
---
## Обновление 16.10.2026: сборщик на всех машинах
### Результат
```
машин с Docker: 26
со сборщиком: 24
источников: см. выше
```
### Если образ не скачивается
У некоторых машин нет доступа к хранилищу образов
(`ghcr.io`). Решение — **перенести образ с другой машины**:
```bash
# На машине, где образ есть
pct exec 113 -- docker save grafana/promtail:3.2.1 -o /tmp/promtail.tar
pct pull 113 /tmp/promtail.tar /tmp/promtail.tar
# На машине, где нет
pct push <CT> /tmp/promtail.tar /tmp/promtail.tar
pct exec <CT> -- docker load -i /tmp/promtail.tar
```
### Две машины, где сборщик не встал сразу
**CT 115 (OpenClaw) — диск заполнен на 100%**
Сборщик не стартовал, потому что **некуда писать**.
Причина: накопились журналы и неиспользуемые образы Docker.
**Что делать при полном диске:**
```bash
# Неиспользуемые образы (безопасно)
pct exec <CT> -- docker image prune -f
# Старые журналы Docker
pct exec <CT> -- find /var/lib/docker/containers -name "*-json.log" \
-mtime +3 -exec truncate -s 0 {} \;
# Место
pct exec <CT> -- df -h /
```
**Проверять место стоит регулярно** — оно уже подводило
(тонкий пул был переподписан, теперь диск CT 115).
**CT 140 (gitea) — контейнер создан, но не стартовал**
Возможная причина — занятый порт сборщика (9080).
Решение: сменить порт в настройке сборщика.