203 lines
7.2 KiB
Markdown
203 lines
7.2 KiB
Markdown
# Сбор журналов (Loki) — как это работает
|
|
|
|
## Что сделано 16.10.2026
|
|
|
|
```
|
|
Loki: CT 113, порт 3100, хранение 30 дней
|
|
Promtail: CT 113, собирает журналы контейнеров
|
|
Grafana: подключены источники Loki и Prometheus
|
|
```
|
|
|
|
## Зачем
|
|
|
|
**Было:** чтобы найти причину сбоя, надо обойти 29 контейнеров.
|
|
**Стало:** один поиск в Grafana по всем журналам сразу.
|
|
|
|
## Как устроено
|
|
|
|
```
|
|
контейнеры → Promtail (сборщик) → Loki (хранилище) → Grafana (поиск)
|
|
```
|
|
|
|
## Важная особенность
|
|
|
|
Плагин `docker compose` в этой версии **слишком новый** для
|
|
Docker 20.10.24:
|
|
|
|
```
|
|
Error: client version 1.53 is too new.
|
|
Maximum supported API version is 1.41
|
|
```
|
|
|
|
**Поэтому контейнеры запускаются напрямую** (`docker run`),
|
|
без compose-файла. При обновлении compose-файл заработает.
|
|
|
|
## Настройки
|
|
|
|
| Что | Где |
|
|
|---|---|
|
|
| Настройка Loki | `/opt/loki/config/loki-config.yml` |
|
|
| Настройка сборщика | `/opt/loki/promtail/promtail-config.yml` |
|
|
| Данные | `/opt/loki/data` |
|
|
|
|
**Хранение:** 30 дней (`retention_period: 720h`)
|
|
**Место:** ~89 ГБ свободно в CT 113
|
|
|
|
## Запуск и остановка
|
|
|
|
```bash
|
|
# Запуск
|
|
pct exec 113 -- docker run -d --name loki --restart unless-stopped \
|
|
--user root -p 3100:3100 \
|
|
-v /opt/loki/config/loki-config.yml:/etc/loki/local-config.yaml:ro \
|
|
-v /opt/loki/data:/loki \
|
|
grafana/loki:3.2.1 -config.file=/etc/loki/local-config.yaml
|
|
|
|
pct exec 113 -- docker run -d --name promtail --restart unless-stopped \
|
|
--user root --network host \
|
|
-v /opt/loki/promtail/promtail-config.yml:/etc/promtail/config.yml:ro \
|
|
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
|
|
-v /var/run/docker.sock:/var/run/docker.sock:ro \
|
|
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
|
|
|
|
# Проверка
|
|
curl -s http://192.168.1.113:3100/ready
|
|
curl -s "http://192.168.1.113:3100/loki/api/v1/label/container/values"
|
|
```
|
|
|
|
## Поиск в Grafana
|
|
|
|
```
|
|
1. Открыть Grafana → Explore
|
|
2. Выбрать источник Loki
|
|
3. Запрос: {container="имя_контейнера"}
|
|
или: {job="docker"} |= "ошибка"
|
|
```
|
|
|
|
## Что дальше
|
|
|
|
**Сборщик видит только журналы своей машины (CT 113).**
|
|
|
|
Для сбора со ВСЕХ 29 машин нужно:
|
|
* поставить сборщик в каждую машину (проще, но 29 экземпляров);
|
|
* либо настроить общий приём и направить журналы туда.
|
|
|
|
**Проще всего:** поставить сборщик в каждую машину с Docker —
|
|
их 27. Настройка одна и та же, меняется только адрес Loki.
|
|
|
|
---
|
|
|
|
## Обновление от 16.10.2026 — состояние
|
|
|
|
### Работает
|
|
|
|
```
|
|
Loki: 200 (CT 113, порт 3100)
|
|
Promtail: работает, собирает журналы
|
|
Grafana: источники Loki и Prometheus подключены
|
|
Собрано: 1,2 МБ журналов
|
|
Хранение: 30 дней
|
|
```
|
|
|
|
### Источники в Grafana
|
|
|
|
| Имя | Тип | Адрес |
|
|
|---|---|---|
|
|
| Loki | loki | 192.168.1.113:3100 |
|
|
| Prometheus | prometheus | 192.168.1.134:9090 |
|
|
| Buryan PostgreSQL | postgresql | 192.168.1.151:5432 |
|
|
| PostgreSQL-Buryan | postgresql | 192.168.1.151:5432 |
|
|
|
|
### Две ошибки, которые пришлось обойти
|
|
|
|
**1. Плагин compose слишком новый**
|
|
```
|
|
Error: client version 1.53 is too new.
|
|
Maximum supported API version is 1.41
|
|
```
|
|
Docker в CT 113 — версии 20.10.24. Плагин `docker compose`
|
|
новее, чем поддерживает сервер. **Обошёл, запуская контейнеры
|
|
напрямую через `docker run`.**
|
|
|
|
**2. Не те колонки в таблице источников Grafana**
|
|
|
|
Обязательные колонки таблицы `data_source`:
|
|
```
|
|
id, org_id, version, type, name, access, url,
|
|
basic_auth, is_default, created, updated,
|
|
with_credentials, uid
|
|
```
|
|
Плюс `json_data` и `secure_json_data` — можно пусто.
|
|
|
|
**Важно:** `uid` обязателен и должен быть УНИКАЛЕН.
|
|
Пустой uid превращается в `0` и конфликтует.
|
|
|
|
### Следующий шаг
|
|
|
|
Сборщик видит журналы только CT 113. Для сбора со всех
|
|
27 машин с Docker нужно поставить сборщик в каждую.
|
|
|
|
**Настройка одинакова**, меняется только адрес Loki:
|
|
```
|
|
clients:
|
|
- url: http://192.168.1.113:3100/loki/api/v1/push
|
|
```
|
|
|
|
**Скрипт для развёртывания по всем машинам** можно сделать
|
|
по образцу того, что уже работает в CT 113.
|
|
|
|
---
|
|
|
|
## Обновление: сборщик развёрнут по всем машинам
|
|
|
|
### Результат
|
|
|
|
```
|
|
Установлен: 22 машины из 26
|
|
Loki видит: 53 контейнера-источника (было 3)
|
|
Машин: 25
|
|
Собрано: 399 МБ (было 1,2 МБ)
|
|
```
|
|
|
|
### Где не получилось
|
|
|
|
| Машина | Что | Причина |
|
|
|---|---|---|
|
|
| CT 108 (automation/n8n) | образ не скачался | вероятно, нет доступа к хранилищу образов |
|
|
| CT 111 (reading) | образ не скачался | то же |
|
|
| CT 115 (OpenClaw) | не запустился | надо смотреть журнал |
|
|
| CT 140 (gitea) | не запустился | надо смотреть журнал |
|
|
|
|
**Это не срочно:** журналы 22 машин из 26 уже собираются.
|
|
Для оставшихся — разобрать причину отдельно.
|
|
|
|
### Как развернуть вручную (для одной машины)
|
|
|
|
```bash
|
|
CT=140
|
|
# Настройка
|
|
pct push $CT /tmp/promtail-template.yml /opt/promtail-config.yml
|
|
# Запуск
|
|
pct exec $CT -- docker run -d --name promtail --restart unless-stopped \
|
|
--user root --network host \
|
|
-v /opt/promtail-config.yml:/etc/promtail/config.yml:ro \
|
|
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
|
|
-v /var/run/docker.sock:/var/run/docker.sock:ro \
|
|
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
|
|
```
|
|
|
|
### Важно: настройка должна быть ФАЙЛОМ, а не через compose
|
|
|
|
Причина — плагин compose слишком новый для Docker 20.10.24.
|
|
|
|
### Поиск журналов в Grafana
|
|
|
|
```
|
|
Grafana → Explore → источник Loki
|
|
|
|
{job="docker"} все журналы
|
|
{container="matrix-synapse"} конкретная служба
|
|
{job="docker"} |= "ошибка" поиск по тексту
|
|
{ct="155"} по машине
|
|
```
|