256 lines
9.0 KiB
Markdown
256 lines
9.0 KiB
Markdown
# Сбор журналов (Loki) — как это работает
|
||
|
||
## Что сделано 16.10.2026
|
||
|
||
```
|
||
Loki: CT 113, порт 3100, хранение 30 дней
|
||
Promtail: CT 113, собирает журналы контейнеров
|
||
Grafana: подключены источники Loki и Prometheus
|
||
```
|
||
|
||
## Зачем
|
||
|
||
**Было:** чтобы найти причину сбоя, надо обойти 29 контейнеров.
|
||
**Стало:** один поиск в Grafana по всем журналам сразу.
|
||
|
||
## Как устроено
|
||
|
||
```
|
||
контейнеры → Promtail (сборщик) → Loki (хранилище) → Grafana (поиск)
|
||
```
|
||
|
||
## Важная особенность
|
||
|
||
Плагин `docker compose` в этой версии **слишком новый** для
|
||
Docker 20.10.24:
|
||
|
||
```
|
||
Error: client version 1.53 is too new.
|
||
Maximum supported API version is 1.41
|
||
```
|
||
|
||
**Поэтому контейнеры запускаются напрямую** (`docker run`),
|
||
без compose-файла. При обновлении compose-файл заработает.
|
||
|
||
## Настройки
|
||
|
||
| Что | Где |
|
||
|---|---|
|
||
| Настройка Loki | `/opt/loki/config/loki-config.yml` |
|
||
| Настройка сборщика | `/opt/loki/promtail/promtail-config.yml` |
|
||
| Данные | `/opt/loki/data` |
|
||
|
||
**Хранение:** 30 дней (`retention_period: 720h`)
|
||
**Место:** ~89 ГБ свободно в CT 113
|
||
|
||
## Запуск и остановка
|
||
|
||
```bash
|
||
# Запуск
|
||
pct exec 113 -- docker run -d --name loki --restart unless-stopped \
|
||
--user root -p 3100:3100 \
|
||
-v /opt/loki/config/loki-config.yml:/etc/loki/local-config.yaml:ro \
|
||
-v /opt/loki/data:/loki \
|
||
grafana/loki:3.2.1 -config.file=/etc/loki/local-config.yaml
|
||
|
||
pct exec 113 -- docker run -d --name promtail --restart unless-stopped \
|
||
--user root --network host \
|
||
-v /opt/loki/promtail/promtail-config.yml:/etc/promtail/config.yml:ro \
|
||
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
|
||
-v /var/run/docker.sock:/var/run/docker.sock:ro \
|
||
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
|
||
|
||
# Проверка
|
||
curl -s http://192.168.1.113:3100/ready
|
||
curl -s "http://192.168.1.113:3100/loki/api/v1/label/container/values"
|
||
```
|
||
|
||
## Поиск в Grafana
|
||
|
||
```
|
||
1. Открыть Grafana → Explore
|
||
2. Выбрать источник Loki
|
||
3. Запрос: {container="имя_контейнера"}
|
||
или: {job="docker"} |= "ошибка"
|
||
```
|
||
|
||
## Что дальше
|
||
|
||
**Сборщик видит только журналы своей машины (CT 113).**
|
||
|
||
Для сбора со ВСЕХ 29 машин нужно:
|
||
* поставить сборщик в каждую машину (проще, но 29 экземпляров);
|
||
* либо настроить общий приём и направить журналы туда.
|
||
|
||
**Проще всего:** поставить сборщик в каждую машину с Docker —
|
||
их 27. Настройка одна и та же, меняется только адрес Loki.
|
||
|
||
---
|
||
|
||
## Обновление от 16.10.2026 — состояние
|
||
|
||
### Работает
|
||
|
||
```
|
||
Loki: 200 (CT 113, порт 3100)
|
||
Promtail: работает, собирает журналы
|
||
Grafana: источники Loki и Prometheus подключены
|
||
Собрано: 1,2 МБ журналов
|
||
Хранение: 30 дней
|
||
```
|
||
|
||
### Источники в Grafana
|
||
|
||
| Имя | Тип | Адрес |
|
||
|---|---|---|
|
||
| Loki | loki | 192.168.1.113:3100 |
|
||
| Prometheus | prometheus | 192.168.1.134:9090 |
|
||
| Buryan PostgreSQL | postgresql | 192.168.1.151:5432 |
|
||
| PostgreSQL-Buryan | postgresql | 192.168.1.151:5432 |
|
||
|
||
### Две ошибки, которые пришлось обойти
|
||
|
||
**1. Плагин compose слишком новый**
|
||
```
|
||
Error: client version 1.53 is too new.
|
||
Maximum supported API version is 1.41
|
||
```
|
||
Docker в CT 113 — версии 20.10.24. Плагин `docker compose`
|
||
новее, чем поддерживает сервер. **Обошёл, запуская контейнеры
|
||
напрямую через `docker run`.**
|
||
|
||
**2. Не те колонки в таблице источников Grafana**
|
||
|
||
Обязательные колонки таблицы `data_source`:
|
||
```
|
||
id, org_id, version, type, name, access, url,
|
||
basic_auth, is_default, created, updated,
|
||
with_credentials, uid
|
||
```
|
||
Плюс `json_data` и `secure_json_data` — можно пусто.
|
||
|
||
**Важно:** `uid` обязателен и должен быть УНИКАЛЕН.
|
||
Пустой uid превращается в `0` и конфликтует.
|
||
|
||
### Следующий шаг
|
||
|
||
Сборщик видит журналы только CT 113. Для сбора со всех
|
||
27 машин с Docker нужно поставить сборщик в каждую.
|
||
|
||
**Настройка одинакова**, меняется только адрес Loki:
|
||
```
|
||
clients:
|
||
- url: http://192.168.1.113:3100/loki/api/v1/push
|
||
```
|
||
|
||
**Скрипт для развёртывания по всем машинам** можно сделать
|
||
по образцу того, что уже работает в CT 113.
|
||
|
||
---
|
||
|
||
## Обновление: сборщик развёрнут по всем машинам
|
||
|
||
### Результат
|
||
|
||
```
|
||
Установлен: 22 машины из 26
|
||
Loki видит: 53 контейнера-источника (было 3)
|
||
Машин: 25
|
||
Собрано: 399 МБ (было 1,2 МБ)
|
||
```
|
||
|
||
### Где не получилось
|
||
|
||
| Машина | Что | Причина |
|
||
|---|---|---|
|
||
| CT 108 (automation/n8n) | образ не скачался | вероятно, нет доступа к хранилищу образов |
|
||
| CT 111 (reading) | образ не скачался | то же |
|
||
| CT 115 (OpenClaw) | не запустился | надо смотреть журнал |
|
||
| CT 140 (gitea) | не запустился | надо смотреть журнал |
|
||
|
||
**Это не срочно:** журналы 22 машин из 26 уже собираются.
|
||
Для оставшихся — разобрать причину отдельно.
|
||
|
||
### Как развернуть вручную (для одной машины)
|
||
|
||
```bash
|
||
CT=140
|
||
# Настройка
|
||
pct push $CT /tmp/promtail-template.yml /opt/promtail-config.yml
|
||
# Запуск
|
||
pct exec $CT -- docker run -d --name promtail --restart unless-stopped \
|
||
--user root --network host \
|
||
-v /opt/promtail-config.yml:/etc/promtail/config.yml:ro \
|
||
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
|
||
-v /var/run/docker.sock:/var/run/docker.sock:ro \
|
||
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
|
||
```
|
||
|
||
### Важно: настройка должна быть ФАЙЛОМ, а не через compose
|
||
|
||
Причина — плагин compose слишком новый для Docker 20.10.24.
|
||
|
||
### Поиск журналов в Grafana
|
||
|
||
```
|
||
Grafana → Explore → источник Loki
|
||
|
||
{job="docker"} все журналы
|
||
{container="matrix-synapse"} конкретная служба
|
||
{job="docker"} |= "ошибка" поиск по тексту
|
||
{ct="155"} по машине
|
||
```
|
||
|
||
---
|
||
|
||
## Обновление 16.10.2026: сборщик на всех машинах
|
||
|
||
### Результат
|
||
|
||
```
|
||
машин с Docker: 26
|
||
со сборщиком: 24
|
||
источников: см. выше
|
||
```
|
||
|
||
### Если образ не скачивается
|
||
|
||
У некоторых машин нет доступа к хранилищу образов
|
||
(`ghcr.io`). Решение — **перенести образ с другой машины**:
|
||
|
||
```bash
|
||
# На машине, где образ есть
|
||
pct exec 113 -- docker save grafana/promtail:3.2.1 -o /tmp/promtail.tar
|
||
pct pull 113 /tmp/promtail.tar /tmp/promtail.tar
|
||
|
||
# На машине, где нет
|
||
pct push <CT> /tmp/promtail.tar /tmp/promtail.tar
|
||
pct exec <CT> -- docker load -i /tmp/promtail.tar
|
||
```
|
||
|
||
### Две машины, где сборщик не встал сразу
|
||
|
||
**CT 115 (OpenClaw) — диск заполнен на 100%**
|
||
|
||
Сборщик не стартовал, потому что **некуда писать**.
|
||
Причина: накопились журналы и неиспользуемые образы Docker.
|
||
|
||
**Что делать при полном диске:**
|
||
```bash
|
||
# Неиспользуемые образы (безопасно)
|
||
pct exec <CT> -- docker image prune -f
|
||
# Старые журналы Docker
|
||
pct exec <CT> -- find /var/lib/docker/containers -name "*-json.log" \
|
||
-mtime +3 -exec truncate -s 0 {} \;
|
||
# Место
|
||
pct exec <CT> -- df -h /
|
||
```
|
||
|
||
**Проверять место стоит регулярно** — оно уже подводило
|
||
(тонкий пул был переподписан, теперь диск CT 115).
|
||
|
||
**CT 140 (gitea) — контейнер создан, но не стартовал**
|
||
|
||
Возможная причина — занятый порт сборщика (9080).
|
||
Решение: сменить порт в настройке сборщика.
|