Files

9.0 KiB

Сбор журналов (Loki) — как это работает

Что сделано 16.10.2026

Loki:      CT 113, порт 3100, хранение 30 дней
Promtail:  CT 113, собирает журналы контейнеров
Grafana:   подключены источники Loki и Prometheus

Зачем

Было: чтобы найти причину сбоя, надо обойти 29 контейнеров. Стало: один поиск в Grafana по всем журналам сразу.

Как устроено

контейнеры → Promtail (сборщик) → Loki (хранилище) → Grafana (поиск)

Важная особенность

Плагин docker compose в этой версии слишком новый для Docker 20.10.24:

Error: client version 1.53 is too new.
       Maximum supported API version is 1.41

Поэтому контейнеры запускаются напрямую (docker run), без compose-файла. При обновлении compose-файл заработает.

Настройки

Что Где
Настройка Loki /opt/loki/config/loki-config.yml
Настройка сборщика /opt/loki/promtail/promtail-config.yml
Данные /opt/loki/data

Хранение: 30 дней (retention_period: 720h) Место: ~89 ГБ свободно в CT 113

Запуск и остановка

# Запуск
pct exec 113 -- docker run -d --name loki --restart unless-stopped \
    --user root -p 3100:3100 \
    -v /opt/loki/config/loki-config.yml:/etc/loki/local-config.yaml:ro \
    -v /opt/loki/data:/loki \
    grafana/loki:3.2.1 -config.file=/etc/loki/local-config.yaml

pct exec 113 -- docker run -d --name promtail --restart unless-stopped \
    --user root --network host \
    -v /opt/loki/promtail/promtail-config.yml:/etc/promtail/config.yml:ro \
    -v /var/lib/docker/containers:/var/lib/docker/containers:ro \
    -v /var/run/docker.sock:/var/run/docker.sock:ro \
    grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml

# Проверка
curl -s http://192.168.1.113:3100/ready
curl -s "http://192.168.1.113:3100/loki/api/v1/label/container/values"

Поиск в Grafana

1. Открыть Grafana → Explore
2. Выбрать источник Loki
3. Запрос: {container="имя_контейнера"}
   или:    {job="docker"} |= "ошибка"

Что дальше

Сборщик видит только журналы своей машины (CT 113).

Для сбора со ВСЕХ 29 машин нужно:

  • поставить сборщик в каждую машину (проще, но 29 экземпляров);
  • либо настроить общий приём и направить журналы туда.

Проще всего: поставить сборщик в каждую машину с Docker — их 27. Настройка одна и та же, меняется только адрес Loki.


Обновление от 16.10.2026 — состояние

Работает

Loki:        200 (CT 113, порт 3100)
Promtail:    работает, собирает журналы
Grafana:     источники Loki и Prometheus подключены
Собрано:     1,2 МБ журналов
Хранение:    30 дней

Источники в Grafana

Имя Тип Адрес
Loki loki 192.168.1.113:3100
Prometheus prometheus 192.168.1.134:9090
Buryan PostgreSQL postgresql 192.168.1.151:5432
PostgreSQL-Buryan postgresql 192.168.1.151:5432

Две ошибки, которые пришлось обойти

1. Плагин compose слишком новый

Error: client version 1.53 is too new.
       Maximum supported API version is 1.41

Docker в CT 113 — версии 20.10.24. Плагин docker compose новее, чем поддерживает сервер. Обошёл, запуская контейнеры напрямую через docker run.

2. Не те колонки в таблице источников Grafana

Обязательные колонки таблицы data_source:

id, org_id, version, type, name, access, url,
basic_auth, is_default, created, updated,
with_credentials, uid

Плюс json_data и secure_json_data — можно пусто.

Важно: uid обязателен и должен быть УНИКАЛЕН. Пустой uid превращается в 0 и конфликтует.

Следующий шаг

Сборщик видит журналы только CT 113. Для сбора со всех 27 машин с Docker нужно поставить сборщик в каждую.

Настройка одинакова, меняется только адрес Loki:

clients:
  - url: http://192.168.1.113:3100/loki/api/v1/push

Скрипт для развёртывания по всем машинам можно сделать по образцу того, что уже работает в CT 113.


Обновление: сборщик развёрнут по всем машинам

Результат

Установлен:   22 машины из 26
Loki видит:   53 контейнера-источника (было 3)
Машин:        25
Собрано:      399 МБ (было 1,2 МБ)

Где не получилось

Машина Что Причина
CT 108 (automation/n8n) образ не скачался вероятно, нет доступа к хранилищу образов
CT 111 (reading) образ не скачался то же
CT 115 (OpenClaw) не запустился надо смотреть журнал
CT 140 (gitea) не запустился надо смотреть журнал

Это не срочно: журналы 22 машин из 26 уже собираются. Для оставшихся — разобрать причину отдельно.

Как развернуть вручную (для одной машины)

CT=140
# Настройка
pct push $CT /tmp/promtail-template.yml /opt/promtail-config.yml
# Запуск
pct exec $CT -- docker run -d --name promtail --restart unless-stopped \
    --user root --network host \
    -v /opt/promtail-config.yml:/etc/promtail/config.yml:ro \
    -v /var/lib/docker/containers:/var/lib/docker/containers:ro \
    -v /var/run/docker.sock:/var/run/docker.sock:ro \
    grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml

Важно: настройка должна быть ФАЙЛОМ, а не через compose

Причина — плагин compose слишком новый для Docker 20.10.24.

Поиск журналов в Grafana

Grafana → Explore → источник Loki

  {job="docker"}                     все журналы
  {container="matrix-synapse"}       конкретная служба
  {job="docker"} |= "ошибка"         поиск по тексту
  {ct="155"}                         по машине

Обновление 16.10.2026: сборщик на всех машинах

Результат

машин с Docker:  26
со сборщиком:    24
источников:      см. выше

Если образ не скачивается

У некоторых машин нет доступа к хранилищу образов (ghcr.io). Решение — перенести образ с другой машины:

# На машине, где образ есть
pct exec 113 -- docker save grafana/promtail:3.2.1 -o /tmp/promtail.tar
pct pull 113 /tmp/promtail.tar /tmp/promtail.tar

# На машине, где нет
pct push <CT> /tmp/promtail.tar /tmp/promtail.tar
pct exec <CT> -- docker load -i /tmp/promtail.tar

Две машины, где сборщик не встал сразу

CT 115 (OpenClaw) — диск заполнен на 100%

Сборщик не стартовал, потому что некуда писать. Причина: накопились журналы и неиспользуемые образы Docker.

Что делать при полном диске:

# Неиспользуемые образы (безопасно)
pct exec <CT> -- docker image prune -f
# Старые журналы Docker
pct exec <CT> -- find /var/lib/docker/containers -name "*-json.log" \
    -mtime +3 -exec truncate -s 0 {} \;
# Место
pct exec <CT> -- df -h /

Проверять место стоит регулярно — оно уже подводило (тонкий пул был переподписан, теперь диск CT 115).

CT 140 (gitea) — контейнер создан, но не стартовал

Возможная причина — занятый порт сборщика (9080). Решение: сменить порт в настройке сборщика.