9.0 KiB
Сбор журналов (Loki) — как это работает
Что сделано 16.10.2026
Loki: CT 113, порт 3100, хранение 30 дней
Promtail: CT 113, собирает журналы контейнеров
Grafana: подключены источники Loki и Prometheus
Зачем
Было: чтобы найти причину сбоя, надо обойти 29 контейнеров. Стало: один поиск в Grafana по всем журналам сразу.
Как устроено
контейнеры → Promtail (сборщик) → Loki (хранилище) → Grafana (поиск)
Важная особенность
Плагин docker compose в этой версии слишком новый для
Docker 20.10.24:
Error: client version 1.53 is too new.
Maximum supported API version is 1.41
Поэтому контейнеры запускаются напрямую (docker run),
без compose-файла. При обновлении compose-файл заработает.
Настройки
| Что | Где |
|---|---|
| Настройка Loki | /opt/loki/config/loki-config.yml |
| Настройка сборщика | /opt/loki/promtail/promtail-config.yml |
| Данные | /opt/loki/data |
Хранение: 30 дней (retention_period: 720h)
Место: ~89 ГБ свободно в CT 113
Запуск и остановка
# Запуск
pct exec 113 -- docker run -d --name loki --restart unless-stopped \
--user root -p 3100:3100 \
-v /opt/loki/config/loki-config.yml:/etc/loki/local-config.yaml:ro \
-v /opt/loki/data:/loki \
grafana/loki:3.2.1 -config.file=/etc/loki/local-config.yaml
pct exec 113 -- docker run -d --name promtail --restart unless-stopped \
--user root --network host \
-v /opt/loki/promtail/promtail-config.yml:/etc/promtail/config.yml:ro \
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
# Проверка
curl -s http://192.168.1.113:3100/ready
curl -s "http://192.168.1.113:3100/loki/api/v1/label/container/values"
Поиск в Grafana
1. Открыть Grafana → Explore
2. Выбрать источник Loki
3. Запрос: {container="имя_контейнера"}
или: {job="docker"} |= "ошибка"
Что дальше
Сборщик видит только журналы своей машины (CT 113).
Для сбора со ВСЕХ 29 машин нужно:
- поставить сборщик в каждую машину (проще, но 29 экземпляров);
- либо настроить общий приём и направить журналы туда.
Проще всего: поставить сборщик в каждую машину с Docker — их 27. Настройка одна и та же, меняется только адрес Loki.
Обновление от 16.10.2026 — состояние
Работает
Loki: 200 (CT 113, порт 3100)
Promtail: работает, собирает журналы
Grafana: источники Loki и Prometheus подключены
Собрано: 1,2 МБ журналов
Хранение: 30 дней
Источники в Grafana
| Имя | Тип | Адрес |
|---|---|---|
| Loki | loki | 192.168.1.113:3100 |
| Prometheus | prometheus | 192.168.1.134:9090 |
| Buryan PostgreSQL | postgresql | 192.168.1.151:5432 |
| PostgreSQL-Buryan | postgresql | 192.168.1.151:5432 |
Две ошибки, которые пришлось обойти
1. Плагин compose слишком новый
Error: client version 1.53 is too new.
Maximum supported API version is 1.41
Docker в CT 113 — версии 20.10.24. Плагин docker compose
новее, чем поддерживает сервер. Обошёл, запуская контейнеры
напрямую через docker run.
2. Не те колонки в таблице источников Grafana
Обязательные колонки таблицы data_source:
id, org_id, version, type, name, access, url,
basic_auth, is_default, created, updated,
with_credentials, uid
Плюс json_data и secure_json_data — можно пусто.
Важно: uid обязателен и должен быть УНИКАЛЕН.
Пустой uid превращается в 0 и конфликтует.
Следующий шаг
Сборщик видит журналы только CT 113. Для сбора со всех 27 машин с Docker нужно поставить сборщик в каждую.
Настройка одинакова, меняется только адрес Loki:
clients:
- url: http://192.168.1.113:3100/loki/api/v1/push
Скрипт для развёртывания по всем машинам можно сделать по образцу того, что уже работает в CT 113.
Обновление: сборщик развёрнут по всем машинам
Результат
Установлен: 22 машины из 26
Loki видит: 53 контейнера-источника (было 3)
Машин: 25
Собрано: 399 МБ (было 1,2 МБ)
Где не получилось
| Машина | Что | Причина |
|---|---|---|
| CT 108 (automation/n8n) | образ не скачался | вероятно, нет доступа к хранилищу образов |
| CT 111 (reading) | образ не скачался | то же |
| CT 115 (OpenClaw) | не запустился | надо смотреть журнал |
| CT 140 (gitea) | не запустился | надо смотреть журнал |
Это не срочно: журналы 22 машин из 26 уже собираются. Для оставшихся — разобрать причину отдельно.
Как развернуть вручную (для одной машины)
CT=140
# Настройка
pct push $CT /tmp/promtail-template.yml /opt/promtail-config.yml
# Запуск
pct exec $CT -- docker run -d --name promtail --restart unless-stopped \
--user root --network host \
-v /opt/promtail-config.yml:/etc/promtail/config.yml:ro \
-v /var/lib/docker/containers:/var/lib/docker/containers:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml
Важно: настройка должна быть ФАЙЛОМ, а не через compose
Причина — плагин compose слишком новый для Docker 20.10.24.
Поиск журналов в Grafana
Grafana → Explore → источник Loki
{job="docker"} все журналы
{container="matrix-synapse"} конкретная служба
{job="docker"} |= "ошибка" поиск по тексту
{ct="155"} по машине
Обновление 16.10.2026: сборщик на всех машинах
Результат
машин с Docker: 26
со сборщиком: 24
источников: см. выше
Если образ не скачивается
У некоторых машин нет доступа к хранилищу образов
(ghcr.io). Решение — перенести образ с другой машины:
# На машине, где образ есть
pct exec 113 -- docker save grafana/promtail:3.2.1 -o /tmp/promtail.tar
pct pull 113 /tmp/promtail.tar /tmp/promtail.tar
# На машине, где нет
pct push <CT> /tmp/promtail.tar /tmp/promtail.tar
pct exec <CT> -- docker load -i /tmp/promtail.tar
Две машины, где сборщик не встал сразу
CT 115 (OpenClaw) — диск заполнен на 100%
Сборщик не стартовал, потому что некуда писать. Причина: накопились журналы и неиспользуемые образы Docker.
Что делать при полном диске:
# Неиспользуемые образы (безопасно)
pct exec <CT> -- docker image prune -f
# Старые журналы Docker
pct exec <CT> -- find /var/lib/docker/containers -name "*-json.log" \
-mtime +3 -exec truncate -s 0 {} \;
# Место
pct exec <CT> -- df -h /
Проверять место стоит регулярно — оно уже подводило (тонкий пул был переподписан, теперь диск CT 115).
CT 140 (gitea) — контейнер создан, но не стартовал
Возможная причина — занятый порт сборщика (9080). Решение: сменить порт в настройке сборщика.