# Сбор журналов (Loki) — как это работает ## Что сделано 16.10.2026 ``` Loki: CT 113, порт 3100, хранение 30 дней Promtail: CT 113, собирает журналы контейнеров Grafana: подключены источники Loki и Prometheus ``` ## Зачем **Было:** чтобы найти причину сбоя, надо обойти 29 контейнеров. **Стало:** один поиск в Grafana по всем журналам сразу. ## Как устроено ``` контейнеры → Promtail (сборщик) → Loki (хранилище) → Grafana (поиск) ``` ## Важная особенность Плагин `docker compose` в этой версии **слишком новый** для Docker 20.10.24: ``` Error: client version 1.53 is too new. Maximum supported API version is 1.41 ``` **Поэтому контейнеры запускаются напрямую** (`docker run`), без compose-файла. При обновлении compose-файл заработает. ## Настройки | Что | Где | |---|---| | Настройка Loki | `/opt/loki/config/loki-config.yml` | | Настройка сборщика | `/opt/loki/promtail/promtail-config.yml` | | Данные | `/opt/loki/data` | **Хранение:** 30 дней (`retention_period: 720h`) **Место:** ~89 ГБ свободно в CT 113 ## Запуск и остановка ```bash # Запуск pct exec 113 -- docker run -d --name loki --restart unless-stopped \ --user root -p 3100:3100 \ -v /opt/loki/config/loki-config.yml:/etc/loki/local-config.yaml:ro \ -v /opt/loki/data:/loki \ grafana/loki:3.2.1 -config.file=/etc/loki/local-config.yaml pct exec 113 -- docker run -d --name promtail --restart unless-stopped \ --user root --network host \ -v /opt/loki/promtail/promtail-config.yml:/etc/promtail/config.yml:ro \ -v /var/lib/docker/containers:/var/lib/docker/containers:ro \ -v /var/run/docker.sock:/var/run/docker.sock:ro \ grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml # Проверка curl -s http://192.168.1.113:3100/ready curl -s "http://192.168.1.113:3100/loki/api/v1/label/container/values" ``` ## Поиск в Grafana ``` 1. Открыть Grafana → Explore 2. Выбрать источник Loki 3. Запрос: {container="имя_контейнера"} или: {job="docker"} |= "ошибка" ``` ## Что дальше **Сборщик видит только журналы своей машины (CT 113).** Для сбора со ВСЕХ 29 машин нужно: * поставить сборщик в каждую машину (проще, но 29 экземпляров); * либо настроить общий приём и направить журналы туда. **Проще всего:** поставить сборщик в каждую машину с Docker — их 27. Настройка одна и та же, меняется только адрес Loki. --- ## Обновление от 16.10.2026 — состояние ### Работает ``` Loki: 200 (CT 113, порт 3100) Promtail: работает, собирает журналы Grafana: источники Loki и Prometheus подключены Собрано: 1,2 МБ журналов Хранение: 30 дней ``` ### Источники в Grafana | Имя | Тип | Адрес | |---|---|---| | Loki | loki | 192.168.1.113:3100 | | Prometheus | prometheus | 192.168.1.134:9090 | | Buryan PostgreSQL | postgresql | 192.168.1.151:5432 | | PostgreSQL-Buryan | postgresql | 192.168.1.151:5432 | ### Две ошибки, которые пришлось обойти **1. Плагин compose слишком новый** ``` Error: client version 1.53 is too new. Maximum supported API version is 1.41 ``` Docker в CT 113 — версии 20.10.24. Плагин `docker compose` новее, чем поддерживает сервер. **Обошёл, запуская контейнеры напрямую через `docker run`.** **2. Не те колонки в таблице источников Grafana** Обязательные колонки таблицы `data_source`: ``` id, org_id, version, type, name, access, url, basic_auth, is_default, created, updated, with_credentials, uid ``` Плюс `json_data` и `secure_json_data` — можно пусто. **Важно:** `uid` обязателен и должен быть УНИКАЛЕН. Пустой uid превращается в `0` и конфликтует. ### Следующий шаг Сборщик видит журналы только CT 113. Для сбора со всех 27 машин с Docker нужно поставить сборщик в каждую. **Настройка одинакова**, меняется только адрес Loki: ``` clients: - url: http://192.168.1.113:3100/loki/api/v1/push ``` **Скрипт для развёртывания по всем машинам** можно сделать по образцу того, что уже работает в CT 113. --- ## Обновление: сборщик развёрнут по всем машинам ### Результат ``` Установлен: 22 машины из 26 Loki видит: 53 контейнера-источника (было 3) Машин: 25 Собрано: 399 МБ (было 1,2 МБ) ``` ### Где не получилось | Машина | Что | Причина | |---|---|---| | CT 108 (automation/n8n) | образ не скачался | вероятно, нет доступа к хранилищу образов | | CT 111 (reading) | образ не скачался | то же | | CT 115 (OpenClaw) | не запустился | надо смотреть журнал | | CT 140 (gitea) | не запустился | надо смотреть журнал | **Это не срочно:** журналы 22 машин из 26 уже собираются. Для оставшихся — разобрать причину отдельно. ### Как развернуть вручную (для одной машины) ```bash CT=140 # Настройка pct push $CT /tmp/promtail-template.yml /opt/promtail-config.yml # Запуск pct exec $CT -- docker run -d --name promtail --restart unless-stopped \ --user root --network host \ -v /opt/promtail-config.yml:/etc/promtail/config.yml:ro \ -v /var/lib/docker/containers:/var/lib/docker/containers:ro \ -v /var/run/docker.sock:/var/run/docker.sock:ro \ grafana/promtail:3.2.1 -config.file=/etc/promtail/config.yml ``` ### Важно: настройка должна быть ФАЙЛОМ, а не через compose Причина — плагин compose слишком новый для Docker 20.10.24. ### Поиск журналов в Grafana ``` Grafana → Explore → источник Loki {job="docker"} все журналы {container="matrix-synapse"} конкретная служба {job="docker"} |= "ошибка" поиск по тексту {ct="155"} по машине ``` --- ## Обновление 16.10.2026: сборщик на всех машинах ### Результат ``` машин с Docker: 26 со сборщиком: 24 источников: см. выше ``` ### Если образ не скачивается У некоторых машин нет доступа к хранилищу образов (`ghcr.io`). Решение — **перенести образ с другой машины**: ```bash # На машине, где образ есть pct exec 113 -- docker save grafana/promtail:3.2.1 -o /tmp/promtail.tar pct pull 113 /tmp/promtail.tar /tmp/promtail.tar # На машине, где нет pct push /tmp/promtail.tar /tmp/promtail.tar pct exec -- docker load -i /tmp/promtail.tar ``` ### Две машины, где сборщик не встал сразу **CT 115 (OpenClaw) — диск заполнен на 100%** Сборщик не стартовал, потому что **некуда писать**. Причина: накопились журналы и неиспользуемые образы Docker. **Что делать при полном диске:** ```bash # Неиспользуемые образы (безопасно) pct exec -- docker image prune -f # Старые журналы Docker pct exec -- find /var/lib/docker/containers -name "*-json.log" \ -mtime +3 -exec truncate -s 0 {} \; # Место pct exec -- df -h / ``` **Проверять место стоит регулярно** — оно уже подводило (тонкий пул был переподписан, теперь диск CT 115). **CT 140 (gitea) — контейнер создан, но не стартовал** Возможная причина — занятый порт сборщика (9080). Решение: сменить порт в настройке сборщика.