Commit Graph
1295 Commits
Author SHA1 Message Date
root d173fbc577 [OPS] Node-RED проверен: контейнер запущен, но флоу нет (flows.json отсутствует), наружу не опубликован; Mosquitto и HA работают. Вывод: сейчас не используется и в задачи не добавляем; его роль — MQTT/Zigbee real-time, n8n — вебхуки, Hermes — расписания, HA — дом. Предложено решение владельцу: оставить пустым, остановить или дать MQTT-сценарий; через 2-3 недели без сценария — остановить 2026-11-17 11:53:25 +03:00
root 86c1dc8c91 [OPS] Анализ возможностей n8n: инвентарь (4 активных воркфлоу, 3 битых; вебхуки Gitea пусты — Task Dispatcher простаивает; Kuma умеет только Gitea и создаёт issue, а не рестарт; HA-автоматизации не подключены; ключи arr/jellyfin/HA/authentik есть). Roadmap: P1 Gitea→n8n уведомления, P2 медиа-импорт→Jellyfin+Matrix, P3 HA→Matrix, P4 Alert→контекст, P5 почта вендоров, P6 Telegram. Исправлено неверное утверждение: реальный self-heal Gitea — Hermes, n8n только issue+TG; порог gitea_selfheal возвращён 2 2026-11-17 11:52:06 +03:00
root b6d205df03 [OPS] Разбор ролей Hermes и n8n: Hermes не отключался (63 задания), n8n — интеграционный слой, возвращён и работает (healthz 200, webhook «Workflow was started», 4 воркфлоу активны, 3 битых выключены). Правило: время — Hermes, событие — n8n, уведомление — hub-core. Дублирование Gitea решено: n8n Kuma→Gitea основной, gitea_selfheal — страховка с порогом 3 (15 мин). Документ ROLES-HERMES-N8N 2026-11-17 11:18:37 +03:00
root 7d08ad14f3 [OPS] Исправление ошибки: n8n возвращён в строй. Ночью 16.11 были остановлены и сервис, и все воркфлоу — это лишнее, n8n нужен как интеграционный слой. Восстановлено: контейнер (restart=unless-stopped, health 200), 4 рабочих воркфлоу (F6-2, F6-3, Gitea Dispatcher, Kuma→Gitea), записи в hub-core и update-manager services, health-проверка reconcile, монитор Kuma, version-watch снова шлёт в webhook F6-3; selfcheck снова ждёт n8n живым (23/23, службы 74/0). Выключены только битые воркфлоу: Alert Queue, Health Monitor, Prometheus webhook 2026-11-17 11:05:48 +03:00
root 03c05d8638 [OPS] n8n-алерты убраны: метрика buryan_service_up{name=n8n} убрана через update-manager/services.yaml, монитор Kuma n8n.buryans.ru на паузе — Prometheus больше не шумит. Три задачи: gitea_selfheal.py (Hermes 5 мин, 2-strike restart CT140), path_monitor_light.py (каждые 5 мин: gw/wg/vds TCP 443/8444/8445 + TLS, алерт при 30-мин недоступности публичного VDS при живом WG), restic_restore_file.py (реальное восстановление /etc/pve/storage.cfg из pve-config, ежедневно 08:40; проверено ok 326 байт). Бонус: CT107 86%→79% 2026-11-17 11:02:03 +03:00
root cd911d7d9f [OPS] Утренняя сводка: добавлены Postgres (соединения), LLM за сутки (вызовы/фолбэк/модели) и RAG (чанки/свежесть); в llm-fallback.log появилась метка ts; overlayfs-шум отфильтрован. Критично: restic-скрипты ходили на мёртвый Tailscale 100.64.0.2 — офсайт-копии не обновлялись с 8 ноября, photos-backup падал каждую ночь. Исправлено на WG 10.88.0.1 в restore-test/photos-backup/offsite-backup/offsite_verify (+копия в репо). Проверено: restore-test 5/5, photos rc=0 (219 МБ), restic check без ошибок 2026-11-17 10:51:01 +03:00
root 368e863146 [OPS] SSH к 229: доступ под roman через Host llm229 (ключ id_ed25519), ollama-admin.sh (status/unload/restart/logs), ollama_guard.py + Hermes каждые 30 мин (самолечение выгрузкой, перезапуск при 2 подряд, алерт при неудаче). Выяснено: 229 — Ubuntu llm, 15 ГБ, 18 ядер; sudo требует пароль, поэтому в доке — две команды владельцу: OLLAMA_MAX_LOADED_MODELS=2 (решает конфликт qwen/эмбеддинги) и NOPASSWD для restart 2026-11-17 10:16:21 +03:00
root 3d21b891f1 [OPS] Пункты 4 и 5: pg_conn_monitor.py (ряд соединений в /var/lib/hub-pg, алерт при ≥80% два раза, Hermes каждые 5 мин) + проверка в selfcheck (61/200 = 30%, PgBouncer пока не нужен); RAG переведён на батчевые эмбеддинги /api/embed (16 текстов ≈ 1 с после загрузки модели, откат на одиночные вызовы). Отклонена ложная заявка #33 (RCA про prometheus). Реестр пересобран 2026-11-17 10:01:34 +03:00
buryan-agent 86fd92900c chore(audit): auto-snapshot and CHANGELOG update 2026-11-17
lint / hygiene (push) Failing after 17s
standard / check (push) Successful in 8s
- LXC running: 30/30
- Alerts (24h): 0
- Disk PVE: 42%
2026-11-17 09:00:25 +03:00
root 55c7eb56e1 [STANDARD] Ночной пересчёт соответствия 2026-11-17
lint / hygiene (push) Failing after 21s
standard / check (push) Successful in 8s
2026-11-17 04:40:03 +03:00
root 64f6e8444d [OPS] Ночной спринт: n8n выведен (0 воркфлоу, контейнер остановлен, version-watch→hub, reconcile и каталог почищены); счётчики fails сброшены; selfcheck обновлён (22/22). Аудит дня и бутылочные горлышки: память (zram 100%, swap 12Г) и слабая Ollama на 229 (3b 17-26с, 7b 55с), один VDS (прямой TLS 52% сбоев, CF 0/120), один Postgres (1 ядро, 200 соед.), Hermes/hub-core как SPOF, нет SSH к 229. Автопилот: 07:50/08:00/08:30, cf-sync 5м, selfcheck 6ч, VPN-проверка 23.11, LLM-аудит пн 09:00 2026-11-16 20:47:35 +03:00
root c13338cf0e [OPS] Аудит проблем: check_certs переведён на локальный nginx с SNI (висел >120 с из-за DPI, теперь 0 с); RAG-пересбор падал из-за конкуренции с qwen3b в Ollama (190 таймаутов) — выгрузка моделей перед индексацией + перенос на 08:30 после ночного сбора; инкрементальный прогон: 1140 файлов пропущено, 0 ошибок. Открыты: n8n мёртв с 20.10, память (zram 100%, swap 12Г), прямой VPN 52% сбоев (CF 0/120), Ollama медленная, нет SSH к 229 2026-11-16 20:40:06 +03:00
root e38a0233a4 [VPN] Быстрый Cloudflare-туннель: cf_tunnel_sync.py — читает URL с VDS по WG, при смене обновляет cf-host.txt и 6 профилей (outbound proxy-cf VLESS+WS+TLS, путь /buryan-cf), включает в observatory и balancer leastPing, проверяет 400 и уведомляет в ALERT; Hermes каждые 5 мин. Проверено ротацией: restart cf-tunnel → новый URL → 6 профилей обновлены, ALERT пришёл. Профили в .gitignore. Ловушки: SSH дом→VDS блокируется, доступ по WG; конфиг xray на VDS /usr/local/etc/xray/config.json 2026-11-16 20:13:24 +03:00
root 02162d524a [OPS] Удалены 7 старых LVM-снимков (28-30.10, 100 ГБ логически): thin pool 67.35→64.60%, освобождено ≈9.6 ГБ, снимков 0. Очищены 12 висячих секций снимков в конфигах LXC (включая 8 доп. CT), бэкапы в /root/pve-conf-backup-*; все 12 контейнеров running. Исправлена метрика selfcheck: thin pool data <85% вместо VG free. Проверка: 22 проверки, провалов 0 2026-11-16 19:55:19 +03:00
root 2d8217dca7 [OPS] RCA v2: гипотеза 3b локально + шаги DeepSeek, с уточнением и запасом; 7b не укладывается в 150 с на CPU. EXT4 dm-37 закрыт: read-only снимок vzdump, доказано совпадением времени; фильтр в NOISE. Найдены 7 старых LVM-снимков (окт.) и 1 ГБ в VG — добавлены проверки в selfcheck (свободное место, снимки >14 дней) 2026-11-16 19:48:48 +03:00
root 89fe9cd26a [PLAN] Дорожная карта: все фазы 0-5 закрыты, добавлены три пункта и спринт-самопроверка; перечислено, что осталось (качество RCA, VPN, задачи) 2026-11-16 18:26:41 +03:00
root 458ac82901 [OPS] Спринт-самопроверка: selfcheck_platform.py (19 проверок) + задание Hermes каждые 6 ч; check-services: VPN-шлюз теперь предупреждение, а не провал (было 3036 ложных), проверка 89→20 с; Hermes: guard от параллельного запуска задания; реестр пересобран 2026-11-16 18:25:47 +03:00
root 039471b92b [OPS] Реестр автоматизаций: пересобран после morning-digest/log-signatures (унификация утренних сообщений) 2026-11-16 18:12:20 +03:00
root 12bafba6b9 [OPS] morning_digest: повтор запроса статуса (хаб бывает занят триажем) и таймаут 30 с 2026-11-16 18:10:48 +03:00
root 9dec0676be [OPS] Три пункта: (1) единая утренняя сводка morning_digest.py — службы, юниты, бэкапы, ночной разбор, задачи, заявки; Hermes morning-digest 08:00, log-signatures 07:50 без отдельного сообщения, morning-briefing убран; (2) work.db задач добавлен во второй контур — архив на VPS содержит opt/work-hub/work.db; (3) EXT4 dm-37 — это read-only снимок vzdump, не ошибка: добавлено в NOISE, ночной разбор теперь 0/0/0. Проверка дня: 0 упавших юнитов, 74/74 служб, 9/9 ботов, отчёты с «Главное», drift 0, ложная заявка #31 отклонена. Ловушки: фильтр совпал с промптом, llm_digest возвращал '', задачи бэкапились не в офсайт 2026-11-16 18:10:02 +03:00
root a2f3892da1 [PHASE5] Унификация расписаний: 9 мёртвых cron.d (точка в имени — cron их не читает) перенесены в ops/cron-disabled с README; сборщик реестра теперь пропускает файлы с точкой (реестр врал); version-watch и check-certs перенесены в Hermes, из cron убраны. version-watch слал на порт 5678, n8n слушает 5680 — исправлено, webhook 200, состояние сохраняется, повторный прогон 0 изменений. Проверено: живой cron.d 34 файла/49 строк = реестр 49; registry_drift дважды «без изменений»; реестр 161 (cron.d 49, crontab 15, hermes 54, systemd 43). Правило: Hermes — основной планировщик, cron — только тяжёлые бэкапы 2026-11-16 17:18:46 +03:00
root 5693968d0f [BOTS] Боты переведены на локальный Synapse: hub/main.py читал MATRIX_HS (не задан) → всегда публичный домен, а он изнутри хоста упирается в DPI/hairpin (SSL-handshake timeout): старт 2,5 мин, health 9110 недоступен, смоук падал, отправка могла теряться. Теперь HS_LOCAL предпочтительнее. Проверено: health 9110 — 9 ботов, token_failures пусто, старт мгновенный 2026-11-16 17:11:58 +03:00
root 9b2388ad60 [PHASE4] LLM в отчётах: report_llm.py (3b→DeepSeek, только важное) врезан в weekly_report, trust_report, research_alternatives — блок «## Главное» после заголовка. Проверено на всех трёх: weekly (риски: 23 находки, high), trust (1 требует внимания: selftest-guards), research (рекомендация проверять prometheus/grafana). Ловушки: импорт sys оказался ниже вставки (NameError), 3b пересказывала разделы (уточнён промпт), доставка weekly не вызывалась (main возвращал 0) — добавлена 2026-11-16 17:11:05 +03:00
root c8e41c1775 [PHASE3] Ночной разбор журналов по сигнатурам: log_signatures.py — collect warning/err за сутки, нормализация (ID/числа/пути/IP → плейсхолдеры), сравнение с базой 7 дней (файлы по дням), новые сигнатуры, всплески (≥5 и ≥3×), корреляции по 5-мин окнам, дайджест 3b→DeepSeek, уведомление в ALERT при находках. Задание Hermes log-signatures 08:00. Первый прогон: база 7 дней (99 сигнатур 13.11), сегодня 10, всплеск EXT4-fs dm-37 write access unavailable x32 (ночное окно бэкапов). notify.py получил --title. Ловушки: первый запуск давал 15 «новых», бэкфилл писал агрегат в сегодня, 3b говорила «действий не требуется» 2026-11-16 16:28:10 +03:00
root 73b317c699 [PHASE2] RCA инцидента и очеловечивание секретарей. RCA: incident_rca.py врезан в _notify_policy — алерт уходит сразу, разбор приходит вторым сообщением (7b → deepseek-chat), с заявкой на перезапуск и «одобри N»; цикл проверен: #30 approve → bazarr перезапущен в CT120. Критично: _matrix_notify слал через публичный домен изнутри хоста (SSL-handshake timeout, /notify возвращал ok:false и сообщения терялись) — теперь локальный Synapse 192.168.1.155:8008 с фолбэком. Секретари: LLM был ВЫКЛЮЧЕН (нет LLM_API_KEY в окружении hub-bots) — включён через /etc/hub-bots/llm.env + drop-in; персона (живо, без канцелярита, по имени), история 10→20, температура 0.55. Проверено вживую: ответ за 3 с, живой текст 2026-11-16 16:14:54 +03:00
root 612a0ccfe8 [PHASE1] LLM-триаж алертов: alert_triage.py врезан в _notify_policy — критический алерт дополняется вердиктом (что случилось / срочность / что делать) из контекста журнала и статуса службы. Модель через llm_fallback: qwen2.5:3b локально (10-33 с), при сбое deepseek-chat. Анти-шум: кэш 10 мин, блокировка от лавины, при пустом вердикте уходит исходный текст, TRIAGE_ENABLED=0 отключает. Проверено e2e: /notify → ALERT с «Вердикт: … (модель: qwen2.5:3b)». Ловушка: qwen ставит confidence 0.0 — уверенность считаем по фактам, а не по самооценке 2026-11-16 13:47:28 +03:00
root 418623d7af [PHASE0] Убраны ложные тревоги и добавлен LLM-фолбэк. Matrix/SSO-чекер переведён на локальные проверки (публичный домен изнутри хоста давал SSL-handshake timeout при живом сервисе); Ollama: GEN_TIMEOUT 60, keep_alive 30m, тревога после 2 подряд (загрузка 3b = 26 с > 20); check-services: домены и вход Authentik через локальный nginx с Host; Immich VM была выключена 808 проверок — запущена, pong/200; n8n: выключены 3 мёртвых воркфлоу (Health Monitor 9681 ошибка, Alert Queue 241, Prometheus webhook), активных 4; создан llm_fallback.py (3b → 7b → deepseek-chat автоматически), проверено: локально 5.2 с, форс-фолбэк 1.1 с 2026-11-16 13:18:16 +03:00
root 6644904949 [PLAN] Дорожная карта LLM и автоматизации: Hermes — единственный планировщик, n8n — интеграционный клей с контрактом (Hermes→webhook, n8n→/event|/notify); инвентарь что реализовано/нет/с ошибками (n8n мёртв, ложные тревоги Matrix/SSO, Ollama, bazarr/prowlarr, шаблон секретаря); очеловечивание секретарей (персона, память 20, антидубли, один ответ = одно сообщение); фазы LLM (триаж, RCA, ночной разбор журналов, отчёты, цикл подтверждений) с анти-шумом; approval loop через hermes.db approvals + /approve; база знаний растёт через RAG/Combine/docs, веса моделей не обучаются 2026-11-16 12:18:49 +03:00
root a72e146e6a [AUDIT] Автоматизация и LLM: Hermes — 51 задание, покрытие широкое, но LLM не встроен в операционный контур; n8n мёртв с 20.10 (10006 исполнений, 9922 ошибки, Health Monitor 9681, TLS-ошибки), хотя 7 воркфлоу числятся active; LLM: DeepSeek V4.1-Flash в диалоге/RAG/дайджестах, qwen2.5 только ночью; отчёты weekly/trust/research без LLM. 109 расписаний (51 Hermes + 16 cron + 42 cron.d), approvals=0. План: решить n8n, LLM-триаж алертов, LLM-RCA, ночной разбор журналов, цикл подтверждений, унификация расписаний 2026-11-16 12:11:02 +03:00
root 79274e66e1 [STANDARD] Ночной пересчёт соответствия 2026-11-16
lint / hygiene (push) Failing after 14s
standard / check (push) Successful in 7s
2026-11-16 04:40:02 +03:00
root 0b16e318ef [BACKUPS] Проверка копий: полная сверка всех баз вместо 7. v1 не работала — временный кластер запускался отдельными pct exec и умирал между вызовами; теперь внутренний скрипт в CT151, дамп через stdin, весь цикл в одном процессе. Результат прогона: баз 47, совпало 47, расхождений 0. Заодно notify.py получил --priority high (иначе отчёт уходил в очередь из-за политики «только критическое») — отчёт приходит в ALERT от @secretary 2026-11-15 23:40:49 +03:00
root 6d6401a417 [OPS] Анализ логов: главная проблема — Postgres упирался в max_connections=100 (тысячи 'too many clients' в 04:00-07:00, 492 события в Hermes за сутки), из-за этого падал cron-бэкап Matrix с 7 октября и второй контур. Исправлено: max_connections 100→200, idle_session_timeout 15min, idle_in_transaction 5min, память CT151 2→3 ГБ, Postgres перезапущен, сервисы 200/74-0. Matrix-бэкап прогнан вручную — 665 МБ, ок. Проверено: 0 failed units, Synapse 0 ошибок, сертификаты 35 дней, restore-тест Passed 5. Внимание: verify-backups покрывает 7 из 48 баз, zram 100%, /mnt/backups 76%, VPN-волны 27/138 2026-11-15 22:59:35 +03:00
root 013c74d99b [MATRIX] Алерты переведены на секретаря по решению владельца: @secretary приглашён в ALERT-комнату, ALERT_TOKEN = токен секретаря, политика — в чат только high/critical (normal/low в журнал и очередь). Побочный эффект: секретарь отвечал шаблоном в ALERT на сообщения @bot_alert — добавлен BOT_IGNORE_ROOMS в matrix.py и hub-bots.service.d. Проверено: normal queued, high sent от @secretary, новых шаблонных ответов после фикса 0 2026-11-15 22:54:49 +03:00
root cf2691283e [MATRIX] Аудит ботов: алерты жёстко шли через @media в MEDIA-комнату (1244 сообщения за 72 ч), vpn-health спамил на каждую волну. Перевёл все системные алерты в ALERT-комнату через @bot_alert (токен получен через admin login, ALERT_TOKEN + dm.env ALERT, core.py _matrix_notify с фолбэком, routes monitor/service/backup → ALERT). vpn-health: алерт только после 2 подряд неудач, восстановление тихо. Отключены smtp-to-matrix и webhook-to-matrix (0 трафика). Починены 3 юнита: second-contour (WG вместо мёртвого Tailscale, загружено 2.9 МБ на VPS), snapshot (errors=replace), swapfile16. 0 failed units 2026-11-15 22:49:10 +03:00
buryan-agent 2c20b0d0f2 [A-38] Снимок состояния 2026-11-15
lint / hygiene (push) Failing after 15s
standard / check (push) Successful in 7s
2026-11-15 22:47:12 +03:00
root 0e6fbc315e [STANDARD] Ночной пересчёт соответствия 2026-11-15
lint / hygiene (push) Failing after 22s
standard / check (push) Successful in 7s
2026-11-15 04:40:03 +03:00
root a2dc7f9333 [LLM] Найден официальный производитель Hitrolink — Hitry (浙江华创视讯, hitry.com): совпадают 8 моделей (XC800, XC600, XC300, ET700, XT500, XT300, UC500, VB600). Dahua проверен и НЕ подходит: в их каталоге конференц-систем ни одной модели из линейки. PDF официально не публикуются (hitry.com/product/download, /about/download, /service — без файлов). Создана очередь производителя queue-hitrolink-oem.jsonl (8 карточек, official:true, source_kind:oem, requires_confirmation:false) — уже даёт факты. Диспетчер теперь пишет source и для официальных страниц. Дистрибьюторская очередь: 32 PDF с пометкой 2026-11-14 22:05:54 +03:00
root 683ac28aaa [LLM] Разбор источников документации вендоров: официальные сайты PDF не отдают (WP media только картинки, .com.ru/downloads 403, /docs 404). Проверены API: WP REST, sitemap-files Avicon, Wayback (снапшотов нет), Common Crawl (502/504), поисковые API (нет ключей) => публичного API нет. Найдены дистрибьюторы snk-s.ru (23 PDF) и avicon.ru (9 PDF), avikon.ru — парковка, avikon.com — Польша, tele-vek/voip-shop — без PDF. Написан переиспользуемый сканер ops/scripts/dist-scan.py (обход до 60 страниц, карточки вендора, PDF, раскодирование процентных ссылок). Очередь дистрибьютора: 32 файла с пометкой 2026-11-14 21:44:33 +03:00
root 070837dd25 [LLM] Avicon найден: avikon.ru — парковка домена, avikon.com — польская компания без Hitrolink, а avicon.ru — «Официальный дистрибьютор AV-оборудования и ВКС». На странице бренда 8 товаров и 9 PDF (ET700, ET800, VB600, TP350, ASP35, XT500 + 2 руководства). Добавлены в queue-hitrolink-dist.jsonl с пометкой official:false, source_host avicon.ru (очередь дистрибьютора теперь 32: 23 snk-s + 9 avicon). Проверено: HTI-ASP35-C.pdf дал 9 фактов, пометка источника стоит 2026-11-14 17:50:39 +03:00
buryan-agent c34e0de899 [A-38] Снимок состояния 2026-11-14
lint / hygiene (push) Failing after 14s
standard / check (push) Successful in 6s
026-11-14

- LXC running: 30/30
- Alerts (24h): 0
- Disk PVE: 42%
2026-11-14 09:00:22 +03:00
root c697da2d23 [LLM] Hitrolink: даташиты с дистрибьютора snk-s.ru с пометкой источника. Собрано 23 PDF в queue-hitrolink-dist.jsonl, каждая запись: official=false, source_kind=distributor, source_host=snk-s.ru. Диспетчер пишет в результаты блок source {kind, official:false, requires_confirmation:true, host}. Исправлены 3 ловушки: .pdf с query string не распознавался; URL с пробелами/кириллицей не качался (quote); у вендора hitrolink-dist не было токенов -> skip; пометка терялась, т.к. результаты пишет диспетчер. Проверено: 4/23, пометка у всех, даташит дал факты 2026-11-13 21:24:31 +03:00
root 12b9f4891a [LLM] Добавлен вендор Hitrolink: vendor_queue.py (hitrolink.tech + hitrolink.com.ru + hitrolink.com), очередь 162 адреса (105 .tech, 57 .com.ru), задание в jobs.yaml (weight 1, 3B). Две ловушки: DOC_HINT не матчил slug-и магазина (добавил hitrolink_), VENDOR_TOKENS не знал вендора -> всё уходило в skip (добавил токены, skip сброшен). Проверено: ok +11 и +9 фактов (power_w 15, poe_ports 1, poe_budget_w 15). Даташитов PDF на официальных сайтах нет: на .tech только картинки, .com.ru/downloads 403 (дилерский), у перекупщиков есть, но это не официальный источник 2026-11-13 16:48:54 +03:00
root 6e315c9786 [LLM] Статус: очереди закрыты — yealink 25873/25885 (осталось 12 в конце), vinteo 71, logitech 356, iva 13, poly 44, poly-pdf 8. Найдена причина 24% empty: extract_text брал __NUXT_DATA__ (навигация с UUID) вместо статьи; исправлено — сначала видимая статья без nav/header/footer, проверено: 9055 символов статьи, модель выдала реальные факты (auto_linekeys.enable, account.X.number_of_linekey). Вторая ловушка: на PDF-обёртках модель выдумывает Pageviews/Downloads — нужен фильтр. Комбайн: все 10 служб активны, rules 1753, hubs 30, notes 47, tiers 112. Главное: llm_merged=9 — факты в правила не сливаются 2026-11-13 16:38:19 +03:00
root f8d3ae092f [VPN] Точный разбор сбоев: плотный тест 5 мин/52 замера — 0 сбоев до VDS (TLS 52/52, шлюз 52/52). Реальные сбои редки: 12:56 и 14:36 — VDS TLS таймаут 8 с при живом control (microsoft 1.5 с), шлюз 0%, TCP ok => адресное вмешательство в путь, а не сеть/протокол. Смена протокола не помогает: все с одного адреса. Закрывают: второй IPv4 (1-3 EUR), новый VPS, российский релей (самый высокий шанс), CF-имённый (у CF 1 сбой из 52). Попутно: убрал битый DoH-upstream на роутере (3662 x 301), DNS проверен 2026-11-13 15:04:13 +03:00
root b8d8a588b5 [VPN] Разбор ночных замеров: 13 сбоев TLS были в окне бэкапов (01:13 и 02:12-02:48) — это I/O-зависание хоста, а не провайдер; исправлено лимитами. После ребута: сбоев до VDS 3, у контрольного microsoft 4 => основное — локальные микро-провалы. Замеры каналов: Reality 8/10 затем 10/10, WS 10/10, TCP 20/20. Поставлен vpn-health.timer (каждые 10 мин: 443/8444/8445/CF, уведомление на смену состояния), CF-туннель закреплён службой cf-tunnel на VDS (адрес eden-processing-hit-latino), QR обновлён. Постоянный CF требует переноса NS на CF 2026-11-13 14:42:52 +03:00
root e94dd6cc10 [HOME] Перезагрузка и замеры: найдено и исправлено 5 дефектов загрузки. 1) softdog в deny-list Proxmox — юнит сам делает modprobe, fd у PID1=1. 2) Циклы зависимостей (zram-swap, zram-extra) удаляли из очереди hub-core/hermes/мониторы: было 8 циклов, стало 0 (DefaultDependencies=no + WantedBy=swap.target). 3) hub-core с Restart=no падал до готовности Postgres — Restart=on-failure 30s, теперь стартует сам. 4) Tailscale перезаписывал resolv.conf на мёртвый 100.100.100.100 — accept-dns=false, DNS на роутер и AdGuard. 5) swapfile16 поднят. Замеры: загрузка 3:52, 30/30 CT, 74 службы 0 лежит, Matrix/Authentik/Git/hub 200, TLS до VDS 5/5 2026-11-13 14:37:05 +03:00
root 871428f785 [HOME] Проверка после правок: 30/30 CT, Matrix 200, Authentik 200, Git 200, hub 200 (11 КБ за 0.0005 с), боты 9, дампы ok=35, метрики сертификатов 496 строк. Доправлено: softdog-reexec.service (daemon-reexec после modules-load, иначе systemd не открывает /dev/watchdog) и wg-quick@wgvps — туннель дом-VDS лежал после ребута, поднят (хендшейк 6 с), VDS→CT155 200 через wg0. CF-туннель жив (404 за 1.4 с — норма) 2026-11-13 13:38:50 +03:00
root 95a81d2b2a [HOME] Закрыты замечания: 1) watchdog — softdog загружен, systemd держит /dev/watchdog0 (fd 13 у PID1). 2) hub-db-dumps — падал IsADirectoryError на каталоге pre-update-20261028, исправлено isfile(), прогон ok=35 ошибок 0, свежие дампы есть. 3) метрики сертификатов — psql висел без пароля, сбросил пароль buryan_monitor в /root/.pg-monitor-pass, скрипт берёт PGPASSWORD и -w; 14 доменов, 0 тревог. 4) автостарт CT — pve-guests замаскирован намеренно, работает hub-boot-recover (30/33). 5) дыра в журнале 27.10-13.11 — журнал сейчас PASS и пишет. 6) мониторы снова активны 2026-11-13 12:58:22 +03:00
root 40649cdbca [BACKUPS] SMR-архив без NVMe: --bwlimit=30000 в archive_copy.py, IOWriteBandwidthMax=/dev/sda 40M + IOSchedulingClass=idle для 4 бэкап-юнитов. Проверено: лимиты применились (40000000, class 3), сухой прогон rsync ок (261 ГБ источник, 2.6 МБ изменений). На HDD пишет только копия медиатеки, остальные бэкапы на NVMe 2026-11-13 11:52:29 +03:00
root 8301d9c4b9 [HOME] Разбор зависания 13.11: хост встал в I/O. Мониторы замолчали в 06:18 (интервалы выросли с 1 до 3-4 мин), ночной отчёт: 13 сбоев TLS в окне 02:12-02:48 (бэкапы), шлюз 1. SMART чистый: HDD Reallocated=0, NVMe без critical warning. Причина: hub-archive-copy.timer 04:10 копирует 246 ГБ на SMR-диск. Исправлено: IOSchedulingClass=idle + IOWeight=20 для 4 бэкап-юнитов, dirty_ratio 5/10, softdog + RuntimeWatchdogSec=60. Восстановлено 30/30 CT, Matrix+SSO, hub 200, боты 9 2026-11-13 11:23:00 +03:00