Commit Graph
161 Commits
Author SHA1 Message Date
root 12bafba6b9 [OPS] morning_digest: повтор запроса статуса (хаб бывает занят триажем) и таймаут 30 с 2026-11-16 18:10:48 +03:00
root 9dec0676be [OPS] Три пункта: (1) единая утренняя сводка morning_digest.py — службы, юниты, бэкапы, ночной разбор, задачи, заявки; Hermes morning-digest 08:00, log-signatures 07:50 без отдельного сообщения, morning-briefing убран; (2) work.db задач добавлен во второй контур — архив на VPS содержит opt/work-hub/work.db; (3) EXT4 dm-37 — это read-only снимок vzdump, не ошибка: добавлено в NOISE, ночной разбор теперь 0/0/0. Проверка дня: 0 упавших юнитов, 74/74 служб, 9/9 ботов, отчёты с «Главное», drift 0, ложная заявка #31 отклонена. Ловушки: фильтр совпал с промптом, llm_digest возвращал '', задачи бэкапились не в офсайт 2026-11-16 18:10:02 +03:00
root a2f3892da1 [PHASE5] Унификация расписаний: 9 мёртвых cron.d (точка в имени — cron их не читает) перенесены в ops/cron-disabled с README; сборщик реестра теперь пропускает файлы с точкой (реестр врал); version-watch и check-certs перенесены в Hermes, из cron убраны. version-watch слал на порт 5678, n8n слушает 5680 — исправлено, webhook 200, состояние сохраняется, повторный прогон 0 изменений. Проверено: живой cron.d 34 файла/49 строк = реестр 49; registry_drift дважды «без изменений»; реестр 161 (cron.d 49, crontab 15, hermes 54, systemd 43). Правило: Hermes — основной планировщик, cron — только тяжёлые бэкапы 2026-11-16 17:18:46 +03:00
root 9b2388ad60 [PHASE4] LLM в отчётах: report_llm.py (3b→DeepSeek, только важное) врезан в weekly_report, trust_report, research_alternatives — блок «## Главное» после заголовка. Проверено на всех трёх: weekly (риски: 23 находки, high), trust (1 требует внимания: selftest-guards), research (рекомендация проверять prometheus/grafana). Ловушки: импорт sys оказался ниже вставки (NameError), 3b пересказывала разделы (уточнён промпт), доставка weekly не вызывалась (main возвращал 0) — добавлена 2026-11-16 17:11:05 +03:00
root c8e41c1775 [PHASE3] Ночной разбор журналов по сигнатурам: log_signatures.py — collect warning/err за сутки, нормализация (ID/числа/пути/IP → плейсхолдеры), сравнение с базой 7 дней (файлы по дням), новые сигнатуры, всплески (≥5 и ≥3×), корреляции по 5-мин окнам, дайджест 3b→DeepSeek, уведомление в ALERT при находках. Задание Hermes log-signatures 08:00. Первый прогон: база 7 дней (99 сигнатур 13.11), сегодня 10, всплеск EXT4-fs dm-37 write access unavailable x32 (ночное окно бэкапов). notify.py получил --title. Ловушки: первый запуск давал 15 «новых», бэкфилл писал агрегат в сегодня, 3b говорила «действий не требуется» 2026-11-16 16:28:10 +03:00
root 73b317c699 [PHASE2] RCA инцидента и очеловечивание секретарей. RCA: incident_rca.py врезан в _notify_policy — алерт уходит сразу, разбор приходит вторым сообщением (7b → deepseek-chat), с заявкой на перезапуск и «одобри N»; цикл проверен: #30 approve → bazarr перезапущен в CT120. Критично: _matrix_notify слал через публичный домен изнутри хоста (SSL-handshake timeout, /notify возвращал ok:false и сообщения терялись) — теперь локальный Synapse 192.168.1.155:8008 с фолбэком. Секретари: LLM был ВЫКЛЮЧЕН (нет LLM_API_KEY в окружении hub-bots) — включён через /etc/hub-bots/llm.env + drop-in; персона (живо, без канцелярита, по имени), история 10→20, температура 0.55. Проверено вживую: ответ за 3 с, живой текст 2026-11-16 16:14:54 +03:00
root 612a0ccfe8 [PHASE1] LLM-триаж алертов: alert_triage.py врезан в _notify_policy — критический алерт дополняется вердиктом (что случилось / срочность / что делать) из контекста журнала и статуса службы. Модель через llm_fallback: qwen2.5:3b локально (10-33 с), при сбое deepseek-chat. Анти-шум: кэш 10 мин, блокировка от лавины, при пустом вердикте уходит исходный текст, TRIAGE_ENABLED=0 отключает. Проверено e2e: /notify → ALERT с «Вердикт: … (модель: qwen2.5:3b)». Ловушка: qwen ставит confidence 0.0 — уверенность считаем по фактам, а не по самооценке 2026-11-16 13:47:28 +03:00
root 418623d7af [PHASE0] Убраны ложные тревоги и добавлен LLM-фолбэк. Matrix/SSO-чекер переведён на локальные проверки (публичный домен изнутри хоста давал SSL-handshake timeout при живом сервисе); Ollama: GEN_TIMEOUT 60, keep_alive 30m, тревога после 2 подряд (загрузка 3b = 26 с > 20); check-services: домены и вход Authentik через локальный nginx с Host; Immich VM была выключена 808 проверок — запущена, pong/200; n8n: выключены 3 мёртвых воркфлоу (Health Monitor 9681 ошибка, Alert Queue 241, Prometheus webhook), активных 4; создан llm_fallback.py (3b → 7b → deepseek-chat автоматически), проверено: локально 5.2 с, форс-фолбэк 1.1 с 2026-11-16 13:18:16 +03:00
buryan-agent 2c20b0d0f2 [A-38] Снимок состояния 2026-11-15
lint / hygiene (push) Failing after 15s
standard / check (push) Successful in 7s
2026-11-15 22:47:12 +03:00
root 683ac28aaa [LLM] Разбор источников документации вендоров: официальные сайты PDF не отдают (WP media только картинки, .com.ru/downloads 403, /docs 404). Проверены API: WP REST, sitemap-files Avicon, Wayback (снапшотов нет), Common Crawl (502/504), поисковые API (нет ключей) => публичного API нет. Найдены дистрибьюторы snk-s.ru (23 PDF) и avicon.ru (9 PDF), avikon.ru — парковка, avikon.com — Польша, tele-vek/voip-shop — без PDF. Написан переиспользуемый сканер ops/scripts/dist-scan.py (обход до 60 страниц, карточки вендора, PDF, раскодирование процентных ссылок). Очередь дистрибьютора: 32 файла с пометкой 2026-11-14 21:44:33 +03:00
root b8d8a588b5 [VPN] Разбор ночных замеров: 13 сбоев TLS были в окне бэкапов (01:13 и 02:12-02:48) — это I/O-зависание хоста, а не провайдер; исправлено лимитами. После ребута: сбоев до VDS 3, у контрольного microsoft 4 => основное — локальные микро-провалы. Замеры каналов: Reality 8/10 затем 10/10, WS 10/10, TCP 20/20. Поставлен vpn-health.timer (каждые 10 мин: 443/8444/8445/CF, уведомление на смену состояния), CF-туннель закреплён службой cf-tunnel на VDS (адрес eden-processing-hit-latino), QR обновлён. Постоянный CF требует переноса NS на CF 2026-11-13 14:42:52 +03:00
root 95a81d2b2a [HOME] Закрыты замечания: 1) watchdog — softdog загружен, systemd держит /dev/watchdog0 (fd 13 у PID1). 2) hub-db-dumps — падал IsADirectoryError на каталоге pre-update-20261028, исправлено isfile(), прогон ok=35 ошибок 0, свежие дампы есть. 3) метрики сертификатов — psql висел без пароля, сбросил пароль buryan_monitor в /root/.pg-monitor-pass, скрипт берёт PGPASSWORD и -w; 14 доменов, 0 тревог. 4) автостарт CT — pve-guests замаскирован намеренно, работает hub-boot-recover (30/33). 5) дыра в журнале 27.10-13.11 — журнал сейчас PASS и пишет. 6) мониторы снова активны 2026-11-13 12:58:22 +03:00
root 35ddf3cefc [VPN] Доказано экспериментом: в одну секунду TLS до нашего VDS таймаутит (8102 мс), а TLS до microsoft — ok (1593 мс, TLS1.3). При этом на VDS TLS работает 3/3 локально и 3/3 через публичный IP, xray здоров (CPU 0.8%), в логах видно accepted from 46.8.140.22 — наш IP доходит, ответ не возвращается. Значит провайдер фильтрует конкретно наш адрес. Добавлен контрольный замер в монитор. Варианты: второй IPv4 у хостера (быстро/дешево), Cloudflare, российский релей, смена VDS 2026-11-12 21:22:50 +03:00
root 7abbf0fa6d [VPN] Ночной мониторинг: три сборщика работают, в 08:00 отчёт ops/audits/night-<дата>.md и автостоп (сутки не копятся). WG в РФ душат — согласен. Добавлены и проверены сквозным тестом два новых канала: VLESS+WS+TLS на 8445 (выглядит как обычный HTTPS) и XHTTP на 8444 (уже был, теперь с QR). Про Matrix-туннель: matrix-tunnel-proxy — другой продукт, туннель через чат-протокол слишком медленный. Следующий шаг: AmneziaWG 2026-11-12 21:06:08 +03:00
root 8c96adeeb6 [VPN] Путь до VDS: дом чист (шлюз 0% потерь, DNS 0.07 с), VDS чист (0 ошибок/дропов, линк с 9.11, load 0.06) — значит путь. Маршрут: провайдер → Aurologic Франкфурт → хостер VDS, 40-50 мс. Волны пойманы трижды (19:50, 20:20 TLS; 20:28 TCP), между ними 10/10. Поставлен path-monitor: каждые 30 с порты, туннель по UDP и RTT по каждому хопу — покажет, где начинается волна. IPv6: на VDS есть, дома нет (на WAN disabled) 2026-11-12 20:44:09 +03:00
root d090d9f57e [VPN] «Опять отрыв»: мониторы поймали волны — 19:50 TLS таймаут, 20:20 TLS таймаут, 20:28 TCP таймаут, при этом шлюз 0% потерь. Мгновенные проверки сразу после волн: 443 TLS 10/10, порты 2053/2087/8444 10/10, https 10/10, чужие SNI 0/10 (by design Reality). Значит режут по факту соединения с нашим IP волнами, не по SNI/порту. WireGuard (UDP 443) живёт сквозь волны (handshake 69 с). Усилил монитор: TLS каждую минуту 2026-11-12 20:29:56 +03:00
root 09c0343baa [HOME] Keenetic Hopper SE: веб-API не пускает (401 на всех схемах ndm), работаю по SSH (порт 22 открыт). Правки: 2.4 ГГц канал 1→6 (клиент сразу ушёл на 5 ГГц и получил 1201 Мбит вместо 103), DNS роутера → AdGuard 192.168.1.107, в AdGuard parallel + 500ms + отключён private PTR (петля с роутером: было 16 ошибок за 5 мин, стало 0). Журнал роутера: обрывов со стороны AP нет, все deauth — клиентские. Поставлен router-monitor (каждые 2 мин: каналы, клиенты, RSSI). Осталось: внешний IPv6 не работает (AAAA таймаут 10 с) 2026-11-12 20:21:31 +03:00
root c87de67690 [VPN] Сбои на домашнем Wi-Fi: проводной путь идеален (0% потерь, 0.28 мс), хост Wi-Fi не использует. Монитор поймал сбой: шлюз 0%, TCP до VPS ok, TLS таймаут — при ss -ti видно mss:64 и 6156/7712 байт ретрансмитов, то есть вмешательство в TCP на пути (TSPU), а не MTU. Поставил net-monitor (раз в минуту) и ежедневный отчёт 08:20. WireGuard: добавил FORWARD для wg0 + сохранил правила, полный туннель проверен (302 за 0.32 с). Два QR: WireGuard UDP 443 и Hiddify Reality 443 2026-11-12 19:55:36 +03:00
root 201f403797 [AUDIT] Глубокий read-only аудит после LLM: скрипт deep_audit.py (12 разделов) + after-llm-audit.sh, запуск только когда очередь LLM пуста (Hermes каждые 30 мин, раз в сутки). Первый прогон: hub-db-dumps, hub-rag, hub-cert-sync в failed; память 12/15 ГБ + swap 17 ГБ (kswapd, task blocked); NVMe Critical Warning Temperature; 99 записей write access unavailable. Плюс гигиена: 49 заданий Hermes, старые .bak, порты NFS наружу. Миграция прогресса LLM: 25778 записей слиты, остаток 344 вместо 26055 2026-11-12 18:03:19 +03:00
root ca9f1e55af [SSO] Вход в Matrix восстановлен: в Authentik у провайдера Matrix (pk=25) не было привязанного приложения, поэтому /application/o/authorize/ отдавал 500 (219 раз за сутки), и Element не мог войти. Создано приложение slug=matrix provider=25 — authorize 302, 500 прекратились. Synapse здоров (0 ERROR), VPN жив (ICMP фильтруется), BrokenPipe у ботов — свой сервер, не Matrix. Добавлена проверка matrix-sso-check каждые 15 минут. Ловушка: в CT114 два инстанса Authentik 2026-11-12 18:00:07 +03:00
root 44a85978cd [HUB] «Ollama висит» оказалось очередью от наших же 4 воркеров сбора: остановили — генерация 2.7 с, embeddings 0.35 с, RAG вернулся на вектора (score 0.68). Сторож теперь различает «занята» (low) и «зависла» (critical) по соединениям llm_research. Перезапуск Ollama не требовался 2026-11-12 14:15:28 +03:00
root 3c964d0008 [WORK] Раскладка схем алгоритмом dagre (Sugiyama, минимум пересечений) + правила из данных: rules.yaml (1753 связки, 30 хабов, 44 подсказки), LLM только для формулировок и только если живая. Сторож Ollama каждые 30 мин с уведомлением в шину (проверено: sent). Ловушка: /notify принимает title+message, не text 2026-11-12 14:09:55 +03:00
root 2ba5b81a2a [SSO] 32 oauth2-proxy переведены под compose: генератор oauth2-compose.py выгрузил 11 файлов из живого состояния, секреты — в /root/.env-out (600), в Git только ${VAR}. Все 32 службы подняты и отвечают, вне compose — 0. check_sso_providers теперь ловит контейнеры вне compose 2026-11-10 16:23:39 +03:00
root e609fa8b52 [SSO] Защита от повторения: check_sso_providers.py проверяет у всех 68 провайдеров grant_types, signing_key, property_mappings и redirect_uris, плюс https-issuer у oauth2-proxy. Задание Hermes ежедневно 07:05. Сейчас 0 проблем 2026-11-10 15:53:51 +03:00
root 8da1da3e9d [OPS] Индекс документации: 630 файлов в ops/INDEX.md — навигация по 95 каталогам с заголовками и датами, автообновление ежедневно (docs-index 06:50), попадает в RAG. Раньше индекс описывал 6 документов из 630 2026-11-10 15:06:56 +03:00
root a13f50c920 [HUB] Утренний брифинг: одно сообщение в 08:00 вместо трёх (службы, задания, события, диск, медиа, очередь). notify-digest и media-digest поглощены и отключены. Hermes получил поддержку enabled:false — обратимое отключение заданий 2026-11-10 14:54:18 +03:00
root 7309580bf7 [HUB] Смоук платформы: 9 проверок того, что ломается молча (ядро, шина, три базы Postgres, поиск по документации, шлюз, боты, реестр). Встроен в pre-commit и в задание Hermes каждые 6 часов 2026-11-10 14:52:24 +03:00
root 73e81c22c1 [HUB] Планировщики: единый реестр из 4 источников (146 записей), детектор расхождений registry-drift, исправлены 2 реальных дубля (check_updates, mesh_watch). Бэкапы и системные задачи решено оставить в systemd — они должны работать при падении Hermes 2026-11-10 14:49:57 +03:00
root a5784c85a8 [HUB] RAG переведён на PostgreSQL (pgvector): векторы перенесены без пересчёта (5086), новый полный индексатор rag_index_pg.py с ретраями эмбеддинга, rag.py читает только Postgres, задание Hermes переключено. Поиск 0.06 с вместо 0.3 с 2026-11-10 14:28:35 +03:00
root 90148b1222 [STANDARD] Блок 2 закрыт: UDP-проверка coturn, классификация S1 (18 неприменимо), SSO для Jackett. Стандарт 98%
lint / hygiene (push) Failing after 24s
standard / check (push) Successful in 6s
2026-11-07 15:24:05 +03:00
root 63e9ca1a12 [STANDARD] S3 = 100%: проверка изнутри CT для localhost-сервисов, TCP для mosquitto/coturn. Итог: S1 70%, S2 100%, S3 100%, S4 100%, полный 70%
lint / hygiene (push) Failing after 17s
standard / check (push) Successful in 6s
2026-11-07 14:04:09 +03:00
root e03477e4ba [STANDARD] S3 доведён до 91%: реальный IP контейнера (hostname -I), PORT_HINTS для сервисов без публикации портов. Итог: S1 70%, S2 100%, S3 91%, S4 100%, полный 67%
lint / hygiene (push) Failing after 20s
standard / check (push) Successful in 7s
2026-11-07 14:01:27 +03:00
root 8ba165a61d [STANDARD] Бэкап достиг 100%: добавлены именованные docker-тома (navidrome, linkding), подсказки Authentik. S1 70%, S2 100%, S3 85%, полный 59%
lint / hygiene (push) Failing after 20s
standard / check (push) Successful in 5s
2026-11-07 13:36:55 +03:00
root 5438619c63 [STANDARD] Автопроверка стандарта: ночной пересчёт (04:40) + Gitea CI workflow; отчёт и скрипт в репозитории
lint / hygiene (push) Failing after 18s
standard / check (push) Successful in 7s
2026-11-07 13:24:18 +03:00
root b670bb35e5 [SPRINT-V1.1][4] В Matrix только экстренное: гигиена шлёт при high>0, дайджест — при критичных словах; остальное в /var/log/hub/notifications.log 2026-11-06 11:15:35 +03:00
root d5c0ebc094 [SPRINT-V1][B] oauth2-proxy в Git: 18 прокси экспортированы в deploy/ctNNN/*.compose.yml (без секретов); реестр: SSO 19 доменов 2026-11-06 11:08:04 +03:00
root 108a53b9db [SPRINT-V1][B] Реестр: SSO-детект по портам прокси, 208 зависимостей, стоимость 113 сервисов 2026-11-06 11:05:44 +03:00
root 8e079d2879 [SPRINT-V1][B] Единый реестр инфраструктуры: 34 хоста, 170 сервисов, 50 доменов; план замены трёх источников одним 2026-11-06 11:01:20 +03:00
root 0ffa58018b [SPRINT-V1][B] Проверка HTTP-здоровья критичных сервисов (19-я проверка) — замена пересозданию контейнеров 2026-11-06 10:53:04 +03:00
root 484ba5123d [OPS] Удалены отработавшие скрипты миграций (22 файла, ~3200 строк). История в Git, откат через revert 2026-11-06 10:43:15 +03:00
root b86131b3fa [SPRINT-V1.1][9] RAG без LLM-узла: поиск по ключевым словам, когда эмбеддинги недоступны 2026-11-06 01:17:00 +03:00
root 78ae93283a [SPRINT-V1][B] Глубокий анализ: 33 CT, 168 контейнеров, 266 находок; найдена системная проблема — 8 oauth2-proxy в цикле перезапусков 2026-11-06 01:16:11 +03:00
root 28fd9fb98c [SPRINT-V1][C] Ночной анализ на локальной LLM с проверкой фактов (0 выдуманных сущностей), задание 03:00 2026-11-06 01:02:49 +03:00
root 898871c9eb [SPRINT-V1][E] VM в автовосстановлении: VM104 immich onboot=1, гигиена проверяет qm list, boot-оркестратор без 9-минутной блокировки 2026-11-06 00:50:58 +03:00
root 2a25fba2dd [SPRINT-V1][B] Проверка дублей: сравнение по роли, а не по образу (nginx/authentik/vaultwarden — не дубли); data-анализ syncthing/mosquitto 2026-11-06 00:49:20 +03:00
root 9c3d8b7ec7 [SPRINT-V1][C] Живое исследование: факты из GitHub API со ссылками (10 сервисов), отчёт research-*.md 2026-11-05 22:59:14 +03:00
root 107d8ca5c2 [SPRINT-V1][C/F] Закрытие контура: лёджер v2 (диск/образы/запросы), мультиагентные специалисты, валидатор правил, уверенность в дайджесте, журнал гипотез 2026-11-05 22:55:04 +03:00
root c5e35f0b18 [SPRINT-V1][F] Недельная сводка (гигиена+развитие+доверие+задачи), эпизодическая память в RAG (журнал действий + отчёты агентов) 2026-11-05 22:40:24 +03:00
root 4af52fb1a1 [SPRINT-V1][F] Статистика доверия агента: успешность по правилам, вердикты повышения уровня, ежедневно 08:00 2026-11-05 22:30:12 +03:00
root 5da9b5d079 [OPS] Сбор информации без действий: досье по дублям/юнитам/RAM/SSO; исправлен подсчёт static-юнитов; n8n помечен как используемый 2026-11-05 22:23:45 +03:00