feat(comms): единый админ-бот Telegram+Matrix, .env.example, карта портов docs/PORTS.md
This commit is contained in:
1 parent
a8eefb63c1
commit
eaa34591d9
4 files changed
+563
-67
No files matched your search
+165
@@ -0,0 +1,165 @@
|
|||||||
|
# Карта портов и сетевых точек buryan-hub
|
||||||
|
|
||||||
|
**Собрано:** 2026-10-14
|
||||||
|
**Как собрано:** `ss -tln` на хосте PVE и в каждом контейнере через `pct exec`, `docker ps` для публикаций контейнеров, `nginx -T` на VPS.
|
||||||
|
**Важно:** это снимок фактического состояния, а не пожелание. Всё, что здесь перечислено, реально слушает сеть.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 1. Что торчит в интернет (VPS 193.233.210.184)
|
||||||
|
|
||||||
|
| Домен / точка | Куда проксируется | Что это |
|
||||||
|
|---|---|---|
|
||||||
|
| `n8n.buryans.ru` | `192.168.1.108:5680` | n8n (оркестратор) |
|
||||||
|
| `git.buryans.ru` | `192.168.1.140:3000` | Gitea |
|
||||||
|
| `status.buryans.ru` | `192.168.1.107:3001` | Uptime Kuma |
|
||||||
|
| `vault.buryans.ru` | `192.168.1.109:8081` | Vaultwarden |
|
||||||
|
| `finance.buryans.ru` | `192.168.1.110:8080` | Firefly III |
|
||||||
|
| `recipes.buryans.ru` | `192.168.1.110:9925` | Mealie |
|
||||||
|
| `music.buryans.ru` | `192.168.1.125:4533` | Navidrome |
|
||||||
|
| `sync.buryans.ru` | `192.168.1.139:8384` | Syncthing |
|
||||||
|
| `authentik.buryans.ru` | `192.168.1.114:9000` | Authentik (SSO) |
|
||||||
|
| `element.buryans.ru` | `192.168.1.155:8088` | Element Web |
|
||||||
|
| `matrix.buryans.ru` | `192.168.1.155:8008` | Synapse |
|
||||||
|
| `headscale.buryans.ru` | `127.0.0.1:8443` | Headscale |
|
||||||
|
| `/tg-api/` на IP VPS | `https://api.telegram.org/` | **Прокси к Telegram Bot API — без аутентификации** |
|
||||||
|
| `/ray` на `n8n.buryans.ru` | `127.0.0.1:10000` | **Вход VLESS/Xray — без аутентификации** |
|
||||||
|
|
||||||
|
**Порты самого VPS:** 22 (SSH), 80/443 (nginx), 8888 (tinyproxy, разрешены только `100.64.0.0/10` и `172.16.0.0/12`), 1080 (SOCKS danted — только `127.0.0.1` и приватная сеть, публичный доступ закрыт 14.10.2026), 8443 (Headscale напрямую, в обход nginx), 9443 (mtg), 10443 (Xray VPN), 9090 (метрики Headscale, только localhost).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 2. Хост PVE (192.168.1.10)
|
||||||
|
|
||||||
|
| Порт | Процесс | Что это | Описание в документации |
|
||||||
|
|---|---|---|---|
|
||||||
|
| 8006 | pveproxy | Веб-интерфейс Proxmox | есть |
|
||||||
|
| 22 | sshd | SSH | есть |
|
||||||
|
| 80 | nginx (17 воркеров) | nginx на самом PVE | **нет** |
|
||||||
|
| 5000 | uvicorn `/opt/remediation-api` | Remediation API | есть |
|
||||||
|
| 2525 | `python3 /opt/buryan-hub/scripts/smtp-to-matrix.py` | SMTP → Matrix | **нет** |
|
||||||
|
| 8080 | `python3 /usr/local/bin/telegram-relay.py` | Релей Telegram | **нет** |
|
||||||
|
| 8081 | `python3 /opt/buryan-hub/scripts/webhook-to-matrix.py` | Webhook → Matrix | **нет** |
|
||||||
|
| 9999 | `python3 /usr/local/bin/telegram-proxy.py` | Прокси Telegram | **нет** |
|
||||||
|
| 10808 / 10888 | sing-box | SOCKS и HTTP-прокси для выхода в Telegram/AI | есть |
|
||||||
|
| 10809 | sing-box | SOCKS только для localhost | **нет** |
|
||||||
|
| 111 | rpcbind | Служба RPC (штатная для Proxmox, но открыта наружу) | **нет** |
|
||||||
|
| 3128 | spiceproxy | SPICE-прокси Proxmox (штатная) | **нет** |
|
||||||
|
| 25 | postfix (localhost) | Почта | **нет** |
|
||||||
|
|
||||||
|
Все четыре Python-службы (2525, 8080, 8081, 9999) слушают `0.0.0.0` и не описаны ни в одном документе репозитория.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 3. Контейнеры
|
||||||
|
|
||||||
|
Порты `9100` (node_exporter) и `8200` (Duplicati) есть **на всех** контейнерах — в таблице ниже они не повторяются, см. раздел 4.
|
||||||
|
|
||||||
|
| CT | Имя | Сервис | Слушает | Публикация Docker |
|
||||||
|
|---|---|---|---|---|
|
||||||
|
| 101 | proxy-lxc | Nginx Proxy Manager | 80, 81, 443 | `80-81`, `443` |
|
||||||
|
| 102 | portal-lxc | Dashy + oauth2-proxy | 8080, 9983 | `9983` |
|
||||||
|
| 103 | media-lxc | Jellyfin + oauth2-proxy | 8096, 8097 | `8097` |
|
||||||
|
| 105 | files-lxc | Paperless, Syncthing | 8000, 8384, 22000 | `8000` |
|
||||||
|
| 106 | smart-lxc | Home Assistant, zigbee2mqtt, Mosquitto | 1883, 8080, 8123, 9001 | `8080`, `1883`, `9001` |
|
||||||
|
| 107 | utils-lxc | Uptime Kuma, AdGuard | 3000, 3001 | `3001`; AdGuard — сеть контейнера |
|
||||||
|
| 108 | automation-lxc | **n8n**, Node-RED, oauth2-proxy ×2, бот | 1880, 1881, 5678, 5680, 10808, 10888, 1055 | `5680` (n8n), `5678` (oauth2), `1880`, `1881` |
|
||||||
|
| 109 | cloud-lxc | Vaultwarden, Nextcloud, MariaDB | 8001, 8080, 8081 | `8081` (Vaultwarden), `8080` (Nextcloud), `8001` (oauth2) |
|
||||||
|
| 110 | office-lxc | Paperless, Firefly III, Mealie | 8000, 8080, 9925, 9981 | `8000`, `8080`, `9925`, `9981` |
|
||||||
|
| 111 | reading-lxc | Duplicati, Calibre-web, FreshRSS | 8083, 8090, 8091, 8200, 9982 | `8200`, `8083`, `8090`, `8091`, `9982` |
|
||||||
|
| 113 | backup-lxc | Grafana | 3000 | `3000` |
|
||||||
|
| 114 | authentik-security | **Authentik** (server, worker, redis) | 9000, 9443 | `9000`, `9443` |
|
||||||
|
| 115 | OpenClaw | Redis, NATS, openclaw | **6379**, **4222**, 8080, 8081, 18789, 8222 | `6379`, `4222`, `8222` |
|
||||||
|
| 116 | plex-lxc | Plex + oauth2-proxy | 32400, 9977 | `32400`, `9977` |
|
||||||
|
| 117 | sonarr-lxc | Sonarr + oauth2-proxy | 8989, 9989 | `8989`, `9989` |
|
||||||
|
| 118 | radarr-lxc | Radarr + oauth2-proxy | 7878, 9988 | `7878`, `9988` |
|
||||||
|
| 119 | prowlarr-lxc | Prowlarr + oauth2-proxy | 9696, 9987 | `9696`, `9987` |
|
||||||
|
| 120 | bazarr-lxc | Bazarr + oauth2-proxy | 6767, 9986 | `6767`, `9986` |
|
||||||
|
| 121 | overseerr-lxc | Overseerr + oauth2-proxy | 5055, 9985 | `5055`, `9985` |
|
||||||
|
| 122 | tautulli-lxc | Tautulli + oauth2-proxy | 8181, 9984 | `8181`, `9984` |
|
||||||
|
| 125 | navidrome-lxc | Navidrome + oauth2-proxy | 4533, 9976 | сеть контейнера |
|
||||||
|
| 127 | linkwarden-lxc | Linkding | 3000 | `3000` → 9090 |
|
||||||
|
| 134 | prometheus-lxc | Prometheus | 9090 | `9090` |
|
||||||
|
| 139 | syncthing-lxc | Syncthing | 8384, 22000 | `8384` |
|
||||||
|
| 140 | gitea-lxc | **Gitea** | **3000**, **222** | `3000`, `222` → 22 |
|
||||||
|
| 151 | postgres-rbac-lxc | **PostgreSQL 17** | **5432**, 9187 | без Docker |
|
||||||
|
| 155 | matrix | Synapse, Element, Coturn, LiveKit, mautrix | **3478**, 8008, 8088, **29317**, 7880, 7881 | `8008`, `8088`, `29317` |
|
||||||
|
| 201 | headscale-lxc | Headscale | — | без Docker |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 4. Порты, одинаковые на всех контейнерах
|
||||||
|
|
||||||
|
| Порт | Что | Комментарий |
|
||||||
|
|---|---|---|
|
||||||
|
| 9100 | node_exporter | Ожидаемо: развёрнут по всем CT в рамках F4-5. Только LAN |
|
||||||
|
| 8200 | **Duplicati web-server** | См. находку №1 ниже |
|
||||||
|
| 22 | sshd | Ожидаемо |
|
||||||
|
| 25 | postfix (localhost) | Ожидаемо |
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 5. Отдельно: Gitea (CT 140, 192.168.1.140)
|
||||||
|
|
||||||
|
| Порт | Назначение | Доступ |
|
||||||
|
|---|---|---|
|
||||||
|
| **3000** | Веб-интерфейс и **API** | Наружу через `git.buryans.ru`; API и вебхуки доступны из интернета, ограничения частоты нет |
|
||||||
|
| **222** | SSH-доступ к репозиториям (проброс на 22 внутри контейнера) | Слушает `0.0.0.0`, наружу не проксируется |
|
||||||
|
| 8200 | Duplicati | См. находку №1 |
|
||||||
|
| 9100 | node_exporter | LAN |
|
||||||
|
|
||||||
|
Через Gitea проходят: задачи (issues), вебхуки n8n, API-токены агентов, git push/pull. Именно на 3000-м порту завязаны и бот (`/runbook`), и скрипты бэкапов, и self-healing.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 6. Находки
|
||||||
|
|
||||||
|
### 🔴 1. Duplicati на всех контейнерах: один пароль и он виден всем
|
||||||
|
|
||||||
|
Во **всех 28 контейнерах** работает Duplicati с одинаковыми параметрами:
|
||||||
|
|
||||||
|
```
|
||||||
|
/usr/bin/mono-sgen /usr/lib/duplicati/Duplicati.Server.exe \
|
||||||
|
--webservice-interface=any --webservice-port=8200 --webservice-password=<пароль>
|
||||||
|
```
|
||||||
|
|
||||||
|
Три проблемы сразу:
|
||||||
|
- **интерфейс `any`** — веб-панель бэкапов доступна со всей локальной сети, а не только с localhost;
|
||||||
|
- **один и тот же пароль на всех контейнерах** — компромисс одного узла открывает бэкапы всех;
|
||||||
|
- **пароль передан аргументом командной строки** — его видит любой, кто может выполнить `ps`, и он попадает в логи процессов.
|
||||||
|
|
||||||
|
**Что делать:** убрать `--webservice-interface=any` (оставить localhost), перенести пароль в переменную окружения или файл конфигурации с правами 600, сделать пароли уникальными. Пароль считать скомпрометированным.
|
||||||
|
|
||||||
|
### 🟡 2. Redis и NATS на CT 115 слушают весь мир
|
||||||
|
|
||||||
|
`6379` (Redis) и `4222`/`8222` (NATS) опубликованы как `0.0.0.0`. Это внутренние шины OpenClaw, им достаточно localhost. Redis с паролем, но открытый порт — лишняя поверхность атаки.
|
||||||
|
|
||||||
|
### 🟡 3. Четыре службы на PVE не описаны нигде
|
||||||
|
|
||||||
|
`2525` (SMTP→Matrix), `8080` (telegram-relay), `8081` (webhook→Matrix), `9999` (telegram-proxy) — все слушают `0.0.0.0`, ни одна не упомянута в документации. Судя по именам, это костыли вокруг блокировки Telegram; их стоит либо описать, либо свести к одному сервису.
|
||||||
|
|
||||||
|
### 🟡 4. Postgres доступен по всей LAN с `md5`
|
||||||
|
|
||||||
|
`pg_hba.conf`: `host all all 192.168.1.0/24 md5`. Пароли базы ходят по сети в md5-хэше, а доступ разрешён любому адресу в локальной сети.
|
||||||
|
|
||||||
|
### 🟡 5. Headscale слушает `0.0.0.0:8443` в обход nginx
|
||||||
|
|
||||||
|
Помимо проксирования через `headscale.buryans.ru`, Headscale принимает соединения напрямую на 8443. Если порт не закрыт на стороне провайдера, это второй вход в control-plane.
|
||||||
|
|
||||||
|
### ⚪ 6. rpcbind (111) открыт на PVE
|
||||||
|
|
||||||
|
Штатная служба Proxmox, но обычно её закрывают межсетевым экраном. Сейчас `INPUT` политика — `ACCEPT`.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 7. Как пересобрать эту карту
|
||||||
|
|
||||||
|
```bash
|
||||||
|
# на pve
|
||||||
|
for id in $(pct list | tail -n +2 | awk '{print $1}'); do
|
||||||
|
echo "### CT $id $(pct config $id | awk '/^hostname/{print $2}')"
|
||||||
|
pct exec $id -- ss -tln | tail -n +2 | awk '{print $4}' | sort -u
|
||||||
|
done
|
||||||
|
```
|
||||||
|
|
||||||
|
Двойные кавычки в командах по SSH с Windows срезаются — использовать только одинарные, иначе подписи контейнеров превратятся в комментарии.
|
||||||
@@ -0,0 +1,37 @@
|
|||||||
|
# comms-agent — переменные окружения
|
||||||
|
# Заполнять реальными значениями только в .env (он в .gitignore).
|
||||||
|
# Значения секретов брать из Vaultwarden, не из репозитория.
|
||||||
|
|
||||||
|
# --- Telegram ---
|
||||||
|
# Токен бота БЕЗ установленного webhook: бот работает опросом (getUpdates).
|
||||||
|
# Webhook закреплён за отдельным ботом Auth, он обслуживает поток F6-2.
|
||||||
|
BOT_TOKEN=CHANGE_ME
|
||||||
|
ADMIN_ID=0
|
||||||
|
|
||||||
|
# --- Gitea ---
|
||||||
|
GITEA_URL=http://192.168.1.140:3000
|
||||||
|
GITEA_REPO=agent-qwen/buryan-infra
|
||||||
|
GITEA_TOKEN=CHANGE_ME
|
||||||
|
|
||||||
|
# --- PostgreSQL (CT 151) ---
|
||||||
|
PG_HOST=192.168.1.151
|
||||||
|
PG_PORT=5432
|
||||||
|
PG_DB=buryan_monitoring
|
||||||
|
PG_USER=CHANGE_ME
|
||||||
|
PG_PASSWORD=CHANGE_ME
|
||||||
|
|
||||||
|
# --- Matrix (необязательно) ---
|
||||||
|
MATRIX_HOMESERVER=https://matrix.buryans.ru
|
||||||
|
MATRIX_ACCESS_TOKEN=CHANGE_ME
|
||||||
|
MATRIX_USER_ID=@comms_agent:matrix.buryans.ru
|
||||||
|
MATRIX_ROOM_ID=CHANGE_ME
|
||||||
|
|
||||||
|
# --- Remediation API (для /restart) ---
|
||||||
|
REMEDIATION_API_URL=http://192.168.1.10:5000
|
||||||
|
REMEDIATION_API_KEY=CHANGE_ME
|
||||||
|
|
||||||
|
# --- Сеть ---
|
||||||
|
# Telegram API недоступен из РФ напрямую, используется локальный прокси CT 108.
|
||||||
|
HTTP_PROXY=http://192.168.1.108:10888
|
||||||
|
HTTPS_PROXY=http://192.168.1.108:10888
|
||||||
|
NO_PROXY=192.168.1.151,192.168.1.140,192.168.1.10,localhost,127.0.0.1
|
||||||
@@ -1,80 +1,374 @@
|
|||||||
import os, asyncio, logging, asyncpg, aiohttp, base64
|
"""
|
||||||
|
comms-agent — единый административный бот buryan-hub.
|
||||||
|
|
||||||
|
Собран слиянием двух прежних ботов:
|
||||||
|
* бот на CT 108 — /issues и heartbeat в agent_registry;
|
||||||
|
* бот на VPS — двусторонний Matrix и /restart через Remediation API.
|
||||||
|
|
||||||
|
Работает в режиме опроса Telegram, поэтому у бота НЕ должен быть
|
||||||
|
установлен webhook: Telegram не разрешает одновременно getUpdates и webhook.
|
||||||
|
Webhook закреплён за отдельным ботом Auth (@Adm_buryans_bot) для потока
|
||||||
|
самообслуживания F6-2.
|
||||||
|
"""
|
||||||
|
import os
|
||||||
|
import asyncio
|
||||||
|
import base64
|
||||||
|
import logging
|
||||||
|
|
||||||
|
import aiohttp
|
||||||
|
import asyncpg
|
||||||
from aiogram import Bot, Dispatcher
|
from aiogram import Bot, Dispatcher
|
||||||
from aiogram.filters import Command
|
|
||||||
from aiogram.types import Message
|
|
||||||
from aiogram.client.session.aiohttp import AiohttpSession
|
from aiogram.client.session.aiohttp import AiohttpSession
|
||||||
|
from aiogram.filters import Command
|
||||||
|
from aiogram.types import (
|
||||||
|
CallbackQuery,
|
||||||
|
InlineKeyboardButton,
|
||||||
|
InlineKeyboardMarkup,
|
||||||
|
Message,
|
||||||
|
)
|
||||||
|
from nio import AsyncClient, RoomMessageText
|
||||||
|
|
||||||
|
logging.basicConfig(
|
||||||
|
level=logging.INFO,
|
||||||
|
format="%(asctime)s %(levelname)s %(name)s: %(message)s",
|
||||||
|
)
|
||||||
|
log = logging.getLogger("comms-agent")
|
||||||
|
|
||||||
logging.basicConfig(level=logging.INFO)
|
|
||||||
dp = Dispatcher()
|
dp = Dispatcher()
|
||||||
|
bot_instance: Bot | None = None
|
||||||
|
|
||||||
def is_admin(m): return str(m.from_user.id) == str(os.getenv('ADMIN_ID', 0))
|
# --- Конфигурация -----------------------------------------------------------
|
||||||
|
ADMIN_ID = str(os.getenv("ADMIN_ID") or "0")
|
||||||
|
GITEA_URL = (os.getenv("GITEA_URL") or "http://192.168.1.140:3000").rstrip("/")
|
||||||
|
GITEA_REPO = os.getenv("GITEA_REPO") or "agent-qwen/buryan-infra"
|
||||||
|
GITEA_TOKEN = os.getenv("GITEA_TOKEN") or ""
|
||||||
|
|
||||||
async def get_gitea_file(fp):
|
PG_DSN = dict(
|
||||||
h = {'Authorization': f"token {os.getenv('GITEA_TOKEN')}"}
|
host=os.getenv("PG_HOST"),
|
||||||
u = f"{os.getenv('GITEA_URL')}/api/v1/repos/agent-qwen/buryan-infra/contents/{fp}?ref=main"
|
database=os.getenv("PG_DB"),
|
||||||
async with aiohttp.ClientSession() as s:
|
user=os.getenv("PG_USER"),
|
||||||
async with s.get(u, headers=h) as r:
|
password=os.getenv("PG_PASSWORD"),
|
||||||
if r.status == 200:
|
port=int(os.getenv("PG_PORT") or 5432),
|
||||||
data = await r.json()
|
)
|
||||||
return base64.b64decode(data['content']).decode('utf-8')
|
|
||||||
else:
|
|
||||||
return f"Error {r.status}"
|
|
||||||
|
|
||||||
async def heartbeat():
|
REMEDIATION_API_URL = (os.getenv("REMEDIATION_API_URL") or "").rstrip("/")
|
||||||
|
REMEDIATION_API_KEY = os.getenv("REMEDIATION_API_KEY") or ""
|
||||||
|
|
||||||
|
MATRIX_ROOM_ID = os.getenv("MATRIX_ROOM_ID") or ""
|
||||||
|
matrix_client = AsyncClient(os.getenv("MATRIX_HOMESERVER") or "https://matrix.buryans.ru")
|
||||||
|
|
||||||
|
HELP_TEXT = (
|
||||||
|
"Доступные команды:\n"
|
||||||
|
"/status — состояние хостов\n"
|
||||||
|
"/issues — открытые задачи Gitea\n"
|
||||||
|
"/runbook <сервис> — ранбук сервиса\n"
|
||||||
|
"/restart <сервис> — перезапуск через Remediation API"
|
||||||
|
)
|
||||||
|
|
||||||
|
gitea_headers = {"Authorization": f"token {GITEA_TOKEN}"}
|
||||||
|
|
||||||
|
|
||||||
|
def is_admin(obj) -> bool:
|
||||||
|
user = getattr(obj, "from_user", None)
|
||||||
|
if user is None and getattr(obj, "message", None) is not None:
|
||||||
|
user = obj.message.from_user
|
||||||
|
return user is not None and str(user.id) == ADMIN_ID
|
||||||
|
|
||||||
|
|
||||||
|
# --- Matrix -----------------------------------------------------------------
|
||||||
|
async def send_matrix_message(text: str) -> None:
|
||||||
|
if not MATRIX_ROOM_ID or not matrix_client.access_token:
|
||||||
|
return
|
||||||
|
html_text = text.replace("\n", "<br>").replace("**", "<b>").replace("`", "<code>")
|
||||||
|
try:
|
||||||
|
await matrix_client.room_send(
|
||||||
|
room_id=MATRIX_ROOM_ID,
|
||||||
|
message_type="m.room.message",
|
||||||
|
content={
|
||||||
|
"msgtype": "m.text",
|
||||||
|
"body": text,
|
||||||
|
"format": "org.matrix.custom.html",
|
||||||
|
"formatted_body": html_text,
|
||||||
|
},
|
||||||
|
)
|
||||||
|
except Exception as exc: # noqa: BLE001 - сообщение не должно ронять бота
|
||||||
|
log.error("Matrix send error: %s", exc)
|
||||||
|
|
||||||
|
|
||||||
|
async def reply(text: str, source: str, message: Message | None = None) -> None:
|
||||||
|
"""Отправляет ответ туда, откуда пришла команда, и дублирует в Matrix."""
|
||||||
|
if source == "telegram" and message is not None:
|
||||||
|
await message.answer(text)
|
||||||
|
else:
|
||||||
|
await send_matrix_message(text)
|
||||||
|
|
||||||
|
|
||||||
|
# --- Логика команд ----------------------------------------------------------
|
||||||
|
async def handle_status_logic(source: str, message: Message | None = None) -> None:
|
||||||
|
try:
|
||||||
|
conn = await asyncpg.connect(**PG_DSN)
|
||||||
|
rows = await conn.fetch(
|
||||||
|
"SELECT host, ip, mem, disk FROM host_states ORDER BY host ASC LIMIT 10;"
|
||||||
|
)
|
||||||
|
await conn.close()
|
||||||
|
if not rows:
|
||||||
|
text = "Данных о хостах пока нет."
|
||||||
|
else:
|
||||||
|
lines = [
|
||||||
|
f"{r['host']} ({r['ip']}): RAM {r['mem'] or '?'}%, диск {r['disk'] or '?'}%"
|
||||||
|
for r in rows
|
||||||
|
]
|
||||||
|
text = "Хосты:\n" + "\n".join(lines)
|
||||||
|
except Exception as exc: # noqa: BLE001
|
||||||
|
text = f"Ошибка базы: {exc}"
|
||||||
|
await reply(text, source, message)
|
||||||
|
|
||||||
|
|
||||||
|
async def handle_issues_logic(source: str, message: Message | None = None) -> None:
|
||||||
|
url = f"{GITEA_URL}/api/v1/repos/{GITEA_REPO}/issues?state=open&limit=10"
|
||||||
|
try:
|
||||||
|
async with aiohttp.ClientSession() as session:
|
||||||
|
async with session.get(url, headers=gitea_headers) as resp:
|
||||||
|
if resp.status != 200:
|
||||||
|
text = f"Gitea вернул {resp.status}"
|
||||||
|
else:
|
||||||
|
issues = await resp.json()
|
||||||
|
if not issues:
|
||||||
|
text = "Открытых задач нет."
|
||||||
|
else:
|
||||||
|
lines = [f"#{i['number']} {i['title']}" for i in issues]
|
||||||
|
text = f"Открытые задачи ({len(issues)}):\n" + "\n".join(lines)
|
||||||
|
except Exception as exc: # noqa: BLE001
|
||||||
|
text = f"Ошибка Gitea: {exc}"
|
||||||
|
await reply(text, source, message)
|
||||||
|
|
||||||
|
|
||||||
|
async def fetch_runbook(service: str) -> str | None:
|
||||||
|
"""Ищет ранбук сначала в services/, затем в knowledge/runbooks/."""
|
||||||
|
for path in (
|
||||||
|
f"services/{service}/runbook.md",
|
||||||
|
f"knowledge/runbooks/{service}.md",
|
||||||
|
):
|
||||||
|
url = f"{GITEA_URL}/api/v1/repos/{GITEA_REPO}/contents/{path}?ref=main"
|
||||||
|
try:
|
||||||
|
async with aiohttp.ClientSession() as session:
|
||||||
|
async with session.get(url, headers=gitea_headers) as resp:
|
||||||
|
if resp.status == 200:
|
||||||
|
data = await resp.json()
|
||||||
|
return base64.b64decode(data["content"]).decode("utf-8")
|
||||||
|
except Exception as exc: # noqa: BLE001
|
||||||
|
log.error("Gitea fetch error for %s: %s", path, exc)
|
||||||
|
return None
|
||||||
|
|
||||||
|
|
||||||
|
async def handle_runbook_logic(
|
||||||
|
service: str, source: str, message: Message | None = None
|
||||||
|
) -> None:
|
||||||
|
content = await fetch_runbook(service)
|
||||||
|
if content is None:
|
||||||
|
await reply(
|
||||||
|
f"Ранбук для «{service}» не найден ни в services/, ни в knowledge/runbooks/.",
|
||||||
|
source,
|
||||||
|
message,
|
||||||
|
)
|
||||||
|
return
|
||||||
|
|
||||||
|
# Отправляем без разметки: содержимое ранбука ломает парсер Markdown.
|
||||||
|
text = f"Ранбук: {service}\n\n{content[:3800]}"
|
||||||
|
if source == "telegram" and message is not None:
|
||||||
|
keyboard = InlineKeyboardMarkup(
|
||||||
|
inline_keyboard=[
|
||||||
|
[
|
||||||
|
InlineKeyboardButton(
|
||||||
|
text="Перезапустить", callback_data=f"restart_{service}"
|
||||||
|
)
|
||||||
|
]
|
||||||
|
]
|
||||||
|
)
|
||||||
|
await message.answer(text, reply_markup=keyboard)
|
||||||
|
else:
|
||||||
|
await send_matrix_message(text)
|
||||||
|
|
||||||
|
|
||||||
|
async def handle_restart_logic(
|
||||||
|
service: str, source: str, message: Message | None = None
|
||||||
|
) -> None:
|
||||||
|
if not REMEDIATION_API_URL:
|
||||||
|
await reply("Remediation API не настроен (REMEDIATION_API_URL пуст).", source, message)
|
||||||
|
return
|
||||||
|
|
||||||
|
await reply(f"Запрашиваю перезапуск: {service}...", source, message)
|
||||||
|
headers = {
|
||||||
|
"X-API-Key": REMEDIATION_API_KEY,
|
||||||
|
"Content-Type": "application/json",
|
||||||
|
}
|
||||||
|
try:
|
||||||
|
async with aiohttp.ClientSession() as session:
|
||||||
|
async with session.post(
|
||||||
|
f"{REMEDIATION_API_URL}/api/v1/remediate",
|
||||||
|
json={"action": "restart_service", "target": service},
|
||||||
|
headers=headers,
|
||||||
|
timeout=aiohttp.ClientTimeout(total=120),
|
||||||
|
) as resp:
|
||||||
|
data = await resp.json()
|
||||||
|
if resp.status == 200:
|
||||||
|
text = f"Готово: {data.get('message', 'ok')}"
|
||||||
|
else:
|
||||||
|
text = f"Отказ: {data.get('detail', resp.status)}"
|
||||||
|
except Exception as exc: # noqa: BLE001
|
||||||
|
text = f"Ошибка связи с Remediation API: {exc}"
|
||||||
|
await reply(text, source, message)
|
||||||
|
|
||||||
|
|
||||||
|
async def handle_runbook_and_restart(service: str, source: str, message: Message | None = None) -> None:
|
||||||
|
await handle_runbook_logic(service, source, message)
|
||||||
|
|
||||||
|
|
||||||
|
# --- Telegram ---------------------------------------------------------------
|
||||||
|
@dp.message(Command("start", "help"))
|
||||||
|
async def cmd_start(message: Message) -> None:
|
||||||
|
if is_admin(message):
|
||||||
|
await message.answer("comms-agent на связи.\n\n" + HELP_TEXT)
|
||||||
|
else:
|
||||||
|
await message.answer(f"Доступ запрещён. Ваш ID: {message.from_user.id}")
|
||||||
|
|
||||||
|
|
||||||
|
@dp.message(Command("status"))
|
||||||
|
async def cmd_status(message: Message) -> None:
|
||||||
|
if is_admin(message):
|
||||||
|
await handle_status_logic("telegram", message)
|
||||||
|
|
||||||
|
|
||||||
|
@dp.message(Command("issues"))
|
||||||
|
async def cmd_issues(message: Message) -> None:
|
||||||
|
if is_admin(message):
|
||||||
|
await handle_issues_logic("telegram", message)
|
||||||
|
|
||||||
|
|
||||||
|
@dp.message(Command("runbook"))
|
||||||
|
async def cmd_runbook(message: Message) -> None:
|
||||||
|
if not is_admin(message):
|
||||||
|
return
|
||||||
|
parts = message.text.split(maxsplit=1)
|
||||||
|
if len(parts) < 2:
|
||||||
|
await message.answer("Использование: /runbook <сервис>")
|
||||||
|
return
|
||||||
|
await handle_runbook_logic(parts[1].strip().lower(), "telegram", message)
|
||||||
|
|
||||||
|
|
||||||
|
@dp.message(Command("restart"))
|
||||||
|
async def cmd_restart(message: Message) -> None:
|
||||||
|
if not is_admin(message):
|
||||||
|
return
|
||||||
|
parts = message.text.split(maxsplit=1)
|
||||||
|
if len(parts) < 2:
|
||||||
|
await message.answer("Использование: /restart <сервис>")
|
||||||
|
return
|
||||||
|
await handle_restart_logic(parts[1].strip().lower(), "telegram", message)
|
||||||
|
|
||||||
|
|
||||||
|
@dp.callback_query(lambda c: (c.data or "").startswith("restart_"))
|
||||||
|
async def on_restart_callback(callback: CallbackQuery) -> None:
|
||||||
|
if not is_admin(callback):
|
||||||
|
await callback.answer("Доступ запрещён", show_alert=True)
|
||||||
|
return
|
||||||
|
service = callback.data.split("_", 1)[1]
|
||||||
|
await callback.message.edit_text(f"Запрашиваю перезапуск: {service}...")
|
||||||
|
await handle_restart_logic(service, "telegram")
|
||||||
|
await callback.answer()
|
||||||
|
|
||||||
|
|
||||||
|
# --- Matrix приём команд ----------------------------------------------------
|
||||||
|
async def matrix_message_callback(room, event) -> None:
|
||||||
|
if room.room_id != MATRIX_ROOM_ID:
|
||||||
|
return
|
||||||
|
if not isinstance(event, RoomMessageText):
|
||||||
|
return
|
||||||
|
if event.sender == matrix_client.user_id:
|
||||||
|
return
|
||||||
|
|
||||||
|
text = (event.body or "").strip()
|
||||||
|
log.info("Matrix команда от %s: %s", event.sender, text)
|
||||||
|
|
||||||
|
if text.startswith(("/status", "!status")):
|
||||||
|
await handle_status_logic("matrix")
|
||||||
|
elif text.startswith(("/issues", "!issues")):
|
||||||
|
await handle_issues_logic("matrix")
|
||||||
|
elif text.startswith(("/runbook ", "!runbook ")):
|
||||||
|
await handle_runbook_logic(text.split(" ", 1)[1].lower(), "matrix")
|
||||||
|
elif text.startswith(("/restart ", "!restart ")):
|
||||||
|
await handle_restart_logic(text.split(" ", 1)[1].lower(), "matrix")
|
||||||
|
else:
|
||||||
|
await send_matrix_message(f"Неизвестная команда: {text}\n\n{HELP_TEXT}")
|
||||||
|
|
||||||
|
|
||||||
|
async def matrix_sync_loop() -> None:
|
||||||
|
matrix_client.access_token = os.getenv("MATRIX_ACCESS_TOKEN")
|
||||||
|
matrix_client.user_id = os.getenv(
|
||||||
|
"MATRIX_USER_ID", "@comms_agent:matrix.buryans.ru"
|
||||||
|
)
|
||||||
|
if not matrix_client.access_token:
|
||||||
|
log.warning("MATRIX_ACCESS_TOKEN не задан — Matrix-канал выключен")
|
||||||
|
return
|
||||||
|
try:
|
||||||
|
await matrix_client.sync(timeout=30000)
|
||||||
|
except Exception as exc: # noqa: BLE001
|
||||||
|
log.error("Первичная синхронизация Matrix не удалась: %s", exc)
|
||||||
|
return
|
||||||
|
matrix_client.add_event_callback(matrix_message_callback, RoomMessageText)
|
||||||
|
log.info("Matrix-слушатель запущен")
|
||||||
while True:
|
while True:
|
||||||
try:
|
try:
|
||||||
c = await asyncpg.connect(host=os.getenv('PG_HOST'), database=os.getenv('PG_DB'), user=os.getenv('PG_USER'), password=os.getenv('PG_PASSWORD'))
|
await matrix_client.sync(timeout=30000)
|
||||||
await c.execute("INSERT INTO agent_registry (name, domain, status, last_heartbeat) VALUES ('comms-agent', 'comms', 'active', CURRENT_TIMESTAMP) ON CONFLICT (name) DO UPDATE SET status='active', last_heartbeat=CURRENT_TIMESTAMP")
|
except Exception as exc: # noqa: BLE001
|
||||||
await c.close()
|
log.error("Matrix sync error: %s", exc)
|
||||||
except Exception as e: logging.error(f"HB: {e}")
|
await asyncio.sleep(5)
|
||||||
|
|
||||||
|
|
||||||
|
# --- Реестр агентов ---------------------------------------------------------
|
||||||
|
async def heartbeat() -> None:
|
||||||
|
while True:
|
||||||
|
try:
|
||||||
|
conn = await asyncpg.connect(**PG_DSN)
|
||||||
|
await conn.execute(
|
||||||
|
"INSERT INTO agent_registry (name, domain, status, last_heartbeat) "
|
||||||
|
"VALUES ('comms-agent', 'comms', 'active', CURRENT_TIMESTAMP) "
|
||||||
|
"ON CONFLICT (name) DO UPDATE SET status='active', "
|
||||||
|
"last_heartbeat=CURRENT_TIMESTAMP"
|
||||||
|
)
|
||||||
|
await conn.close()
|
||||||
|
except Exception as exc: # noqa: BLE001
|
||||||
|
log.error("Heartbeat: %s", exc)
|
||||||
await asyncio.sleep(30)
|
await asyncio.sleep(30)
|
||||||
|
|
||||||
@dp.message(Command('start'))
|
|
||||||
async def cmd_start(m: Message):
|
|
||||||
if is_admin(m): await m.answer('Hi! Cmds: /status, /issues, /runbook <svc>')
|
|
||||||
else: await m.answer(f'Access denied. ID: {m.from_user.id}')
|
|
||||||
|
|
||||||
@dp.message(Command('status'))
|
# --- Запуск -----------------------------------------------------------------
|
||||||
async def cmd_status(m: Message):
|
async def main() -> None:
|
||||||
if not is_admin(m): return
|
global bot_instance
|
||||||
try:
|
log.info("Запуск comms-agent (Telegram + Matrix)...")
|
||||||
c = await asyncpg.connect(host=os.getenv('PG_HOST'), database=os.getenv('PG_DB'), user=os.getenv('PG_USER'), password=os.getenv('PG_PASSWORD'))
|
|
||||||
r = await c.fetch('SELECT host, ip, mem, disk FROM host_states ORDER BY host ASC LIMIT 5;')
|
|
||||||
await c.close()
|
|
||||||
await m.answer('Hosts:\n' + '\n'.join([f"{x['host']} ({x['ip']}) RAM: {x['mem'] or '?'}%" for x in r]))
|
|
||||||
except Exception as e: await m.answer(f"DB Error: {e}")
|
|
||||||
|
|
||||||
@dp.message(Command('issues'))
|
session = AiohttpSession(proxy=os.getenv("HTTP_PROXY") or None)
|
||||||
async def cmd_issues(m: Message):
|
bot_instance = Bot(token=os.getenv("BOT_TOKEN"), session=session)
|
||||||
if not is_admin(m): return
|
|
||||||
try:
|
|
||||||
h = {'Authorization': 'token ' + os.getenv('GITEA_TOKEN')}
|
|
||||||
u = os.getenv('GITEA_URL') + '/api/v1/repos/agent-qwen/buryan-infra/issues?state=open&limit=3'
|
|
||||||
async with aiohttp.ClientSession() as s:
|
|
||||||
async with s.get(u, headers=h) as resp:
|
|
||||||
if resp.status == 200:
|
|
||||||
issues = await resp.json()
|
|
||||||
await m.answer('Issues:\n' + '\n'.join([f"#{i['number']} {i['title']}" for i in issues]) if issues else 'No open issues')
|
|
||||||
else: await m.answer(f"Gitea Error: {resp.status}")
|
|
||||||
except Exception as e: await m.answer(f"Gitea Error: {e}")
|
|
||||||
|
|
||||||
@dp.message(Command('runbook'))
|
me = await bot_instance.get_me()
|
||||||
async def cmd_runbook(m: Message):
|
log.info("Бот @%s (id=%s), админ ID=%s", me.username, me.id, ADMIN_ID)
|
||||||
if not is_admin(m): return
|
|
||||||
args = m.text.split(maxsplit=1)
|
webhook = await bot_instance.get_webhook_info()
|
||||||
if len(args) < 2: return await m.answer("Use: /runbook <service>")
|
if webhook.url:
|
||||||
content = await get_gitea_file(f"services/{args[1].lower()}/runbook.md")
|
log.error(
|
||||||
if content.startswith("Error"):
|
"У бота установлен webhook (%s) — опрос работать не будет. "
|
||||||
await m.answer(f"⚠️ {content}\nMake sure the file exists in the 'main' branch.")
|
"Нужен отдельный бот без webhook.",
|
||||||
else:
|
webhook.url,
|
||||||
await m.answer(f"📖 **Runbook: {args[1]}**\n\n```\n{content[:3900]}\n```", parse_mode="Markdown")
|
)
|
||||||
|
|
||||||
async def main():
|
|
||||||
logging.info('Starting comms-agent...')
|
|
||||||
session = AiohttpSession(proxy=os.getenv('HTTP_PROXY'))
|
|
||||||
bot = Bot(token=os.getenv('BOT_TOKEN'), session=session)
|
|
||||||
asyncio.create_task(heartbeat())
|
asyncio.create_task(heartbeat())
|
||||||
try: await dp.start_polling(bot)
|
asyncio.create_task(matrix_sync_loop())
|
||||||
finally: await session.close()
|
|
||||||
|
|
||||||
if __name__ == '__main__': asyncio.run(main())
|
try:
|
||||||
|
await dp.start_polling(bot_instance)
|
||||||
|
finally:
|
||||||
|
await session.close()
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
asyncio.run(main())
|
||||||
@@ -1,4 +1,4 @@
|
|||||||
aiogram>=3.0.0
|
aiogram>=3.0.0,<4
|
||||||
asyncpg
|
aiohttp>=3.9
|
||||||
aiohttp
|
asyncpg>=0.29
|
||||||
python-dotenv
|
matrix-nio>=0.24
|
||||||
Reference in new issue
Block a user