#!/usr/bin/env python3 # ============================================================ # check_disk.py — контроль заполнения дисков гостей (задача F6-6) # ============================================================ # Зачем: 14.10.2026 выяснилось, что контейнеры стояли на 86–89%, и никто # об этом не знал. Пул томов контролировался, а сами диски — нет. # # Что проверяет: # * корневой раздел каждого работающего контейнера; # * корневой раздел хоста; # * раздел с резервными копиями. # # Как уведомляет: переход через порог — сообщение, возврат в норму — # сообщение, повтор в том же состоянии — молчание (не чаще раза в сутки). # # Запуск по расписанию: ежечасно. # ============================================================ import json import os import subprocess import sys import time from datetime import datetime WARN = int(os.getenv("THRESH_WARN", "85")) CRIT = int(os.getenv("THRESH_CRITICAL", "92")) STATE_FILE = os.getenv("DISK_STATE_FILE", "/var/lib/buryan-monitor/disk-state.json") TOKENS_FILE = os.getenv("TOKENS_FILE", "/root/bots-tokens.env") ALERT_CHAT_ID = os.getenv("ALERT_CHAT_ID", "273442500") TG_PROXY = os.getenv("TG_PROXY", "http://192.168.1.10:10888") REPEAT_AFTER = 24 * 3600 # повторять напоминание не чаще раза в сутки PG_HOST = os.getenv("PG_HOST", "192.168.1.151") PG_DB = os.getenv("PG_DB", "buryan_monitoring") PG_USER = os.getenv("PG_USER", "buryan_monitor") def run(cmd, timeout=40): try: res = subprocess.run(cmd, capture_output=True, text=True, timeout=timeout) return res.stdout.strip() except Exception: return "" def guests(): """Работающие контейнеры: номер и имя.""" out = run(["pct", "list"]) result = [] for line in out.splitlines()[1:]: parts = line.split() if len(parts) < 3 or parts[1] != "running": continue cid = parts[0] cfg = run(["pct", "config", cid]) name = cid for cline in cfg.splitlines(): if cline.startswith("hostname:"): name = cline.split(":", 1)[1].strip() result.append((cid, name)) return result def percent(path): """Процент заполнения точки монтирования, либо None.""" if path == "/": out = run(["df", "-P", "/"]) else: out = run(["pct", "exec", path[0], "--", "df", "-P", "/"]) for line in out.splitlines(): parts = line.split() if len(parts) >= 5 and parts[4].endswith("%"): try: return int(parts[4].rstrip("%")) except ValueError: return None return None def status_of(pct): if pct >= CRIT: return "CRITICAL" if pct >= WARN: return "WARNING" return "OK" def collect(): """Собирает заполнение по всем наблюдаемым точкам.""" items = [] for cid, name in guests(): pct = percent((cid,)) if pct is not None: items.append({"key": f"ct-{cid}", "title": f"CT {cid} {name}", "pct": pct}) host = percent("/") if host is not None: items.append({"key": "pve", "title": "Хост pve", "pct": host}) out = run(["df", "-P", "/mnt/backups"]) for line in out.splitlines(): parts = line.split() if len(parts) >= 5 and parts[4].endswith("%"): try: items.append({"key": "backups", "title": "Раздел копий", "pct": int(parts[4].rstrip("%"))}) except ValueError: pass return items def read_state(): try: with open(STATE_FILE) as fh: return json.load(fh) except Exception: return {} def write_state(state): os.makedirs(os.path.dirname(STATE_FILE), exist_ok=True) tmp = STATE_FILE + ".tmp" with open(tmp, "w") as fh: json.dump(state, fh) os.replace(tmp, STATE_FILE) def alert_token(): try: with open(TOKENS_FILE) as fh: for line in fh: if line.startswith("ALERT_TOKEN="): return line.split("=", 1)[1].strip() except Exception: pass return "" def send_alert(text): """Единый слой: Matrix основной, Telegram зеркало. Возвращает True, если доставлено хотя бы одним каналом, — чтобы вызывающая сторона не повторяла уведомление. """ try: import os as _os import sys as _sys _sys.path.insert(0, _os.path.dirname(_os.path.abspath(__file__))) import notify return notify.send(text) except Exception as _exc: # noqa: BLE001 print(f"общий слой уведомлений недоступен, шлю напрямую в Telegram: {_exc}", file=sys.stderr) return send_alert_telegram(text) def send_alert_telegram(text): """Отправка через curl: urllib не смог договориться с прокси по TLS.""" token = alert_token() if not token: print(f"нет токена бота алертов в {TOKENS_FILE}", file=sys.stderr) return False try: res = subprocess.run( ["curl", "-s", "-m", "25", "-o", "/dev/null", "-w", "%{http_code}", "-x", TG_PROXY, "-X", "POST", "--data-urlencode", f"chat_id={ALERT_CHAT_ID}", "--data-urlencode", f"text={text}", "--data-urlencode", "parse_mode=HTML", f"https://api.telegram.org/bot{token}/sendMessage"], capture_output=True, text=True, timeout=40, ) return res.stdout.strip() == "200" except Exception as exc: print(f"не удалось отправить уведомление: {exc}", file=sys.stderr) return False def save_metrics(items): """Пишет замеры в базу. Без базы работа продолжается.""" import shutil if not shutil.which("psql"): return values = ",".join( f"('{i['key']}','{i['title'].replace(chr(39), chr(39) * 2)}',{i['pct']})" for i in items ) sql = ("INSERT INTO disk_metrics (guest_key, guest_title, used_percent) " f"VALUES {values}") try: subprocess.run(["psql", "-h", PG_HOST, "-U", PG_USER, "-d", PG_DB, "-c", sql], capture_output=True, text=True, timeout=30) except Exception as exc: print(f"не удалось записать замеры: {exc}", file=sys.stderr) def main(): items = collect() if not items: print("не удалось получить данные о дисках", file=sys.stderr) return 1 state = read_state() now = time.time() problems = [] for item in items: status = status_of(item["pct"]) item["status"] = status prev = state.get(item["key"], {}) prev_status = prev.get("status") last_ts = prev.get("ts", 0) if status == "OK": if prev_status and prev_status != "OK": send_alert( f"✅ {item['title']}: место освободилось\n" f"Заполнение {item['pct']}%" ) state[item["key"]] = {"status": "OK", "pct": item["pct"], "ts": now} continue if status != prev_status or now - last_ts > REPEAT_AFTER: problems.append(item) state[item["key"]] = {"status": status, "pct": item["pct"], "ts": now} if problems: # Одно сообщение на все точки: если порог перешли десять контейнеров, # десять отдельных сообщений — это шум, который перестают читать. problems.sort(key=lambda i: -i["pct"]) lines = [ f"{'🔴' if p['status'] == 'CRITICAL' else '🟠'} " f"{p['title']} — {p['pct']}%" for p in problems ] head = (f"⚠️ Заполнение дисков: порог превышен " f"на {len(problems)} точк(ах)\n\n") tail = ("\n\nЧто делать:\n" "• убрать разросшиеся логи: " "bash /opt/buryan-hub/scripts/fix-logs.sh\n" "• убрать старые образы: docker system prune -a\n" "• расширить диск: pct resize <CT> rootfs +4G") send_alert(head + "\n".join(lines) + tail) write_state(state) save_metrics(items) worst = max(i["pct"] for i in items) print(f"[{datetime.now().isoformat()}] проверено точек: {len(items)}, " f"максимум {worst}%, тревог: {len(problems)}") return 0 if __name__ == "__main__": sys.exit(main())