Files

240 lines
8.5 KiB
Python
Executable File

#!/usr/bin/env python3
# ============================================================
# check_disk.py — контроль заполнения дисков гостей (задача F6-6)
# ============================================================
# Зачем: 14.10.2026 выяснилось, что контейнеры стояли на 86–89%, и никто
# об этом не знал. Пул томов контролировался, а сами диски — нет.
#
# Что проверяет:
# * корневой раздел каждого работающего контейнера;
# * корневой раздел хоста;
# * раздел с резервными копиями.
#
# Как уведомляет: переход через порог — сообщение, возврат в норму —
# сообщение, повтор в том же состоянии — молчание (не чаще раза в сутки).
#
# Запуск по расписанию: ежечасно.
# ============================================================
import json
import os
import subprocess
import sys
import time
from datetime import datetime
WARN = int(os.getenv("THRESH_WARN", "85"))
CRIT = int(os.getenv("THRESH_CRITICAL", "92"))
STATE_FILE = os.getenv("DISK_STATE_FILE", "/var/lib/buryan-monitor/disk-state.json")
TOKENS_FILE = os.getenv("TOKENS_FILE", "/root/bots-tokens.env")
ALERT_CHAT_ID = os.getenv("ALERT_CHAT_ID", "273442500")
TG_PROXY = os.getenv("TG_PROXY", "http://192.168.1.10:10888")
REPEAT_AFTER = 24 * 3600 # повторять напоминание не чаще раза в сутки
PG_HOST = os.getenv("PG_HOST", "192.168.1.151")
PG_DB = os.getenv("PG_DB", "buryan_monitoring")
PG_USER = os.getenv("PG_USER", "buryan_monitor")
def run(cmd, timeout=40):
try:
res = subprocess.run(cmd, capture_output=True, text=True, timeout=timeout)
return res.stdout.strip()
except Exception:
return ""
def guests():
"""Работающие контейнеры: номер и имя."""
out = run(["pct", "list"])
result = []
for line in out.splitlines()[1:]:
parts = line.split()
if len(parts) < 3 or parts[1] != "running":
continue
cid = parts[0]
cfg = run(["pct", "config", cid])
name = cid
for cline in cfg.splitlines():
if cline.startswith("hostname:"):
name = cline.split(":", 1)[1].strip()
result.append((cid, name))
return result
def percent(path):
"""Процент заполнения точки монтирования, либо None."""
if path == "/":
out = run(["df", "-P", "/"])
else:
out = run(["pct", "exec", path[0], "--", "df", "-P", "/"])
for line in out.splitlines():
parts = line.split()
if len(parts) >= 5 and parts[4].endswith("%"):
try:
return int(parts[4].rstrip("%"))
except ValueError:
return None
return None
def status_of(pct):
if pct >= CRIT:
return "CRITICAL"
if pct >= WARN:
return "WARNING"
return "OK"
def collect():
"""Собирает заполнение по всем наблюдаемым точкам."""
items = []
for cid, name in guests():
pct = percent((cid,))
if pct is not None:
items.append({"key": f"ct-{cid}", "title": f"CT {cid} {name}", "pct": pct})
host = percent("/")
if host is not None:
items.append({"key": "pve", "title": "Хост pve", "pct": host})
out = run(["df", "-P", "/mnt/backups"])
for line in out.splitlines():
parts = line.split()
if len(parts) >= 5 and parts[4].endswith("%"):
try:
items.append({"key": "backups", "title": "Раздел копий",
"pct": int(parts[4].rstrip("%"))})
except ValueError:
pass
return items
def read_state():
try:
with open(STATE_FILE) as fh:
return json.load(fh)
except Exception:
return {}
def write_state(state):
os.makedirs(os.path.dirname(STATE_FILE), exist_ok=True)
tmp = STATE_FILE + ".tmp"
with open(tmp, "w") as fh:
json.dump(state, fh)
os.replace(tmp, STATE_FILE)
def alert_token():
try:
with open(TOKENS_FILE) as fh:
for line in fh:
if line.startswith("ALERT_TOKEN="):
return line.split("=", 1)[1].strip()
except Exception:
pass
return ""
def send_alert(text):
"""Отправка через curl: urllib не смог договориться с прокси по TLS."""
token = alert_token()
if not token:
print(f"нет токена бота алертов в {TOKENS_FILE}", file=sys.stderr)
return False
try:
res = subprocess.run(
["curl", "-s", "-m", "25", "-o", "/dev/null", "-w", "%{http_code}",
"-x", TG_PROXY, "-X", "POST",
"--data-urlencode", f"chat_id={ALERT_CHAT_ID}",
"--data-urlencode", f"text={text}",
"--data-urlencode", "parse_mode=HTML",
f"https://api.telegram.org/bot{token}/sendMessage"],
capture_output=True, text=True, timeout=40,
)
return res.stdout.strip() == "200"
except Exception as exc:
print(f"не удалось отправить уведомление: {exc}", file=sys.stderr)
return False
def save_metrics(items):
"""Пишет замеры в базу. Без базы работа продолжается."""
import shutil
if not shutil.which("psql"):
return
values = ",".join(
f"('{i['key']}','{i['title'].replace(chr(39), chr(39) * 2)}',{i['pct']})"
for i in items
)
sql = ("INSERT INTO disk_metrics (guest_key, guest_title, used_percent) "
f"VALUES {values}")
try:
subprocess.run(["psql", "-h", PG_HOST, "-U", PG_USER, "-d", PG_DB, "-c", sql],
capture_output=True, text=True, timeout=30)
except Exception as exc:
print(f"не удалось записать замеры: {exc}", file=sys.stderr)
def main():
items = collect()
if not items:
print("не удалось получить данные о дисках", file=sys.stderr)
return 1
state = read_state()
now = time.time()
problems = []
for item in items:
status = status_of(item["pct"])
item["status"] = status
prev = state.get(item["key"], {})
prev_status = prev.get("status")
last_ts = prev.get("ts", 0)
if status == "OK":
if prev_status and prev_status != "OK":
send_alert(
f"✅ <b>{item['title']}</b>: место освободилось\n"
f"Заполнение {item['pct']}%"
)
state[item["key"]] = {"status": "OK", "pct": item["pct"], "ts": now}
continue
if status != prev_status or now - last_ts > REPEAT_AFTER:
problems.append(item)
state[item["key"]] = {"status": status, "pct": item["pct"], "ts": now}
if problems:
# Одно сообщение на все точки: если порог перешли десять контейнеров,
# десять отдельных сообщений — это шум, который перестают читать.
problems.sort(key=lambda i: -i["pct"])
lines = [
f"{'🔴' if p['status'] == 'CRITICAL' else '🟠'} "
f"<b>{p['title']}</b> — {p['pct']}%"
for p in problems
]
head = (f"⚠️ <b>Заполнение дисков</b>: порог превышен "
f"на {len(problems)} точк(ах)\n\n")
tail = ("\n\nЧто делать:\n"
"• убрать разросшиеся логи: "
"<code>bash /opt/buryan-hub/scripts/fix-logs.sh</code>\n"
"• убрать старые образы: <code>docker system prune -a</code>\n"
"• расширить диск: <code>pct resize &lt;CT&gt; rootfs +4G</code>")
send_alert(head + "\n".join(lines) + tail)
write_state(state)
save_metrics(items)
worst = max(i["pct"] for i in items)
print(f"[{datetime.now().isoformat()}] проверено точек: {len(items)}, "
f"максимум {worst}%, тревог: {len(problems)}")
return 0
if __name__ == "__main__":
sys.exit(main())