257 lines
9.3 KiB
Python
Executable File
257 lines
9.3 KiB
Python
Executable File
#!/usr/bin/env python3
|
|
# ============================================================
|
|
# check_disk.py — контроль заполнения дисков гостей (задача F6-6)
|
|
# ============================================================
|
|
# Зачем: 14.10.2026 выяснилось, что контейнеры стояли на 86–89%, и никто
|
|
# об этом не знал. Пул томов контролировался, а сами диски — нет.
|
|
#
|
|
# Что проверяет:
|
|
# * корневой раздел каждого работающего контейнера;
|
|
# * корневой раздел хоста;
|
|
# * раздел с резервными копиями.
|
|
#
|
|
# Как уведомляет: переход через порог — сообщение, возврат в норму —
|
|
# сообщение, повтор в том же состоянии — молчание (не чаще раза в сутки).
|
|
#
|
|
# Запуск по расписанию: ежечасно.
|
|
# ============================================================
|
|
import json
|
|
import os
|
|
import subprocess
|
|
import sys
|
|
import time
|
|
from datetime import datetime
|
|
|
|
WARN = int(os.getenv("THRESH_WARN", "85"))
|
|
CRIT = int(os.getenv("THRESH_CRITICAL", "92"))
|
|
STATE_FILE = os.getenv("DISK_STATE_FILE", "/var/lib/buryan-monitor/disk-state.json")
|
|
TOKENS_FILE = os.getenv("TOKENS_FILE", "/root/bots-tokens.env")
|
|
ALERT_CHAT_ID = os.getenv("ALERT_CHAT_ID", "273442500")
|
|
TG_PROXY = os.getenv("TG_PROXY", "http://192.168.1.10:10888")
|
|
REPEAT_AFTER = 24 * 3600 # повторять напоминание не чаще раза в сутки
|
|
|
|
PG_HOST = os.getenv("PG_HOST", "192.168.1.151")
|
|
PG_DB = os.getenv("PG_DB", "buryan_monitoring")
|
|
PG_USER = os.getenv("PG_USER", "buryan_monitor")
|
|
|
|
|
|
def run(cmd, timeout=40):
|
|
try:
|
|
res = subprocess.run(cmd, capture_output=True, text=True, timeout=timeout)
|
|
return res.stdout.strip()
|
|
except Exception:
|
|
return ""
|
|
|
|
|
|
def guests():
|
|
"""Работающие контейнеры: номер и имя."""
|
|
out = run(["pct", "list"])
|
|
result = []
|
|
for line in out.splitlines()[1:]:
|
|
parts = line.split()
|
|
if len(parts) < 3 or parts[1] != "running":
|
|
continue
|
|
cid = parts[0]
|
|
cfg = run(["pct", "config", cid])
|
|
name = cid
|
|
for cline in cfg.splitlines():
|
|
if cline.startswith("hostname:"):
|
|
name = cline.split(":", 1)[1].strip()
|
|
result.append((cid, name))
|
|
return result
|
|
|
|
|
|
def percent(path):
|
|
"""Процент заполнения точки монтирования, либо None."""
|
|
if path == "/":
|
|
out = run(["df", "-P", "/"])
|
|
else:
|
|
out = run(["pct", "exec", path[0], "--", "df", "-P", "/"])
|
|
|
|
for line in out.splitlines():
|
|
parts = line.split()
|
|
if len(parts) >= 5 and parts[4].endswith("%"):
|
|
try:
|
|
return int(parts[4].rstrip("%"))
|
|
except ValueError:
|
|
return None
|
|
return None
|
|
|
|
|
|
def status_of(pct):
|
|
if pct >= CRIT:
|
|
return "CRITICAL"
|
|
if pct >= WARN:
|
|
return "WARNING"
|
|
return "OK"
|
|
|
|
|
|
def collect():
|
|
"""Собирает заполнение по всем наблюдаемым точкам."""
|
|
items = []
|
|
for cid, name in guests():
|
|
pct = percent((cid,))
|
|
if pct is not None:
|
|
items.append({"key": f"ct-{cid}", "title": f"CT {cid} {name}", "pct": pct})
|
|
|
|
host = percent("/")
|
|
if host is not None:
|
|
items.append({"key": "pve", "title": "Хост pve", "pct": host})
|
|
|
|
out = run(["df", "-P", "/mnt/backups"])
|
|
for line in out.splitlines():
|
|
parts = line.split()
|
|
if len(parts) >= 5 and parts[4].endswith("%"):
|
|
try:
|
|
items.append({"key": "backups", "title": "Раздел копий",
|
|
"pct": int(parts[4].rstrip("%"))})
|
|
except ValueError:
|
|
pass
|
|
return items
|
|
|
|
|
|
def read_state():
|
|
try:
|
|
with open(STATE_FILE) as fh:
|
|
return json.load(fh)
|
|
except Exception:
|
|
return {}
|
|
|
|
|
|
def write_state(state):
|
|
os.makedirs(os.path.dirname(STATE_FILE), exist_ok=True)
|
|
tmp = STATE_FILE + ".tmp"
|
|
with open(tmp, "w") as fh:
|
|
json.dump(state, fh)
|
|
os.replace(tmp, STATE_FILE)
|
|
|
|
|
|
def alert_token():
|
|
try:
|
|
with open(TOKENS_FILE) as fh:
|
|
for line in fh:
|
|
if line.startswith("ALERT_TOKEN="):
|
|
return line.split("=", 1)[1].strip()
|
|
except Exception:
|
|
pass
|
|
return ""
|
|
|
|
|
|
def send_alert(text):
|
|
"""Единый слой: Matrix основной, Telegram зеркало.
|
|
|
|
Возвращает True, если доставлено хотя бы одним каналом, — чтобы
|
|
вызывающая сторона не повторяла уведомление.
|
|
"""
|
|
try:
|
|
import os as _os
|
|
import sys as _sys
|
|
_sys.path.insert(0, _os.path.dirname(_os.path.abspath(__file__)))
|
|
import notify
|
|
return notify.send(text)
|
|
except Exception as _exc: # noqa: BLE001
|
|
print(f"общий слой уведомлений недоступен, шлю напрямую в Telegram: {_exc}",
|
|
file=sys.stderr)
|
|
return send_alert_telegram(text)
|
|
|
|
def send_alert_telegram(text):
|
|
"""Отправка через curl: urllib не смог договориться с прокси по TLS."""
|
|
token = alert_token()
|
|
if not token:
|
|
print(f"нет токена бота алертов в {TOKENS_FILE}", file=sys.stderr)
|
|
return False
|
|
try:
|
|
res = subprocess.run(
|
|
["curl", "-s", "-m", "25", "-o", "/dev/null", "-w", "%{http_code}",
|
|
"-x", TG_PROXY, "-X", "POST",
|
|
"--data-urlencode", f"chat_id={ALERT_CHAT_ID}",
|
|
"--data-urlencode", f"text={text}",
|
|
"--data-urlencode", "parse_mode=HTML",
|
|
f"https://api.telegram.org/bot{token}/sendMessage"],
|
|
capture_output=True, text=True, timeout=40,
|
|
)
|
|
return res.stdout.strip() == "200"
|
|
except Exception as exc:
|
|
print(f"не удалось отправить уведомление: {exc}", file=sys.stderr)
|
|
return False
|
|
|
|
|
|
def save_metrics(items):
|
|
"""Пишет замеры в базу. Без базы работа продолжается."""
|
|
import shutil
|
|
if not shutil.which("psql"):
|
|
return
|
|
values = ",".join(
|
|
f"('{i['key']}','{i['title'].replace(chr(39), chr(39) * 2)}',{i['pct']})"
|
|
for i in items
|
|
)
|
|
sql = ("INSERT INTO disk_metrics (guest_key, guest_title, used_percent) "
|
|
f"VALUES {values}")
|
|
try:
|
|
subprocess.run(["psql", "-h", PG_HOST, "-U", PG_USER, "-d", PG_DB, "-c", sql],
|
|
capture_output=True, text=True, timeout=30)
|
|
except Exception as exc:
|
|
print(f"не удалось записать замеры: {exc}", file=sys.stderr)
|
|
|
|
|
|
def main():
|
|
items = collect()
|
|
if not items:
|
|
print("не удалось получить данные о дисках", file=sys.stderr)
|
|
return 1
|
|
|
|
state = read_state()
|
|
now = time.time()
|
|
problems = []
|
|
|
|
for item in items:
|
|
status = status_of(item["pct"])
|
|
item["status"] = status
|
|
prev = state.get(item["key"], {})
|
|
prev_status = prev.get("status")
|
|
last_ts = prev.get("ts", 0)
|
|
|
|
if status == "OK":
|
|
if prev_status and prev_status != "OK":
|
|
send_alert(
|
|
f"✅ <b>{item['title']}</b>: место освободилось\n"
|
|
f"Заполнение {item['pct']}%"
|
|
)
|
|
state[item["key"]] = {"status": "OK", "pct": item["pct"], "ts": now}
|
|
continue
|
|
|
|
if status != prev_status or now - last_ts > REPEAT_AFTER:
|
|
problems.append(item)
|
|
|
|
state[item["key"]] = {"status": status, "pct": item["pct"], "ts": now}
|
|
|
|
if problems:
|
|
# Одно сообщение на все точки: если порог перешли десять контейнеров,
|
|
# десять отдельных сообщений — это шум, который перестают читать.
|
|
problems.sort(key=lambda i: -i["pct"])
|
|
lines = [
|
|
f"{'🔴' if p['status'] == 'CRITICAL' else '🟠'} "
|
|
f"<b>{p['title']}</b> — {p['pct']}%"
|
|
for p in problems
|
|
]
|
|
head = (f"⚠️ <b>Заполнение дисков</b>: порог превышен "
|
|
f"на {len(problems)} точк(ах)\n\n")
|
|
tail = ("\n\nЧто делать:\n"
|
|
"• убрать разросшиеся логи: "
|
|
"<code>bash /opt/buryan-hub/scripts/fix-logs.sh</code>\n"
|
|
"• убрать старые образы: <code>docker system prune -a</code>\n"
|
|
"• расширить диск: <code>pct resize <CT> rootfs +4G</code>")
|
|
send_alert(head + "\n".join(lines) + tail)
|
|
|
|
write_state(state)
|
|
save_metrics(items)
|
|
|
|
worst = max(i["pct"] for i in items)
|
|
print(f"[{datetime.now().isoformat()}] проверено точек: {len(items)}, "
|
|
f"максимум {worst}%, тревог: {len(problems)}")
|
|
return 0
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|