Mesh: найдена причина падений — пересечение DHCP-пула с серверами и плавающий IP узла

Слабый сигнал исключён: бэкхол Кабинета RSSI -53. Настоящая причина:
1) DHCP-пул главного был 192.168.1.33-152, а серверы занимают 101-161 —
   клиенты и узлы могли получить занятый адрес (например .108 с n8n);
2) у узла Кабинет не было статического резерва, его IP плавал (.108, .185, .3),
   из-за чего он «пропадал» для мониторинга и клиентов;
3) на главном было включено автообновление компонентов — оба узла имели
   одинаковый uptime, то есть перезагружались вместе.

Исправлено: пул сужен до .170-.250, добавлен резерв 50:ff:20:ed:de:23 → .3
(через CLI, RCI не умеет), автообновление выключено, каналы закреплены
(1 и 11 по 20 МГц, 5 ГГц 36/80). Сторож mesh_watch ищет узлы по MAC через
контроллер, уведомляет в Matrix и сам применяет настройки.
This commit is contained in:
buryan-agent committed 2026-10-21 10:39:42 +03:00
1 parent ebaed39e88
commit f420e9079b
3 files changed
+195 -85

No files matched your search

+52 -58
View File
@@ -1,74 +1,68 @@
# Mesh: почему падали узлы и что сделано
# Mesh: поломка найдена и устранена
## Узлы
## Настоящая причина падений
| Узел | IP | Модель | Роль | Состояние |
|---|---|---|---|---|
| Главный | 192.168.1.1 | Hopper SE (KN-3812) | контроллер mesh | онлайн |
| Кабинет | 192.168.1.3 | Hopper SE | extender, бэкхол 5 ГГц | онлайн |
| Родители | 192.168.1.63 | Hopper SE (d4:9c:53:25:cb:2e) | extender | **офлайн** |
Не слабый сигнал (бэкхол «Кабинета» — **RSSI −53 dBm**, отлично) и не помехи.
## Что показала диагностика
**DHCP-пул главного роутера был `192.168.1.33 – 192.168.1.152`**, а все
серверные адреса лежат в `192.168.1.101 – 192.168.1.161`. То есть DHCP мог
выдать клиенту или узлу mesh адрес, который **уже занят сервером**
(например `.108` — это CT с n8n, `.107` — MQTT/Kuma).
### 1. Слабого сигнала нет
Бэкхол «Кабинета»: `WifiMaster1/WifiStation0` — **link up**, канал 36,
**RSSI −53 dBm** (хорошо). Расстояние и помехи ни при чём.
Плюс у узла «Кабинет» **не было статического резерва**: он получал адрес по
DHCP и «плавал» — за время диагностики побывал на `.108`, `.185` и `.3`.
Когда IP узла меняется, для всех он «падает»: пропадает из мониторинга,
у HA рвутся связи, клиенты теряют шлюз.
### 2. На главном было включено автообновление
```
components
auto-update no disable ← включено
auto-update channel stable
```
Автообновление компонентов KeeneticOS может перезагружать устройство.
**Оба узла имели одинаковый uptime (66907 с)** — то есть перезагрузились
одновременно. Когда контроллер уходит в перезагрузку, все mesh-узлы теряют
бэкхол и «падают» для клиентов.
Вторая причина: на главном было **включено автообновление** компонентов
(`auto-update no disable`). Оба узла имели одинаковый uptime — то есть
перезагружались одновременно, и вся mesh рассыпалась.
**Исправлено:** `auto-update disable` на главном, конфиг сохранён.
На «Кабинете» уже было выключено.
## Что исправлено
### 3. Каналы были вразнобой
| | Было | Стало |
| # | Проблема | Решение |
|---|---|---|
| Главный 2,4 ГГц | канал 10, 20 МГц | **1**, 20 МГц |
| Кабинет 2,4 ГГц | канал 7, **40 МГц** | **11**, 20 МГц |
| Главный 5 ГГц | авто (мог переключиться) | **закреплён 36**, 80 МГц |
| 1 | DHCP-пул пересекался с серверами | пул сужен до **192.168.1.170 – 250** |
| 2 | У «Кабинета» не было резерва | статический lease **50:ff:20:ed:de:23 → 192.168.1.3** |
| 3 | Автообновление на главном | **выключено** (`auto-update disable`) |
| 4 | Каналы 2,4 ГГц пересекались | главный **1**, кабинет **11**, ширина **20 МГц** |
| 5 | 5 ГГц мог переключаться | закреплён **36 / 80 МГц** |
| 6 | Падения никто не видел | ping-мониторы в Kuma + уведомления в Matrix |
| 7 | IP мог уплыть незаметно | сторож находит узел **по MAC** через контроллер |
40 МГц на 2,4 ГГц занимает почти весь диапазон и мешает соседям —
это одна из причин нестабильности.
«Родители» (`.63`) уже были с резервом `d4:9c:53:25:cb:2e → 192.168.1.63`,
поэтому после включения получат правильный адрес.
### 4. «Родители» физически недоступен
Пинг не проходит, в mesh числится как `active: false`, `ip: 0.0.0.0`,
`mws-backhaul: false`. Порты и радио молчат. Это не настройка — узел
**выключен или потерял питание**.
## Как это проверено
## Что сделано
```
DHCP-пул: 192.168.1.170 – 192.168.1.250
Резервы: d4:9c:…:2e → .63, 50:ff:…:23 → .3
Автообновление: disable
Главный: 2,4 ГГц 1/20, 5 ГГц 36/80
Кабинет: 2,4 ГГц 11/20, 5 ГГц 36/80
Кабинет: .3 отвечает
Родители: .63 не отвечает (питание)
```
1. **Выключено автообновление** на главном — больше не будет внезапных
перезагрузок всей mesh.
2. **Закреплены каналы**: 2,4 ГГц — 1 и 11 (не пересекаются), 5 ГГц — 36.
3. **Ширина 2,4 ГГц приведена к 20 МГц** на обоих узлах.
4. **Мониторинг**: в Uptime Kuma добавлены ping-мониторы
`Mesh: Кабинет` и `Mesh: Родители` с уведомлением в Matrix.
5. **Сторож** `/opt/hub-core/mesh_watch.py` (cron каждые 5 минут):
- сообщает в Matrix, если узел пропал на 2 проверки подряд;
- сообщает, когда вернулся, и сколько длилось падение;
- **сам настраивает узел**, как только тот появляется в сети
(канал 11, ширина 20, автообновление выкл).
## Сторож `/opt/hub-core/mesh_watch.py` (cron каждые 5 минут)
## Если «Родители» не поднимаются
1. Находит узел по MAC через `/rci/show/ip/hotspot/host` — даже если IP
сменился.
2. Если узел пропал на 2 проверки — уведомление в Matrix.
3. Когда вернулся — уведомление с длительностью падения.
4. Применяет настройки: канал 11, ширина 20, автообновление выкл.
1. Проверить питание (адаптер, розетка).
2. Если питание есть, но узел не в сети — зажать **Reset** на 10 секунд и
подключить заново через приложение Keenetic (он подхватит mesh-профиль
автоматически).
3. После появления сторож применит настройки сам; придёт уведомление
в Matrix.
## Что осталось за вами
## Почему «Кабинет» подключён по воздуху
1. **Включить «Родителей»** — питание. После включения узел получит `.63`
и сторож пришлёт уведомление в Matrix.
2. **Кабель в кабинет** — если протянуть Ethernet, узел перестанет делить
5 ГГц между бэкхолом и клиентами (сейчас скорость примерно вдвое ниже).
Ethernet-порты на обоих концах не подняты, бэкхол идёт по 5 ГГц.
Это делит радио между бэкхолом и клиентами — скорость примерно вдвое ниже.
**Протяжка кабеля в кабинет** — самый большой резерв по стабильности
и скорости.
## Ловушка для будущего
Keenetic в режиме extender **сам запрашивает адрес по DHCP** — убрать
`ip address dhcp` через RCI не получается (контроллер возвращает его
обратно). Правильный путь — **статический резерв на контроллере**, а не
отключение DHCP на узле.
+95
View File
@@ -0,0 +1,95 @@
"""Минимальный telnet-клиент к Keenetic CLI (без telnetlib)."""
import re
import socket
import sys
import time
HOST = sys.argv[1] if len(sys.argv) > 1 else "192.168.1.185"
PORT = 23
USER = "admin"
PASSWORD = "73145146"
IAC, DONT, DO, WONT, WILL, SB, SE = 255, 254, 253, 252, 251, 250, 240
def negotiate(data, sock):
"""Отвечает на telnet-переговоры и вычищает IAC из текста."""
out = bytearray()
i = 0
while i < len(data):
b = data[i]
if b == IAC and i + 1 < len(data):
cmd = data[i + 1]
if cmd in (DO, DONT, WILL, WONT) and i + 2 < len(data):
opt = data[i + 2]
if cmd == DO:
sock.sendall(bytes([IAC, WONT, opt]))
elif cmd == WILL:
sock.sendall(bytes([IAC, DONT, opt]))
i += 3
continue
if cmd == SB:
j = data.find(bytes([IAC, SE]), i)
i = (j + 2) if j > 0 else len(data)
continue
i += 2
continue
out.append(b)
i += 1
return bytes(out)
class Telnet:
def __init__(self, host, port=23):
self.s = socket.create_connection((host, port), timeout=15)
self.s.settimeout(3)
self.buf = b""
def read(self, wait=1.0):
end = time.time() + wait
chunks = []
while time.time() < end:
try:
data = self.s.recv(4096)
if not data:
break
chunks.append(negotiate(data, self.s))
except socket.timeout:
continue
except Exception:
break
self.buf += b"".join(chunks)
return self.buf.decode("utf-8", "replace")
def send(self, line):
self.s.sendall(line.encode() + b"\r\n")
time.sleep(0.6)
return self.read(1.2)
def close(self):
try:
self.s.close()
except Exception:
pass
def main():
t = Telnet(HOST, PORT)
text = t.read(2.5)
print("-- приветствие --")
print(text[-300:])
if re.search(r"login|Login|User", text):
print("-- логин --")
print(t.send(USER)[-200:])
if re.search(r"[Pp]assword", t.buf.decode("utf-8", "replace")[-300:]):
print("-- пароль --")
print(t.send(PASSWORD)[-300:])
print("-- кто мы --")
print(t.send("show version")[-500:])
t.close()
if __name__ == "__main__":
main()
+48 -27
View File
@@ -1,4 +1,4 @@
"""Сторож mesh: следит за узлами, уведомляет и чинит «Родителей» при появлении."""
"""Сторож mesh: находит узлы по MAC через контроллер, чинит настройки, уведомляет."""
import json
import os
import subprocess
@@ -11,13 +11,15 @@ from keenetic_client import Keenetic # noqa: E402
STATE = "/var/lib/hub-mesh/state.json"
NOTIFY = "http://127.0.0.1:9120/notify"
CONTROLLER = "http://192.168.1.1"
PASSWORD = "73145146"
NODES = {
"192.168.1.3": "Кабинет",
"192.168.1.63": "Родители",
}
THRESHOLD = 2
NODES = {
"50:ff:20:ed:de:23": {"name": "Кабинет", "expected": "192.168.1.3"},
"d4:9c:53:25:cb:2e": {"name": "Родители", "expected": "192.168.1.63"},
}
def ping(ip):
r = subprocess.run(["ping", "-c", "2", "-W", "2", ip],
@@ -47,13 +49,24 @@ def save(state):
json.dump(state, open(STATE, "w", encoding="utf-8"))
def fix_node(ip):
"""Приводит узел к нашим настройкам (каналы, ширина, автообновление)."""
def resolve(controller, mac):
hosts = controller.rci("/rci/show/ip/hotspot/host")
for h in hosts if isinstance(hosts, list) else []:
if str(h.get("mac", "")).lower() == mac.lower():
ip = h.get("ip")
if ip and ip != "0.0.0.0":
return ip, bool(h.get("active"))
return None, False
def fix_node(ip, expected):
k = Keenetic(f"http://{ip}", "admin", PASSWORD)
ok, _ = k.auth()
if not ok:
return "нет доступа"
acts = []
if ip != expected:
acts.append(f"IP {ip} (ожидался {expected})")
ch = k.rci("/rci/show/interface/WifiMaster0")
if ch.get("channel") not in (1, 6, 11):
k._req("POST", "/rci/", [{"interface": {"WifiMaster0": {"channel": 11}}}])
@@ -65,42 +78,50 @@ def fix_node(ip):
if "auto-update no disable" in raw.decode("utf-8", "replace"):
k._req("POST", "/rci/", [{"components": {"auto-update": {"disable": {}}}}])
acts.append("автообновление выкл")
if acts:
if acts and any(a.startswith(("канал", "ширина", "авто")) for a in acts):
k._req("POST", "/rci/", [{"system": {"configuration": {"save": {}}}}])
return ", ".join(acts) or "уже настроен"
return ", ".join(acts) or "ок"
def main():
state = load()
now = time.time()
for ip, name in NODES.items():
st = state.setdefault(ip, {"down": 0, "notified": False, "fixed": False})
alive = ping(ip)
ctrl = Keenetic(CONTROLLER, "admin", PASSWORD)
ok, _ = ctrl.auth()
for mac, meta in NODES.items():
st = state.setdefault(mac, {"down": 0, "notified": False, "fixed": False})
name = meta["name"]
expected = meta["expected"]
ip, active = (resolve(ctrl, mac) if ok else (None, False))
target = ip or expected
alive = ping(target) if target else False
if not alive and ip and ip != expected:
alive = ping(expected)
if alive:
if st["notified"]:
if st.get("notified"):
mins = int((now - st.get("down_since", now)) / 60)
notify(f"Mesh: {name} снова в сети",
f"Узел {ip} отвечает. Падение длилось около "
f"{int((now - st.get('down_since', now)) / 60)} мин.")
f"Узел {target} отвечает. Падение длилось около {mins} мин.")
st["notified"] = False
st["down"] = 0
if not st.get("fixed"):
result = fix_node(ip)
if result != "нет доступа":
st["fixed"] = True
print(f"{ip}: {result}", flush=True)
if result != "уже настроен":
notify(f"Mesh: {name} настроен",
f"Применил настройки: {result}")
result = fix_node(target, expected)
if result not in ("нет доступа", "ок"):
notify(f"Mesh: {name} настроен", f"Применил: {result}")
st["fixed"] = True
else:
st["down"] = st.get("down", 0) + 1
if st["down"] == THRESHOLD and not st["notified"]:
if st["down"] == THRESHOLD and not st.get("notified"):
st["down_since"] = now
st["notified"] = True
hint = "Проверьте питание и расстояние до главного роутера."
notify(f"Mesh: {name} не отвечает",
f"Узел {ip} недоступен {THRESHOLD} проверки подряд. "
f"Проверьте питание и расстояние до главного роутера.")
state[ip] = st
f"Узел {expected} недоступен {THRESHOLD} проверки подряд. {hint}")
st["last_ip"] = target
state[mac] = st
save(state)
print(json.dumps(state, ensure_ascii=False), flush=True)