Mesh: найдена причина падений — пересечение DHCP-пула с серверами и плавающий IP узла
Слабый сигнал исключён: бэкхол Кабинета RSSI -53. Настоящая причина: 1) DHCP-пул главного был 192.168.1.33-152, а серверы занимают 101-161 — клиенты и узлы могли получить занятый адрес (например .108 с n8n); 2) у узла Кабинет не было статического резерва, его IP плавал (.108, .185, .3), из-за чего он «пропадал» для мониторинга и клиентов; 3) на главном было включено автообновление компонентов — оба узла имели одинаковый uptime, то есть перезагружались вместе. Исправлено: пул сужен до .170-.250, добавлен резерв 50:ff:20:ed:de:23 → .3 (через CLI, RCI не умеет), автообновление выключено, каналы закреплены (1 и 11 по 20 МГц, 5 ГГц 36/80). Сторож mesh_watch ищет узлы по MAC через контроллер, уведомляет в Matrix и сам применяет настройки.
This commit is contained in:
1 parent
ebaed39e88
commit
f420e9079b
3 files changed
+195
-85
No files matched your search
+52
-58
@@ -1,74 +1,68 @@
|
||||
# Mesh: почему падали узлы и что сделано
|
||||
# Mesh: поломка найдена и устранена
|
||||
|
||||
## Узлы
|
||||
## Настоящая причина падений
|
||||
|
||||
| Узел | IP | Модель | Роль | Состояние |
|
||||
|---|---|---|---|---|
|
||||
| Главный | 192.168.1.1 | Hopper SE (KN-3812) | контроллер mesh | онлайн |
|
||||
| Кабинет | 192.168.1.3 | Hopper SE | extender, бэкхол 5 ГГц | онлайн |
|
||||
| Родители | 192.168.1.63 | Hopper SE (d4:9c:53:25:cb:2e) | extender | **офлайн** |
|
||||
Не слабый сигнал (бэкхол «Кабинета» — **RSSI −53 dBm**, отлично) и не помехи.
|
||||
|
||||
## Что показала диагностика
|
||||
**DHCP-пул главного роутера был `192.168.1.33 – 192.168.1.152`**, а все
|
||||
серверные адреса лежат в `192.168.1.101 – 192.168.1.161`. То есть DHCP мог
|
||||
выдать клиенту или узлу mesh адрес, который **уже занят сервером**
|
||||
(например `.108` — это CT с n8n, `.107` — MQTT/Kuma).
|
||||
|
||||
### 1. Слабого сигнала нет
|
||||
Бэкхол «Кабинета»: `WifiMaster1/WifiStation0` — **link up**, канал 36,
|
||||
**RSSI −53 dBm** (хорошо). Расстояние и помехи ни при чём.
|
||||
Плюс у узла «Кабинет» **не было статического резерва**: он получал адрес по
|
||||
DHCP и «плавал» — за время диагностики побывал на `.108`, `.185` и `.3`.
|
||||
Когда IP узла меняется, для всех он «падает»: пропадает из мониторинга,
|
||||
у HA рвутся связи, клиенты теряют шлюз.
|
||||
|
||||
### 2. На главном было включено автообновление
|
||||
```
|
||||
components
|
||||
auto-update no disable ← включено
|
||||
auto-update channel stable
|
||||
```
|
||||
Автообновление компонентов KeeneticOS может перезагружать устройство.
|
||||
**Оба узла имели одинаковый uptime (66907 с)** — то есть перезагрузились
|
||||
одновременно. Когда контроллер уходит в перезагрузку, все mesh-узлы теряют
|
||||
бэкхол и «падают» для клиентов.
|
||||
Вторая причина: на главном было **включено автообновление** компонентов
|
||||
(`auto-update no disable`). Оба узла имели одинаковый uptime — то есть
|
||||
перезагружались одновременно, и вся mesh рассыпалась.
|
||||
|
||||
**Исправлено:** `auto-update disable` на главном, конфиг сохранён.
|
||||
На «Кабинете» уже было выключено.
|
||||
## Что исправлено
|
||||
|
||||
### 3. Каналы были вразнобой
|
||||
| | Было | Стало |
|
||||
| # | Проблема | Решение |
|
||||
|---|---|---|
|
||||
| Главный 2,4 ГГц | канал 10, 20 МГц | **1**, 20 МГц |
|
||||
| Кабинет 2,4 ГГц | канал 7, **40 МГц** | **11**, 20 МГц |
|
||||
| Главный 5 ГГц | авто (мог переключиться) | **закреплён 36**, 80 МГц |
|
||||
| 1 | DHCP-пул пересекался с серверами | пул сужен до **192.168.1.170 – 250** |
|
||||
| 2 | У «Кабинета» не было резерва | статический lease **50:ff:20:ed:de:23 → 192.168.1.3** |
|
||||
| 3 | Автообновление на главном | **выключено** (`auto-update disable`) |
|
||||
| 4 | Каналы 2,4 ГГц пересекались | главный **1**, кабинет **11**, ширина **20 МГц** |
|
||||
| 5 | 5 ГГц мог переключаться | закреплён **36 / 80 МГц** |
|
||||
| 6 | Падения никто не видел | ping-мониторы в Kuma + уведомления в Matrix |
|
||||
| 7 | IP мог уплыть незаметно | сторож находит узел **по MAC** через контроллер |
|
||||
|
||||
40 МГц на 2,4 ГГц занимает почти весь диапазон и мешает соседям —
|
||||
это одна из причин нестабильности.
|
||||
«Родители» (`.63`) уже были с резервом `d4:9c:53:25:cb:2e → 192.168.1.63`,
|
||||
поэтому после включения получат правильный адрес.
|
||||
|
||||
### 4. «Родители» физически недоступен
|
||||
Пинг не проходит, в mesh числится как `active: false`, `ip: 0.0.0.0`,
|
||||
`mws-backhaul: false`. Порты и радио молчат. Это не настройка — узел
|
||||
**выключен или потерял питание**.
|
||||
## Как это проверено
|
||||
|
||||
## Что сделано
|
||||
```
|
||||
DHCP-пул: 192.168.1.170 – 192.168.1.250
|
||||
Резервы: d4:9c:…:2e → .63, 50:ff:…:23 → .3
|
||||
Автообновление: disable
|
||||
Главный: 2,4 ГГц 1/20, 5 ГГц 36/80
|
||||
Кабинет: 2,4 ГГц 11/20, 5 ГГц 36/80
|
||||
Кабинет: .3 отвечает
|
||||
Родители: .63 не отвечает (питание)
|
||||
```
|
||||
|
||||
1. **Выключено автообновление** на главном — больше не будет внезапных
|
||||
перезагрузок всей mesh.
|
||||
2. **Закреплены каналы**: 2,4 ГГц — 1 и 11 (не пересекаются), 5 ГГц — 36.
|
||||
3. **Ширина 2,4 ГГц приведена к 20 МГц** на обоих узлах.
|
||||
4. **Мониторинг**: в Uptime Kuma добавлены ping-мониторы
|
||||
`Mesh: Кабинет` и `Mesh: Родители` с уведомлением в Matrix.
|
||||
5. **Сторож** `/opt/hub-core/mesh_watch.py` (cron каждые 5 минут):
|
||||
- сообщает в Matrix, если узел пропал на 2 проверки подряд;
|
||||
- сообщает, когда вернулся, и сколько длилось падение;
|
||||
- **сам настраивает узел**, как только тот появляется в сети
|
||||
(канал 11, ширина 20, автообновление выкл).
|
||||
## Сторож `/opt/hub-core/mesh_watch.py` (cron каждые 5 минут)
|
||||
|
||||
## Если «Родители» не поднимаются
|
||||
1. Находит узел по MAC через `/rci/show/ip/hotspot/host` — даже если IP
|
||||
сменился.
|
||||
2. Если узел пропал на 2 проверки — уведомление в Matrix.
|
||||
3. Когда вернулся — уведомление с длительностью падения.
|
||||
4. Применяет настройки: канал 11, ширина 20, автообновление выкл.
|
||||
|
||||
1. Проверить питание (адаптер, розетка).
|
||||
2. Если питание есть, но узел не в сети — зажать **Reset** на 10 секунд и
|
||||
подключить заново через приложение Keenetic (он подхватит mesh-профиль
|
||||
автоматически).
|
||||
3. После появления сторож применит настройки сам; придёт уведомление
|
||||
в Matrix.
|
||||
## Что осталось за вами
|
||||
|
||||
## Почему «Кабинет» подключён по воздуху
|
||||
1. **Включить «Родителей»** — питание. После включения узел получит `.63`
|
||||
и сторож пришлёт уведомление в Matrix.
|
||||
2. **Кабель в кабинет** — если протянуть Ethernet, узел перестанет делить
|
||||
5 ГГц между бэкхолом и клиентами (сейчас скорость примерно вдвое ниже).
|
||||
|
||||
Ethernet-порты на обоих концах не подняты, бэкхол идёт по 5 ГГц.
|
||||
Это делит радио между бэкхолом и клиентами — скорость примерно вдвое ниже.
|
||||
**Протяжка кабеля в кабинет** — самый большой резерв по стабильности
|
||||
и скорости.
|
||||
## Ловушка для будущего
|
||||
|
||||
Keenetic в режиме extender **сам запрашивает адрес по DHCP** — убрать
|
||||
`ip address dhcp` через RCI не получается (контроллер возвращает его
|
||||
обратно). Правильный путь — **статический резерв на контроллере**, а не
|
||||
отключение DHCP на узле.
|
||||
@@ -0,0 +1,95 @@
|
||||
"""Минимальный telnet-клиент к Keenetic CLI (без telnetlib)."""
|
||||
import re
|
||||
import socket
|
||||
import sys
|
||||
import time
|
||||
|
||||
HOST = sys.argv[1] if len(sys.argv) > 1 else "192.168.1.185"
|
||||
PORT = 23
|
||||
USER = "admin"
|
||||
PASSWORD = "73145146"
|
||||
|
||||
IAC, DONT, DO, WONT, WILL, SB, SE = 255, 254, 253, 252, 251, 250, 240
|
||||
|
||||
|
||||
def negotiate(data, sock):
|
||||
"""Отвечает на telnet-переговоры и вычищает IAC из текста."""
|
||||
out = bytearray()
|
||||
i = 0
|
||||
while i < len(data):
|
||||
b = data[i]
|
||||
if b == IAC and i + 1 < len(data):
|
||||
cmd = data[i + 1]
|
||||
if cmd in (DO, DONT, WILL, WONT) and i + 2 < len(data):
|
||||
opt = data[i + 2]
|
||||
if cmd == DO:
|
||||
sock.sendall(bytes([IAC, WONT, opt]))
|
||||
elif cmd == WILL:
|
||||
sock.sendall(bytes([IAC, DONT, opt]))
|
||||
i += 3
|
||||
continue
|
||||
if cmd == SB:
|
||||
j = data.find(bytes([IAC, SE]), i)
|
||||
i = (j + 2) if j > 0 else len(data)
|
||||
continue
|
||||
i += 2
|
||||
continue
|
||||
out.append(b)
|
||||
i += 1
|
||||
return bytes(out)
|
||||
|
||||
|
||||
class Telnet:
|
||||
def __init__(self, host, port=23):
|
||||
self.s = socket.create_connection((host, port), timeout=15)
|
||||
self.s.settimeout(3)
|
||||
self.buf = b""
|
||||
|
||||
def read(self, wait=1.0):
|
||||
end = time.time() + wait
|
||||
chunks = []
|
||||
while time.time() < end:
|
||||
try:
|
||||
data = self.s.recv(4096)
|
||||
if not data:
|
||||
break
|
||||
chunks.append(negotiate(data, self.s))
|
||||
except socket.timeout:
|
||||
continue
|
||||
except Exception:
|
||||
break
|
||||
self.buf += b"".join(chunks)
|
||||
return self.buf.decode("utf-8", "replace")
|
||||
|
||||
def send(self, line):
|
||||
self.s.sendall(line.encode() + b"\r\n")
|
||||
time.sleep(0.6)
|
||||
return self.read(1.2)
|
||||
|
||||
def close(self):
|
||||
try:
|
||||
self.s.close()
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
|
||||
def main():
|
||||
t = Telnet(HOST, PORT)
|
||||
text = t.read(2.5)
|
||||
print("-- приветствие --")
|
||||
print(text[-300:])
|
||||
|
||||
if re.search(r"login|Login|User", text):
|
||||
print("-- логин --")
|
||||
print(t.send(USER)[-200:])
|
||||
if re.search(r"[Pp]assword", t.buf.decode("utf-8", "replace")[-300:]):
|
||||
print("-- пароль --")
|
||||
print(t.send(PASSWORD)[-300:])
|
||||
|
||||
print("-- кто мы --")
|
||||
print(t.send("show version")[-500:])
|
||||
t.close()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
+48
-27
@@ -1,4 +1,4 @@
|
||||
"""Сторож mesh: следит за узлами, уведомляет и чинит «Родителей» при появлении."""
|
||||
"""Сторож mesh: находит узлы по MAC через контроллер, чинит настройки, уведомляет."""
|
||||
import json
|
||||
import os
|
||||
import subprocess
|
||||
@@ -11,13 +11,15 @@ from keenetic_client import Keenetic # noqa: E402
|
||||
|
||||
STATE = "/var/lib/hub-mesh/state.json"
|
||||
NOTIFY = "http://127.0.0.1:9120/notify"
|
||||
CONTROLLER = "http://192.168.1.1"
|
||||
PASSWORD = "73145146"
|
||||
NODES = {
|
||||
"192.168.1.3": "Кабинет",
|
||||
"192.168.1.63": "Родители",
|
||||
}
|
||||
THRESHOLD = 2
|
||||
|
||||
NODES = {
|
||||
"50:ff:20:ed:de:23": {"name": "Кабинет", "expected": "192.168.1.3"},
|
||||
"d4:9c:53:25:cb:2e": {"name": "Родители", "expected": "192.168.1.63"},
|
||||
}
|
||||
|
||||
|
||||
def ping(ip):
|
||||
r = subprocess.run(["ping", "-c", "2", "-W", "2", ip],
|
||||
@@ -47,13 +49,24 @@ def save(state):
|
||||
json.dump(state, open(STATE, "w", encoding="utf-8"))
|
||||
|
||||
|
||||
def fix_node(ip):
|
||||
"""Приводит узел к нашим настройкам (каналы, ширина, автообновление)."""
|
||||
def resolve(controller, mac):
|
||||
hosts = controller.rci("/rci/show/ip/hotspot/host")
|
||||
for h in hosts if isinstance(hosts, list) else []:
|
||||
if str(h.get("mac", "")).lower() == mac.lower():
|
||||
ip = h.get("ip")
|
||||
if ip and ip != "0.0.0.0":
|
||||
return ip, bool(h.get("active"))
|
||||
return None, False
|
||||
|
||||
|
||||
def fix_node(ip, expected):
|
||||
k = Keenetic(f"http://{ip}", "admin", PASSWORD)
|
||||
ok, _ = k.auth()
|
||||
if not ok:
|
||||
return "нет доступа"
|
||||
acts = []
|
||||
if ip != expected:
|
||||
acts.append(f"IP {ip} (ожидался {expected})")
|
||||
ch = k.rci("/rci/show/interface/WifiMaster0")
|
||||
if ch.get("channel") not in (1, 6, 11):
|
||||
k._req("POST", "/rci/", [{"interface": {"WifiMaster0": {"channel": 11}}}])
|
||||
@@ -65,42 +78,50 @@ def fix_node(ip):
|
||||
if "auto-update no disable" in raw.decode("utf-8", "replace"):
|
||||
k._req("POST", "/rci/", [{"components": {"auto-update": {"disable": {}}}}])
|
||||
acts.append("автообновление выкл")
|
||||
if acts:
|
||||
if acts and any(a.startswith(("канал", "ширина", "авто")) for a in acts):
|
||||
k._req("POST", "/rci/", [{"system": {"configuration": {"save": {}}}}])
|
||||
return ", ".join(acts) or "уже настроен"
|
||||
return ", ".join(acts) or "ок"
|
||||
|
||||
|
||||
def main():
|
||||
state = load()
|
||||
now = time.time()
|
||||
for ip, name in NODES.items():
|
||||
st = state.setdefault(ip, {"down": 0, "notified": False, "fixed": False})
|
||||
alive = ping(ip)
|
||||
|
||||
ctrl = Keenetic(CONTROLLER, "admin", PASSWORD)
|
||||
ok, _ = ctrl.auth()
|
||||
|
||||
for mac, meta in NODES.items():
|
||||
st = state.setdefault(mac, {"down": 0, "notified": False, "fixed": False})
|
||||
name = meta["name"]
|
||||
expected = meta["expected"]
|
||||
|
||||
ip, active = (resolve(ctrl, mac) if ok else (None, False))
|
||||
target = ip or expected
|
||||
alive = ping(target) if target else False
|
||||
if not alive and ip and ip != expected:
|
||||
alive = ping(expected)
|
||||
|
||||
if alive:
|
||||
if st["notified"]:
|
||||
if st.get("notified"):
|
||||
mins = int((now - st.get("down_since", now)) / 60)
|
||||
notify(f"Mesh: {name} снова в сети",
|
||||
f"Узел {ip} отвечает. Падение длилось около "
|
||||
f"{int((now - st.get('down_since', now)) / 60)} мин.")
|
||||
f"Узел {target} отвечает. Падение длилось около {mins} мин.")
|
||||
st["notified"] = False
|
||||
st["down"] = 0
|
||||
if not st.get("fixed"):
|
||||
result = fix_node(ip)
|
||||
if result != "нет доступа":
|
||||
st["fixed"] = True
|
||||
print(f"{ip}: {result}", flush=True)
|
||||
if result != "уже настроен":
|
||||
notify(f"Mesh: {name} настроен",
|
||||
f"Применил настройки: {result}")
|
||||
result = fix_node(target, expected)
|
||||
if result not in ("нет доступа", "ок"):
|
||||
notify(f"Mesh: {name} настроен", f"Применил: {result}")
|
||||
st["fixed"] = True
|
||||
else:
|
||||
st["down"] = st.get("down", 0) + 1
|
||||
if st["down"] == THRESHOLD and not st["notified"]:
|
||||
if st["down"] == THRESHOLD and not st.get("notified"):
|
||||
st["down_since"] = now
|
||||
st["notified"] = True
|
||||
hint = "Проверьте питание и расстояние до главного роутера."
|
||||
notify(f"Mesh: {name} не отвечает",
|
||||
f"Узел {ip} недоступен {THRESHOLD} проверки подряд. "
|
||||
f"Проверьте питание и расстояние до главного роутера.")
|
||||
state[ip] = st
|
||||
f"Узел {expected} недоступен {THRESHOLD} проверки подряд. {hint}")
|
||||
st["last_ip"] = target
|
||||
state[mac] = st
|
||||
save(state)
|
||||
print(json.dumps(state, ensure_ascii=False), flush=True)
|
||||
|
||||
|
||||
Reference in new issue
Block a user