[FIX] Load 190: лимит памяти CT110; отчёт об инциденте
This commit is contained in:
1 parent
83a5fc59bf
commit
02f088aca7
2 files changed
+110
No files matched your search
@@ -106,3 +106,52 @@ thin pool: 77.4%, бэкапы: 76 из 98 ГБ
|
||||
2. **`fstrim` нужен после каждого удаления** — без него место в пуле
|
||||
не освобождается.
|
||||
3. **Порог остановки 82%** — выше начинаются отказы `lvcreate`.
|
||||
|
||||
---
|
||||
|
||||
# Дополнение 04:40 — load average 190 из-за лимита памяти CT110
|
||||
|
||||
## Что произошло
|
||||
|
||||
После ночных задач load average вырос до **190**, `wa` (ожидание I/O)
|
||||
дошёл до 78%, своп-активность — 200 МБ/с. При этом CPU был свободен
|
||||
на 78%: машина не считала, а **ждала диск**.
|
||||
|
||||
## Причина
|
||||
|
||||
`CT110` (office-lxc) имел лимит **2048 МБ и своп 256 МБ**. Внутри —
|
||||
memos, stirling, grocy, vikunja, homebox, monica, beszel, dozzle,
|
||||
monica-db и ещё десяток контейнеров. Использование: **2019 из 2048**,
|
||||
своп **255 из 256**.
|
||||
|
||||
Контейнер постоянно вытеснял страницы в хостовый своп и сразу читал их
|
||||
обратно (thrash). Хостовый своп заполнился до 12.6 ГБ, диск был занят
|
||||
на 78% времени, load рос как сумма ожидающих процессов.
|
||||
|
||||
## Что сделано
|
||||
|
||||
| Действие | Эффект |
|
||||
|---|---|
|
||||
| CT110: память 2048 → **3072**, своп 256 → **768** | внутри 1347/3072, своп 360/768 |
|
||||
| `immich_machine_learning` на хосте остановлен | −2 ядра |
|
||||
| VM104: 8192 → **4096** МБ | своп хоста −1.6 ГБ |
|
||||
| `immich_machine_learning` в VM — уже был остановлен | — |
|
||||
| `vm.swappiness` 20 → 10 | меньше вытеснения |
|
||||
|
||||
**Результат**: load **9.9** (было 190), `wa` 3%, сервисы 75/75.
|
||||
|
||||
## Ловушка
|
||||
|
||||
**Недостаточный лимит памяти LXC не виден по load на хосте.**
|
||||
CT110 показывал «всё работает», но каждую секунду гонял страницы
|
||||
через своп. Симптом на хосте: высокий `load` при свободном CPU
|
||||
и высоком `wa`.
|
||||
|
||||
Проверка: `pct exec <id> -- free -m` — если `used` ≈ `total`,
|
||||
а `swap` заполнен, контейнеру мало памяти.
|
||||
|
||||
## Что осталось
|
||||
|
||||
- Своп хоста всё ещё занят на 11.4 ГБ — это «холодные» страницы,
|
||||
они не мешают, пока не понадобятся.
|
||||
- Стоит проверить остальные CT с лимитом 512 МБ, где занято >90%.
|
||||
@@ -540,3 +540,64 @@ psql: error: connection to server at "192.168.1.151", port 5432 failed: No route
|
||||
[2026-10-21 03:57:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-21 03:58:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-21 03:59:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:00:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:01:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:02:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:03:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:04:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:05:03] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:05:04] отчёт отправлен: отложенных 0, успешно 0, ошибок 0, застряло 0
|
||||
[2026-10-22 03:06:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:07:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:08:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:09:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:10:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:11:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:12:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:13:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:14:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:15:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:16:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:17:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:18:04] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:19:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:20:06] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:21:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:22:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:23:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:24:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:25:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:26:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:27:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:28:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:29:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:30:03] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:31:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:32:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:33:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:34:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:35:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:36:03] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:37:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:38:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:39:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:40:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:41:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:42:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:43:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:44:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:45:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:46:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:47:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:48:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:49:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:50:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:51:03] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:52:03] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:53:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:54:03] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:55:01] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:56:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:57:03] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:58:02] отложенных переведено в одобренные: 1
|
||||
[2026-10-22 03:59:02] отложенных переведено в одобренные: 1
|
||||
Reference in new issue
Block a user