diff --git a/ops/media/MULTI-LIBRARY.md b/ops/media/MULTI-LIBRARY.md new file mode 100644 index 0000000..c1a85fe --- /dev/null +++ b/ops/media/MULTI-LIBRARY.md @@ -0,0 +1,69 @@ +# Персональные музыкальные библиотеки + +У каждого пользователя — своя библиотека: свои треки, свой аккаунт Яндекс +Музыки, своя папка. Чужое не видно. + +## Как устроено + +``` +/mnt/media/music/users//<исполнитель>/<альбом>/<трек>.mp3 +/root/.yandex-tokens/.json токен пользователя (600) +/root/.yandex-keys.json персональные ссылки (600) +``` + +Navidrome: отдельная библиотека на пользователя (`library` + `user_library`). + +| Библиотека | Папка | Кому видна | +|---|---|---| +| Общая музыка | /music/shared | всем | +| Музыка roman | /music/users/roman | roman | +| Музыка elena | /music/users/elena | elena | +| … | … | … | + +## Как пользователь подключает свой аккаунт + +Каждому выдаётся персональная ссылка вида +`https://status.buryans.ru/hub/yandex.html?k=<секрет>`. + +1. Пользователь открывает ссылку — ключ определяет его личность. +2. Входит в свой Яндекс и вставляет ссылку с `access_token`. +3. Токен проверяется и сохраняется в `/root/.yandex-tokens/.json`. +4. Ночью `sync_users.py` скачивает его «Мне нравится» в его папку. +5. Navidrome пересканирует — треки появляются только у него. + +Неверный или чужой ключ даёт `403`, токен не сохраняется. + +## Синхронизация + +`sync_users.py` проходит по всем токенам, тянет лайки, раскладывает по +`users//`, затем делает `navidrome scan --full`. + +Cron: ежедневно 05:30, по 3 новых трека на пользователя +(`sync_users.py 3`). Полная синхронизация — запуск без аргумента. + +## Проверка изоляции + +Создал двух тестовых пользователей с паролями и разными библиотеками: + +``` +libtest (библиотека roman) → поиск «ATL»: 5 треков +libtest2 (библиотека elena) → поиск «ATL»: 0 треков +``` + +Оба — через Subsonic API (`/rest/search3.view`). Затем тестовые удалены. + +## Ловушки + +1. **Перенос папок из контейнера не работает** — файлы принадлежат root узла, + в контейнере другой uid. Переносить надо на узле. +2. **Пароли Navidrome шифрует**, а не хранит bcrypt-хешем: вставка пользователя + прямо в базу даёт «Error decrypting user's password». Пользователей надо + создавать через CLI/UI, где шифрование делает сам Navidrome. +3. **CLI требует TTY** для ввода пароля. Работает так: + `printf 'pass\npass\n' | script -q -c "docker exec -i -t navidrome navidrome user create -u test" /dev/null` +4. **`library.path` уникален** — нельзя переиспользовать путь, сначала удалить + старую запись. +5. **Старые записи media_file** остаются при смене пути библиотеки и всплывают + как «библиотека 1: 17 треков». Чистятся удалением по `path like 'users/%'`. +6. **`ON CONFLICT` в SQL** — при ручной правке легко получить два `on conflict` + подряд; проверять `ast.parse` и живой запрос. diff --git a/ops/media/core.py b/ops/media/core.py index a8b1258..4503d36 100644 --- a/ops/media/core.py +++ b/ops/media/core.py @@ -1147,6 +1147,99 @@ def yandex_save(tok): return yandex_status() + + +YANDEX_KEYS = "/root/.yandex-keys.json" +YANDEX_TOKENS_DIR = "/root/.yandex-tokens" +YANDEX_USERS = ["roman", "elena", "polina", "nikita", "daniil", "sergey", "alextest"] + + +def yandex_keys(): + """Ключи-ссылки для пользователей: имя → секрет.""" + import os as _os + import secrets as _sec + if _os.path.exists(YANDEX_KEYS): + try: + return json.load(open(YANDEX_KEYS, encoding="utf-8")) + except Exception: + pass + keys = {u: _sec.token_urlsafe(16) for u in YANDEX_USERS} + with open(YANDEX_KEYS, "w", encoding="utf-8") as f: + json.dump(keys, f, ensure_ascii=False, indent=2) + _os.chmod(YANDEX_KEYS, 0o600) + return keys + + +def yandex_user_by_key(key): + if not key: + return None + for user, k in yandex_keys().items(): + if k == key: + return user + return None + + +def yandex_token_path(user): + import os as _os + _os.makedirs(YANDEX_TOKENS_DIR, exist_ok=True) + return _os.path.join(YANDEX_TOKENS_DIR, user + ".json") + + +def yandex_user_status(user): + import os as _os + import urllib.request as _rq + path = yandex_token_path(user) + if not _os.path.exists(path): + return {"user": user, "has_token": False} + try: + data = json.load(open(path, encoding="utf-8")) + except Exception: + return {"user": user, "has_token": False} + tok = data.get("token") or "" + if not tok: + return {"user": user, "has_token": False} + req = _rq.Request("https://api.music.yandex.net/account/status", + headers={"Authorization": "OAuth " + tok}) + try: + with _rq.urlopen(req, timeout=15) as r: + d = json.loads(r.read() or b"{}") + except Exception as e: + return {"user": user, "has_token": True, "error": str(e)[:100]} + res = d.get("result") or {} + acc = res.get("account") or {} + return {"user": user, "has_token": bool(acc.get("uid")), + "login": acc.get("displayName") or acc.get("login"), + "plus": bool((res.get("plus") or {}).get("hasPlus"))} + + +def yandex_save_for(user, tok): + import os as _os + import urllib.request as _rq + tok = extract_token(tok) + if not tok or len(tok) < 20: + return {"error": "токен слишком короткий"} + req = _rq.Request("https://api.music.yandex.net/account/status", + headers={"Authorization": "OAuth " + tok}) + try: + with _rq.urlopen(req, timeout=15) as r: + d = json.loads(r.read() or b"{}") + except Exception as e: + return {"error": "Яндекс не принял токен: " + str(e)[:80]} + res = d.get("result") or {} + acc = res.get("account") or {} + if not acc.get("uid"): + return {"error": "Яндекс вернул гостевой аккаунт — токен не подходит"} + path = yandex_token_path(user) + payload = {"token": tok, "login": acc.get("displayName") or acc.get("login"), + "uid": acc.get("uid"), + "plus": bool((res.get("plus") or {}).get("hasPlus"))} + with open(path, "w", encoding="utf-8") as f: + json.dump(payload, f, ensure_ascii=False) + _os.chmod(path, 0o600) + return {"user": user, "has_token": True, "login": payload["login"], + "plus": payload["plus"]} + + def render_panel(): """HTML-страница: состояние системы в одном месте.""" try: @@ -1529,6 +1622,24 @@ class Handler(BaseHTTPRequestHandler): return except Exception as e: return self._json(500, {"error": str(e)[:200]}) + if self.path.startswith("/yandex/user-status"): + import urllib.parse as _uy + qs = _uy.parse_qs(self.path.split("?")[1]) if "?" in self.path else {} + user = yandex_user_by_key((qs.get("k") or [""])[0]) + if not user: + return self._json(403, {"error": "неверная ссылка"}) + try: + return self._json(200, yandex_user_status(user)) + except Exception as e: + return self._json(500, {"error": str(e)[:200]}) + if self.path.startswith("/yandex/users"): + out = {} + for u in YANDEX_USERS: + try: + out[u] = yandex_user_status(u) + except Exception as e: + out[u] = {"user": u, "error": str(e)[:60]} + return self._json(200, {"users": out}) if self.path.startswith("/yandex/status"): try: return self._json(200, yandex_status()) @@ -1835,11 +1946,19 @@ class Handler(BaseHTTPRequestHandler): if self.path.startswith("/yandex/save"): try: + key = data.get("key") or "" + user = yandex_user_by_key(key) + if user: + return self._json(200, yandex_save_for(user, data.get("token"))) return self._json(200, yandex_save(data.get("token"))) except Exception as e: return self._json(500, {"error": str(e)[:200]}) if self.path.startswith("/yandex/save"): try: + key = data.get("key") or "" + user = yandex_user_by_key(key) + if user: + return self._json(200, yandex_save_for(user, data.get("token"))) return self._json(200, yandex_save(data.get("token"))) except Exception as e: return self._json(500, {"error": str(e)[:200]}) @@ -1946,7 +2065,9 @@ class Handler(BaseHTTPRequestHandler): with db() as con, con.cursor() as cur: cur.execute( """insert into entity_links (from_id, to_id, relation) - values (%s, %s, %s) on conflict do nothing returning id on conflict (from_id, to_id, relation) do nothing""", + values (%s, %s, %s) + on conflict (from_id, to_id, relation) do nothing + returning id""", (a, b, rel)) row = cur.fetchone() return self._json(201, {"ok": True, "id": row[0] if row else None}) diff --git a/ops/media/graph/yandex.html b/ops/media/graph/yandex.html index e4e1e8f..60b6564 100644 --- a/ops/media/graph/yandex.html +++ b/ops/media/graph/yandex.html @@ -3,127 +3,155 @@ -Токен Яндекс Музыки — Buryans Hub +Моя музыка — Buryans Hub
-

Токен Яндекс Музыки

-
Нужен для синхронизации «Мне нравится» с медиасервером. Пароль мне передавать не нужно — только токен.
+

Моя музыка

+
Подключение личного аккаунта Яндекс Музыки к домашней библиотеке

Состояние

проверяю…
-
-

Как получить токен

-
    -
  1. Откройте ссылку ниже и войдите в свой аккаунт Яндекса.
  2. -
  3. После входа браузер перейдёт на страницу, в адресе которой будет - #access_token=... — это и есть токен.
  4. -
  5. Скопируйте значение после access_token= до & - и вставьте ниже.
  6. -
-

Открыть вход Яндекса

-

Ссылка ведёт на официальный oauth.yandex.ru с клиентом - Яндекс Музыки. Токен даёт доступ к вашему аккаунту музыки, поэтому хранится - только на сервере с правами 600.

+
+

Как подключить

+
+
Способ 1: ссылка
+
Способ 2: из браузера
+
+
+
    +
  1. Нажмите кнопку и войдите в свой Яндекс.
  2. +
  3. Разрешите доступ. Браузер перейдёт на адрес + music.yandex.ru/#access_token=...
  4. +
  5. Скопируйте весь адрес из строки браузера.
  6. +
  7. Вставьте его ниже и нажмите «Сохранить».
  8. +
+

Открыть вход Яндекса

+
+
+
    +
  1. Откройте music.yandex.ru, войдите.
  2. +
  3. F12 → Network → фильтр api.music.yandex.net → F5.
  4. +
  5. Откройте любой запрос → Headers → Authorization: OAuth y0_...
  6. +
  7. Скопируйте всё после OAuth и вставьте ниже.
  8. +
+
-
-

Вставить токен

- +
+

Вставить токен или ссылку

+

+ панель · граф · - агент · - панель + агент

diff --git a/ops/media/sync_users.py b/ops/media/sync_users.py new file mode 100644 index 0000000..f1e4fb9 --- /dev/null +++ b/ops/media/sync_users.py @@ -0,0 +1,155 @@ +"""Синхронизация Яндекс Музыки для всех пользователей. + +У каждого свой токен и своя папка библиотеки: + /root/.yandex-tokens/.json + /mnt/media/music/users// +""" +import json +import os +import subprocess +import sys +import time + +TOKENS = "/root/.yandex-tokens" +MUSIC = "/mnt/media/music/users" +API = "https://api.music.yandex.net" + + +def call(tok, path, params=None): + import urllib.parse + import urllib.request + url = API + path + if params: + url += "?" + urllib.parse.urlencode(params) + req = urllib.request.Request(url, headers={"Authorization": "OAuth " + tok}) + try: + with urllib.request.urlopen(req, timeout=25) as r: + return json.loads(r.read() or b"{}"), None + except Exception as e: + return None, str(e)[:100] + + +def uid_of(tok): + d, err = call(tok, "/account/status") + if err: + return None + return ((d.get("result") or {}).get("account") or {}).get("uid") + + +def likes(tok, limit=1000): + u = uid_of(tok) + if not u: + return [] + d, err = call(tok, f"/users/{u}/likes/tracks", {"limit": limit}) + if err: + return [] + tracks = ((d.get("result") or {}).get("library") or {}).get("tracks") or [] + return tracks + + +def details(tok, ids): + out = {} + ids = [str(i) for i in ids if i] + for i in range(0, len(ids), 100): + d, err = call(tok, "/tracks", {"track-ids": ",".join(ids[i:i + 100])}) + if err: + continue + for t in (d or {}).get("result") or []: + artists = ", ".join(a.get("name") for a in (t.get("artists") or [])) + albums = t.get("albums") or [] + out[str(t.get("id"))] = { + "id": t.get("id"), "title": t.get("title"), "artists": artists, + "album": albums[0].get("title") if albums else "", + } + return out + + +def safe(name): + import re + return re.sub(r'[<>:"/\\|?*]', "_", (name or "unknown")).strip()[:80] + + +def download(tok, track, folder): + d, err = call(tok, f"/tracks/{track['id']}/download-info") + if err: + return None + infos = (d or {}).get("result") or [] + if not infos: + return None + best = sorted(infos, key=lambda i: i.get("bitrateInKbps") or 0)[-1] + url = best.get("downloadInfoUrl") + if not url: + return None + import hashlib + import re + import urllib.request + try: + with urllib.request.urlopen(url, timeout=25) as r: + xml = r.read().decode("utf-8", "replace") + except Exception: + return None + + def field(n): + m = re.search(rf"<{n}>([^<]+)", xml) + return m.group(1) if m else None + + host, path, ts, s = field("host"), field("path"), field("ts"), field("s") + if not all([host, path, ts, s]): + return None + sign = hashlib.md5(("XGRlBW9FXlekgbPrRHuSiA" + path[1:] + s).encode()).hexdigest() + link = f"https://{host}/get-mp3/{sign}/{ts}{path}" + + dest_dir = os.path.join(folder, safe(track["artists"]), safe(track["album"] or "Без альбома")) + os.makedirs(dest_dir, exist_ok=True) + dest = os.path.join(dest_dir, safe(f"{track['artists']} - {track['title']}") + ".mp3") + if os.path.exists(dest): + return dest + try: + req = urllib.request.Request(link, headers={"User-Agent": "Mozilla/5.0"}) + with urllib.request.urlopen(req, timeout=60) as r, open(dest, "wb") as f: + f.write(r.read()) + except Exception: + return None + return dest + + +def main(): + limit = int(sys.argv[1]) if len(sys.argv) > 1 else 0 + if not os.path.isdir(TOKENS): + print("нет токенов") + return 0 + for fname in sorted(os.listdir(TOKENS)): + if not fname.endswith(".json"): + continue + user = fname[:-5] + try: + tok = json.load(open(os.path.join(TOKENS, fname), encoding="utf-8")).get("token") + except Exception: + continue + if not tok: + continue + folder = os.path.join(MUSIC, user) + os.makedirs(folder, exist_ok=True) + raw = likes(tok) + det = details(tok, [t.get("id") for t in raw]) + have = 0 + got = 0 + for t in det.values(): + if limit and got >= limit: + break + path = download(tok, t, folder) + if path: + got += 1 + else: + have += 1 + print(f" {user}: лайков {len(det)}, скачано за проход: {got}, не удалось: {have}") + time.sleep(1) + + subprocess.run(["pct", "exec", "125", "--", "docker", "exec", "navidrome", + "navidrome", "scan", "--full"], capture_output=True, timeout=600) + print(" скан Navidrome выполнен") + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/ops/media/tools/fix_libs2.py b/ops/media/tools/fix_libs2.py new file mode 100644 index 0000000..bdbf372 --- /dev/null +++ b/ops/media/tools/fix_libs2.py @@ -0,0 +1,31 @@ +"""Приводит библиотеки в порядок: общая — library 1, лишняя 9 удаляется.""" +import sqlite3 + +DB = "/var/lib/docker/volumes/navidrome-data/_data/navidrome.db" + +c = sqlite3.connect(DB) +print(" до:") +for r in c.execute("select id, name, path from library order by id"): + print(" ", r) + +# порядок важен: сначала освобождаем путь, потом удаляем лишнюю +c.execute("delete from user_library where library_id = 9") +c.execute("delete from media_file where library_id = 9") +c.execute("delete from library where id = 9") +c.execute("update library set name = 'Общая музыка', path = '/music/shared' where id = 1") +c.commit() + +print("\n после:") +for r in c.execute("select id, name, path from library order by id"): + print(" ", r) + +print("\n доступы:") +for uname, uid in c.execute("select user_name, id from user"): + libs = [r[0] for r in c.execute( + "select library_id from user_library where user_id=?", (uid,))] + print(f" {uname}: {libs}") + +print("\n файлов по библиотекам:") +for r in c.execute("select library_id, count(*) from media_file group by library_id"): + print(" ", r) +c.close() diff --git a/ops/media/tools/libs_db.py b/ops/media/tools/libs_db.py new file mode 100644 index 0000000..e597126 --- /dev/null +++ b/ops/media/tools/libs_db.py @@ -0,0 +1,61 @@ +"""Библиотеки и доступы Navidrome: персональная папка на пользователя.""" +import sqlite3 + +DB = "/var/lib/docker/volumes/navidrome-data/_data/navidrome.db" +USERS = ["roman", "elena", "polina", "nikita", "daniil", "sergey", "alextest"] + + +def main(): + c = sqlite3.connect(DB) + have = {name: lid for lid, name in c.execute("select id, name from library")} + print(" было:", have) + + for u in USERS: + name = "Музыка " + u + path = f"/music/users/{u}" + if name in have: + continue + cur = c.execute( + "insert into library (name, path, created_at, updated_at) " + "values (?, ?, datetime('now'), datetime('now'))", (name, path)) + have[name] = cur.lastrowid + + if "Общая музыка" not in have: + cur = c.execute( + "insert into library (name, path, created_at, updated_at) " + "values (?, ?, datetime('now'), datetime('now'))", ("Общая музыка", "/music/shared")) + have["Общая музыка"] = cur.lastrowid + c.commit() + + print(" библиотеки:") + for lid, name, path in c.execute("select id, name, path from library order by id"): + print(f" {lid}: {name} -> {path}") + + shared_id = have["Общая музыка"] + users = {r[1].lower(): r[0] for r in c.execute("select id, user_name from user")} + c.executemany("delete from user_library where user_id = ?", [(uid,) for uid in users.values()]) + for uname, uid in users.items(): + ids = [shared_id] + lid = have.get("Музыка " + uname) + if lid: + ids.append(lid) + for i in ids: + c.execute("insert or ignore into user_library (user_id, library_id) values (?, ?)", + (uid, i)) + c.commit() + + print("\n доступы:") + for uname, uid in sorted(users.items()): + libs = [r[0] for r in c.execute( + "select library_id from user_library where user_id = ?", (uid,))] + print(f" {uname}: {libs}") + + # сброс кэша сканирования: библиотеки должны быть пересканированы + c.execute("update library set last_scan_at = null") + c.commit() + c.close() + return 0 + + +if __name__ == "__main__": + raise SystemExit(main()) diff --git a/ops/media/tools/make_libraries.py b/ops/media/tools/make_libraries.py new file mode 100644 index 0000000..d02fade --- /dev/null +++ b/ops/media/tools/make_libraries.py @@ -0,0 +1,88 @@ +"""Создаёт персональные библиотеки музыки в Navidrome. + +Для каждого пользователя: папка users/ и своя библиотека. +Существующие файлы переезжают в библиотеку roman (он их скачал). +""" +import os +import shutil +import sqlite3 + +DB = "/var/lib/docker/volumes/navidrome-data/_data/navidrome.db" +MUSIC = "/music" +USERS = ["roman", "elena", "polina", "nikita", "daniil", "sergey", "alextest"] + + +def main(): + # 1. папки + users_root = os.path.join(MUSIC, "users") + os.makedirs(users_root, exist_ok=True) + for u in USERS: + os.makedirs(os.path.join(users_root, u), exist_ok=True) + shared = os.path.join(MUSIC, "shared") + os.makedirs(shared, exist_ok=True) + + # 2. переносим существующие файлы в библиотеку roman + moved = 0 + for name in sorted(os.listdir(MUSIC)): + src = os.path.join(MUSIC, name) + if not os.path.isdir(src) or name in ("users", "shared"): + continue + dst = os.path.join(users_root, "roman", name) + if os.path.exists(dst): + continue + shutil.move(src, dst) + moved += 1 + print(f" перенесено в библиотеку roman: {moved}") + + # 3. библиотеки в базе + c = sqlite3.connect(DB) + have = {r[1]: r[0] for r in c.execute("select id, name from library")} + created = [] + for u in USERS: + name = "Музыка " + u + path = f"/music/users/{u}" + if name in have: + continue + cur = c.execute( + "insert into library (name, path, created_at, updated_at) values (?, ?, datetime('now'), datetime('now'))", + (name, path)) + created.append((cur.lastrowid, name, path)) + if "Общая музыка" not in have: + cur = c.execute( + "insert into library (name, path, created_at, updated_at) values (?, ?, datetime('now'), datetime('now'))", + ("Общая музыка", "/music/shared")) + created.append((cur.lastrowid, "Общая музыка", "/music/shared")) + c.commit() + + print(" созданы библиотеки:") + for lid, name, path in c.execute("select id, name, path from library order by id"): + print(f" {lid}: {name} -> {path}") + + # 4. доступы: каждому своя библиотека + общая + shared_id = c.execute("select id from library where name='Общая музыка'").fetchone()[0] + mapping = {} + for lid, name, path in c.execute("select id, name, path from library where name like 'Музыка %'"): + mapping[name.replace("Музыка ", "")] = lid + users = {r[1].lower(): r[0] for r in c.execute("select id, user_name from user")} + c.executemany("delete from user_library where user_id = ?", + [(uid,) for uid in users.values()]) + for uname, uid in users.items(): + ids = [shared_id] + if uname in mapping: + ids.append(mapping[uname]) + for lid in ids: + c.execute("insert or ignore into user_library (user_id, library_id) values (?, ?)", + (uid, lid)) + c.commit() + + print("\n доступы:") + for uname, uid in sorted(users.items()): + libs = [r[0] for r in c.execute( + "select library_id from user_library where user_id = ?", (uid,))] + print(f" {uname}: {libs}") + c.close() + return 0 + + +if __name__ == "__main__": + raise SystemExit(main())