diff --git a/ops/media/YANDEX-MUSIC.md b/ops/media/YANDEX-MUSIC.md index 1bc868e..5fc7246 100644 --- a/ops/media/YANDEX-MUSIC.md +++ b/ops/media/YANDEX-MUSIC.md @@ -119,3 +119,53 @@ Navidrome: работает `исполнитель/альбом/`, дальше всё автоматически: скан, граф, плейлисты. 3. **Свободная музыка** — archive.org, Jamendo, Free Music Archive: легально и без подписки. + +--- + +## Подключено и работает + +Токен получен, аккаунт **Роман Бурьян**, Плюс активен, uid 81221846. + +``` +«Мне нравится»: 468 треков +Плейлистов: 3 (новый — 29, Распознано — 4, Мой плейлист — 0) +ATL в лайках: 20 треков +``` + +Скачано 20 треков ATL + 2 тестовых. Navidrome: **22 трека, 13 альбомов, +6 исполнителей, 1 плейлист «Яндекс — Мне нравится» (23 трека)**. +Граф: 13 альбомов, 22 трека, 6 исполнителей, связи «выпустил» и «содержит». + +## Что пришлось починить + +1. **Лайки отдают только id.** `/users/{uid}/likes/tracks` возвращает + `{id, albumId, timestamp}` без названий. Названия — через + `/tracks?track-ids=...` пачками по 100. +2. **Файлы скачивались без тегов** — Navidrome видел «[Unknown Artist]». + Добавлена запись ID3 (mutagen) после скачивания; для старых файлов — + `retag.py`, который размечает по структуре папок. +3. **Инкрементальный скан Navidrome не подхватывал новые файлы.** + Помогает `navidrome scan --full` — теперь это в cron вместо рестарта. +4. **Дубли связей графа.** Добавлен уникальный индекс + `entity_links(from_id, to_id, relation)`, вставка — `ON CONFLICT DO NOTHING`. +5. **Поиск исполнителя по подстроке** давал ложные попадания + (ATL ⊂ «Visions Of Atlantis»). Теперь сравнение по каждому исполнителю + целиком. + +## Команды + +```bash +python3 /opt/hub-core/yandex_music.py --check +python3 /opt/hub-core/yandex_music.py --likes # 468 треков +python3 /opt/hub-core/yandex_music.py --artist ATL # что есть у ATL +python3 /opt/hub-core/yandex_music.py --download-artist ATL +python3 /opt/hub-core/yandex_music.py --download 5 +python3 /opt/hub-core/yandex_music.py --m3u +``` + +Важно: запускать через `/opt/music-tools/venv/bin/python` — там mutagen, +иначе файлы скачаются без тегов. + +## Синхронизация + +`yandex_sync.sh` (cron 05:30): проверка → 5 новых треков → M3U → полный скан. diff --git a/ops/media/core.py b/ops/media/core.py index e970027..a8b1258 100644 --- a/ops/media/core.py +++ b/ops/media/core.py @@ -1946,7 +1946,7 @@ class Handler(BaseHTTPRequestHandler): with db() as con, con.cursor() as cur: cur.execute( """insert into entity_links (from_id, to_id, relation) - values (%s, %s, %s) on conflict do nothing returning id""", + values (%s, %s, %s) on conflict do nothing returning id on conflict (from_id, to_id, relation) do nothing""", (a, b, rel)) row = cur.fetchone() return self._json(201, {"ok": True, "id": row[0] if row else None}) diff --git a/ops/media/tools/retag.py b/ops/media/tools/retag.py new file mode 100644 index 0000000..1a16eea --- /dev/null +++ b/ops/media/tools/retag.py @@ -0,0 +1,52 @@ +"""Перетегирует уже скачанные файлы по структуре папок. + +Ожидает: /mnt/media/music/<исполнитель>/<альбом>/<файл>.mp3 +Теги берутся из пути и имени файла «Исполнитель - Название». +""" +import os +import re + +from mutagen.id3 import ID3, TIT2, TPE1, TALB + +ROOT = "/mnt/media/music" + + +def main(): + fixed, failed = 0, 0 + for artist in sorted(os.listdir(ROOT)): + ap = os.path.join(ROOT, artist) + if not os.path.isdir(ap): + continue + for album in sorted(os.listdir(ap)): + bp = os.path.join(ap, album) + if not os.path.isdir(bp): + continue + for f in sorted(os.listdir(bp)): + if not f.lower().endswith(".mp3"): + continue + path = os.path.join(bp, f) + stem = os.path.splitext(f)[0] + title = stem + if " - " in stem: + title = stem.split(" - ", 1)[1] + try: + try: + tags = ID3(path) + except Exception: + tags = ID3() + tags.delall("TIT2") + tags.delall("TPE1") + tags.delall("TALB") + tags.add(TIT2(encoding=3, text=title)) + tags.add(TPE1(encoding=3, text=artist)) + tags.add(TALB(encoding=3, text=album)) + tags.save(path) + fixed += 1 + except Exception as e: + print(" ошибка:", path, str(e)[:60]) + failed += 1 + print(f" размечено: {fixed}, ошибок: {failed}") + + +if __name__ == "__main__": + main() diff --git a/ops/media/yandex_music.py b/ops/media/yandex_music.py index 0849d9f..336c2ef 100644 --- a/ops/media/yandex_music.py +++ b/ops/media/yandex_music.py @@ -78,7 +78,39 @@ def uid(): return ((result.get("account") or {}).get("uid")), None -def likes(limit=200): +def track_details(ids): + """Пачками тянет детали треков: /tracks?track-ids=...""" + out = {} + ids = [str(i) for i in ids if i] + for i in range(0, len(ids), 100): + chunk = ids[i:i + 100] + data, err = call("/tracks", {"track-ids": ",".join(chunk)}) + if err: + continue + for t in (data or {}).get("result") or []: + artists = ", ".join(a.get("name") for a in (t.get("artists") or [])) + albums = t.get("albums") or [] + album = albums[0].get("title") if albums else "" + out[str(t.get("id"))] = { + "id": t.get("id"), "title": t.get("title"), + "artists": artists, "album": album, + "duration": t.get("durationMs"), + } + return out + + +def artist_match(track_artists, term): + """Точное совпадение по одному из исполнителей (без подстрок вроде Atlantis).""" + term = (term or "").strip().lower() + if not term: + return False + for a in (track_artists or "").split(","): + if a.strip().lower() == term: + return True + return False + + +def likes(limit=1000): u, err = uid() if not u: return None, err or "нет uid" @@ -87,15 +119,16 @@ def likes(limit=200): return None, err result = (data or {}).get("result") or {} tracks = result.get("library", {}).get("tracks") or [] + if not tracks: + return [], None + + ids = [t.get("id") for t in tracks] + details = track_details(ids) out = [] for t in tracks: - tr = t.get("track") or {} - artists = ", ".join(a.get("name") for a in (tr.get("artists") or [])) - albums = tr.get("albums") or [] - album = albums[0].get("title") if albums else "" - out.append({"id": tr.get("id"), "title": tr.get("title"), - "artists": artists, "album": album, - "duration": tr.get("durationMs")}) + d = details.get(str(t.get("id"))) + if d: + out.append(d) return out, None @@ -118,6 +151,32 @@ def safe(name): return re.sub(r'[<>:"/\\|?*]', "_", (name or "unknown")).strip()[:80] +def tag_file(path, title, artists, album, year=None): + """Прописывает ID3-теги (нужен mutagen из venv).""" + try: + from mutagen.id3 import ID3, TIT2, TPE1, TALB, TDRC + except Exception: + return False + try: + try: + tags = ID3(path) + except Exception: + tags = ID3() + tags.delall("TIT2") + tags.delall("TPE1") + tags.delall("TALB") + tags.add(TIT2(encoding=3, text=title or "")) + tags.add(TPE1(encoding=3, text=artists or "")) + if album: + tags.add(TALB(encoding=3, text=album)) + if year: + tags.add(TDRC(encoding=3, text=str(year))) + tags.save(path) + return True + except Exception: + return False + + def download_track(track_id, title, artists, album): """Получить прямой URL и сохранить файл с тегами.""" data, err = call(f"/tracks/{track_id}/download-info") @@ -161,6 +220,8 @@ def download_track(track_id, title, artists, album): f.write(r.read()) except Exception as e: return None, "скачивание: " + str(e)[:60] + + tag_file(dest, title, artists, album) return dest, None @@ -247,6 +308,54 @@ def main(): print(" ни один трек из «Мне нравится» не найден локально") return 0 + if mode == "--artist": + if not token(): + print("нет токена:", TOKEN_FILE) + return 1 + term = (args[1] if len(args) > 1 else "").strip().lower() + if not term: + print("укажите имя: --artist ATL") + return 1 + tracks, err = likes() + if err: + print("ошибка:", err) + return 1 + hits = [t for t in tracks if artist_match(t.get("artists"), term)] + print(f" найдено: {len(hits)}") + for t in hits: + print(f" • {t['artists']} — {t['title']} ({t['album']})") + return 0 + + if mode == "--download-artist": + if not token(): + print("нет токена:", TOKEN_FILE) + return 1 + term = (args[1] if len(args) > 1 else "").strip().lower() + if not term: + print("укажите имя: --download-artist ATL") + return 1 + tracks, err = likes() + if err: + print("ошибка:", err) + return 1 + hits = [t for t in tracks if artist_match(t.get("artists"), term)] + if not hits: + print(" у этого исполнителя нет треков в «Мне нравится»") + return 0 + print(f" треков у {args[1]}: {len(hits)}") + ok, fail = 0, 0 + for t in hits: + path, e = download_track(t["id"], t["title"], t["artists"], t["album"]) + if path: + print(" ✅", os.path.basename(path)[:70]) + ok += 1 + else: + print(" ❌", t["title"][:40], "—", e) + fail += 1 + time.sleep(1) + print(f"\n скачано: {ok}, ошибок: {fail}") + return 0 + if mode == "--download": n = int(args[1]) if len(args) > 1 else 5 if not token(): diff --git a/ops/media/yandex_sync.sh b/ops/media/yandex_sync.sh index 0a82aaf..3e54348 100755 --- a/ops/media/yandex_sync.sh +++ b/ops/media/yandex_sync.sh @@ -3,9 +3,10 @@ set -uo pipefail TOK=/root/.yandex-token [ -s "$TOK" ] || exit 0 +PY=/opt/music-tools/venv/bin/python LOG=/var/log/hub-yandex-sync.log echo "=== $(date -Is) ===" >> "$LOG" -python3 /opt/hub-core/yandex_music.py --check >> "$LOG" 2>&1 -python3 /opt/hub-core/yandex_music.py --download 3 >> "$LOG" 2>&1 -python3 /opt/hub-core/yandex_music.py --m3u >> "$LOG" 2>&1 -pct exec 125 -- docker restart navidrome >> "$LOG" 2>&1 +$PY /opt/hub-core/yandex_music.py --check >> "$LOG" 2>&1 +$PY /opt/hub-core/yandex_music.py --download 5 >> "$LOG" 2>&1 +$PY /opt/hub-core/yandex_music.py --m3u >> "$LOG" 2>&1 +pct exec 125 -- docker exec navidrome navidrome scan --full >> "$LOG" 2>&1