Demucsモデル比較：htdemucs vs htdemucs_ft vs htdemucs_6s

Hybrid Transformerの略です。Demucs v4では、Hybrid Demucs（v3）の最内層を、波形とスペクトログラムを同時に読み取るクロスドメインTransformerエンコーダーに置き換えました。学習曲を800曲追加したことで、論文ではHybrid DemucsよりSDRが0.45 dB向上したと報告されています。

モデルの処理時間だけを比べると、おおよそその通りです。1つではなく、4つのファインチューニング済みモデルを実行するためです。ただし、当サイトでの処理から書き出しまでの総時間は、htdemucsの約1.56倍です。4分の曲では、htdemucs_ftが32.0秒、htdemucsが20.6秒でした。MP3へのエンコードにかかる時間は、どちらも同じだからです。

違いはありません。同じ6パートモデルの2通りの表記です。Demucsリポジトリでの名称はhtdemucs_6sで、このサイトの「6パート」オプションで使われているモデルです。

htdemucs_ftです。論文の表1ではボーカルで9.20 dBに対し、htdemucsは8.93 dBです。カラオケのようにボーカルより伴奏が重要な場合は、通常モデルで十分なことが多いです。htdemucs_6sはこの用途には向きません。追加される音源はギターとピアノだからです。

安定してはいません。著者らはピアノの音源は「うまく機能していない」と述べています。ピアノのない曲で独自に試したところ、ピアノのパートは空で返ってきましたが、ギターのパートは良好でした。ギターにはhtdemucs_6sを使い、ピアノのパートは使用前に試聴して確認してください。どちらも不要な場合はhtdemucsまたはhtdemucs_ftを使ってください。

はい。ログイン済みのアカウントなら、htdemucs、htdemucs_ft、htdemucs_6sのいずれも選択できます。違いは音声1分あたりのクレジット消費量だけで、標準レートの1倍、1.6倍、1.3倍です。

ご自身で実行する場合、READMEでは少なくとも3 GBのGPUメモリが必要とされ、デフォルト設定では約7 GBです。CPUでは、おおよそ曲の長さの1.5倍の時間がかかります。このサイトではhtdemucs、htdemucs_ft、htdemucs_6sはクラウドGPU上で実行されるため、これらは当てはまりません。

作者がMetaを離れたため、元のリポジトリはもうメンテナンスされていないと記載されています。フォークでは重要なバグ修正が行われています。学習済みモデルは影響を受けません。htdemucs、htdemucs_ft、htdemucs_6sは完成した重みであり、このサイトで実行されているのはこれらです。