ローカルモデルの重みをマージするMergekitと代替ツール

ベストピック:Mergekit

Mergekitは、オープンソースであり、最も幅広いマージ手法をサポートし、GPUトレーニングのステップを必要としない(マージ中にソースモデルをメモリに保持できるだけのシステムRAMがあれば十分)ため、ローカルモデルの重みをマージするための標準的な選択肢です。そのため、トレーニング可能なGPUを必要とするフルファインチューニングとは異なり、控えめなデスクトップやノートパソコンでも扱うことができます。

次の場合にMergekitを使ってください:同じベースモデルの2つのファインチューンの挙動を1つに組み合わせたい場合、フルファインチューニングの計算予算がない場合、再トレーニングせずに複数のマージ比率を素早く試したい場合。次の場合は避けてください:組み合わせたいモデルが異なるベースアーキテクチャやパラメータ数を持つ場合。重みレベルのマージには一致する形状が必要です。

モデルマージの仕組み

モデルマージは、同じベースアーキテクチャを共有する2つ以上のモデルの重みを、追加のトレーニングではなく数学的なマージ手法を使って、単一の新しい重みセットへと結合します。マージ中には勾配計算や誤差逆伝播が行われないため、フルファインチューニングが必要とする数時間から数日ではなく、CPU上で数分で処理が完了します。

出力はソースモデルと同じサイズの単一の新しいモデルファイルであり、アダプターや複数ソースをラップしたものではありません。マージ後、結果は推論時に通常の単一モデルとして動作し、複数ソースを組み合わせたことによる追加のレイテンシはありません。

マージ手法の比較

線形平均は最もシンプルな手法です。対応する重みを固定比率でブレンドし、最初の試みとしては妥当ですが、より多くのモデルをブレンドするほど各ソースモデルの独自の強みが薄まる傾向があります。

SLERP(球面線形補間)は、直線ではなく重み空間内の曲線経路に沿って2つのモデルをブレンドします。これは、ちょうど2つのモデルをマージする場合に、単純な線形平均よりも各モデルの特徴を一般的によく保持します。

TIESとDAREは、平均化するのではなくソースモデル間の矛盾する重み更新を解決しようとする、より選択的な手法です。3つ以上のモデルを同時にマージする場合、各ソースモデルの独自の強みを一般的により良く保持します。

より大きなマージ向けのハードウェア

2つの7BモデルのCPUのみでのマージは、32GBのRAMを搭載したマシンで問題なく行えます。より大きなモデル(30B以上)や複数ソースの同時マージは典型的なデスクトップのRAMを超える場合があります。Mergekitはマージのためにソースモデルごとにメモリへ保持する必要があるためです。マージのステップだけのために高RAMのクラウドインスタンスをレンタルする方が、たまにしか行わない作業のために追加のローカルRAMを購入するよりも安く済むことがよくあります。

開示:この記事にはアフィリエイトリンクが含まれています。これらのリンク経由で購入された場合、追加費用なしで当サイトが手数料を得ることがあります。