로컬 모델 가중치를 병합하는 Mergekit과 대안 도구

최선의 선택: Mergekit

Mergekit은 오픈소스이고, 가장 폭넓은 병합 방법을 지원하며, GPU 학습 단계가 필요 없기 때문에(병합 중 소스 모델을 메모리에 유지할 수 있는 충분한 시스템 RAM만 있으면 됨) 로컬 모델 가중치를 병합하는 표준 선택입니다. 이는 학습 가능한 GPU가 필요한 완전한 파인튜닝과 달리, 평범한 데스크톱이나 노트북에서도 사용할 수 있게 해줍니다.

다음의 경우 Mergekit을 사용하십시오: 동일한 기본 모델의 두 파인튜닝 결과의 동작을 하나로 결합하고 싶은 경우, 완전한 파인튜닝을 실행할 컴퓨팅 예산이 없는 경우, 재학습 없이 여러 병합 비율을 빠르게 실험하고 싶은 경우. 다음의 경우 Mergekit을 피하십시오: 결합하려는 모델이 서로 다른 기본 아키텍처나 파라미터 수를 가진 경우 — 가중치 수준의 병합에는 일치하는 형태가 필요합니다.

모델 병합의 작동 방식

모델 병합은 동일한 기본 아키텍처를 공유하는 두 개 이상의 모델의 가중치를, 추가 학습이 아닌 수학적 병합 방법을 사용해 하나의 새로운 가중치 세트로 결합합니다. 병합 중에는 그래디언트 계산이나 역전파가 발생하지 않으므로, 완전한 파인튜닝이 필요로 하는 몇 시간 또는 며칠이 아니라 CPU에서 몇 분 안에 처리가 완료됩니다.

결과물은 소스 모델과 동일한 크기의 단일한 새 모델 파일이며, 어댑터나 여러 소스를 감싸는 래퍼가 아닙니다. 병합이 완료되면 결과는 추론 시 일반적인 단일 모델처럼 동작하며, 여러 소스를 결합했다고 해서 추가 지연이 발생하지 않습니다.

병합 방법 비교

선형 평균은 가장 단순한 방법입니다. 고정된 비율로 대응하는 가중치를 혼합하며, 첫 시도로는 합리적이지만, 더 많은 모델을 함께 혼합할수록 각 소스 모델의 고유한 강점이 희석되는 경향이 있습니다.

SLERP(구면 선형 보간)는 직선이 아닌 가중치 공간 내의 곡선 경로를 따라 두 모델을 혼합하며, 정확히 두 모델을 병합할 때 단순 선형 평균보다 일반적으로 각 모델의 특성을 더 잘 보존합니다.

TIES와 DARE는 평균을 내는 대신 소스 모델 간의 상충하는 가중치 업데이트를 해결하려는 더 선택적인 방법으로, 두 개 이상의 모델을 한 번에 병합할 때 각 소스 모델의 고유한 강점을 일반적으로 더 잘 보존합니다.

대규모 병합을 위한 하드웨어

두 개의 7B 모델을 CPU만으로 병합하는 작업은 RAM 32GB를 갖춘 시스템에서 무리 없이 수행됩니다. 더 큰 모델(30B 이상)이나 여러 소스를 동시에 병합하는 경우 일반적인 데스크톱 RAM을 초과할 수 있습니다. Mergekit은 병합 중 각 소스 모델을 메모리에 유지해야 하기 때문입니다. 병합 단계만을 위해 고용량 RAM 클라우드 인스턴스를 대여하는 것이, 가끔 있는 작업을 위해 추가 로컬 RAM을 구매하는 것보다 저렴한 경우가 많습니다.

공개: 이 글에는 제휴 링크가 포함되어 있습니다. 이 링크를 통해 구매하시면 추가 비용 없이 저희가 수수료를 받을 수 있습니다.