빠른 사실
- 1Prompt engineering 성공률: 실제 사용 사례의 80-90% (고객 지원, 요약, 분류, 데이터 추출).
- 2100만 토큰당 비용 (GPT-5.5): prompt engineering $25, fine-tuning 추론 $50-100.
- 3Fine-tuning 데이터 요구 사항: 최소 100개의 예시, 안정적인 결과를 위해 이상적으로는 500개 이상.
- 4결과까지 소요 시간: Prompt engineering 2시간 (10회 반복), fine-tuning 7일 (데이터 수집 포함).
- 5모델 가용성: Prompt engineering은 GPT-5.5, Claude, Gemini, Llama, 로컬 모델에서 작동합니다. Fine-tuning은 제공업체에 따라 다릅니다.
- 6가역성 비용: Prompt 변경 = $0. Fine-tuning된 모델에서 기본 모델로 마이그레이션 = 전체 시스템 재작성.
이 결정이 중요한 이유
📍 In One Sentence
Prompt engineering은 첫 번째 선택(무료, 즉각적)이고, fine-tuning은 프롬프팅이 실패할 때의 백업 수단(비용 소요, 영구적)입니다.
💬 In Plain Terms
AI에 더 나은 지시를 작성하는 것은 비용이 들지 않고 몇 분밖에 걸리지 않습니다. AI를 훈련하면 수백 또는 수천 달러가 들고 며칠이 소요됩니다. 먼저 저렴한 방법을 시도하십시오.
AI 출력을 개선하는 두 가지 방법이 있습니다: 묻는 방법을 바꾸거나(prompt engineering) AI 자체를 바꾸는 것입니다(fine-tuning). 잘못된 선택은 시간과 비용을 소모합니다. 이 가이드는 올바른 방법을 알려드립니다.
Prompt Engineering이란 무엇입니까?
Prompt engineering은 AI 모델에 명확하고 상세한 지시를 작성하는 것을 의미합니다. "이것을 요약해 줘" 대신 "다음 텍스트를 2-3개의 문장으로 요약하십시오. 주요 결정 사항과 의사결정자에 집중하십시오. 전문 용어는 피하십시오."라고 작성합니다.
모든 prompt는 실험입니다. 시도하고, 출력을 확인하고, 표현을 조정하고, 다시 시도합니다. Prompt engineering은 모델을 훈련하는 것이 아니라 단지 더 잘 소통하는 것이므로 무료입니다.
- 무료: 훈련 비용 없음, 추론(모델 사용) 비용만 발생
- 즉각적: 수 일이나 수 주가 아닌 수 분에서 수 시간 내에 개선 가능
- 되돌릴 수 있음: 나쁜 prompt? 삭제하고 새로운 것을 시도하십시오
- 테스트 가능: 여러 버전을 빠르게 A/B 테스트할 수 있음
- 이식 가능: 동일한 prompt가 다양한 모델에서 자주 작동함
- 모델에 무관: 기법이 독점 모델과 오픈소스 모델 모두에서 일관되게 작동함
Fine-Tuning이란 무엇입니까?
Fine-tuning은 자신의 데이터로 모델을 재훈련하는 것을 의미합니다. 수백 또는 수천 개의 입력과 원하는 출력 예시를 제공하면 모델이 이를 학습합니다. 이는 모델 가중치를 영구적으로 변경합니다.
Fine-tuning은 전체 사례의 10% 이상에 영향을 미치는 체계적인 문제에서 prompt engineering이 실패할 때만 필요합니다. 일반적인 이유: 도메인별 용어, 매우 엄격한 출력 형식, 기본 모델이 본 적 없는 전문화된 추론 패턴.
- 비용 소요: 훈련 실행당 상당한 투자 필요
- 느림: 완료하는 데 상당한 시간 소요
- 영구적: 모델 가중치 변경 — 되돌리기 매우 어려움
- 데이터 집약적: 수백 또는 수천 개의 레이블된 예시 필요
- 비용이 많이 드는 추론: 모델 사용(추론) 비용도 더 높음
- 버전 고정: 각 모델 버전마다 별도의 fine-tuning이 필요할 수 있음
🔍 Fine-Tuning은 RAG가 아닙니다
검색 증강 생성(RAG)과 fine-tuning은 서로 다른 문제를 해결합니다. RAG는 관련 컨텍스트를 prompt에 삽입합니다 — 이는 prompt engineering 기법입니다. Fine-tuning은 모델을 재훈련합니다. RAG를 먼저 사용하십시오. RAG와 prompt engineering 모두 실패할 경우에만 fine-tuning을 수행하십시오.
나란히 비교
| 요소 | Prompt Engineering | Fine-Tuning |
|---|---|---|
| 비용 | $0 (추론 비용만) | 실행당 $500-$5,000+ |
| 속도 | 수 분에서 수 시간 | 수 일에서 수 주 |
| 가역성 | 삭제하고 다시 시작 | 영구적인 변경 |
| 필요한 데이터 | 테스트를 위한 3-10개의 예시 | 100-10,000개 이상의 레이블된 예시 |
| 전문성 | 누구나 할 수 있음 | ML 지식 필요 |
| 모델 이식성 | GPT, Claude, 로컬 모델에서 작동 | 하나의 모델/버전에 고정 |
| 성공률 | 사례의 80-90% 해결 | 나머지 10-20% 해결 |
| 유지보수 | 모델 업데이트 시 prompt 조정 | 버전마다 전체 모델 재훈련 |
| 테스트 | 1시간 내에 10개 버전 테스트 | 10일 내에 10개 버전 테스트 |
| 추론 비용 | 표준 가격 | 맞춤 가격 (보통 더 높음) |
의사결정 흐름도: 각 접근법을 언제 사용합니까
이 흐름도에 따라 prompt engineering 또는 fine-tuning 중 무엇을 사용할지 결정하십시오.
- 1명확한 문제 진술로 시작하십시오. 예: "고객 리뷰를 정확히 2개의 문장으로 요약하십시오."
- 210-20개의 예시 prompt를 작성하고 기본 모델로 10개의 예시를 테스트하십시오. 8/10이 성공하면 중단하십시오. Prompt engineering으로 완료된 것입니다.
- 38/10 미만이 성공하면 prompt 개선을 시도하십시오. 컨텍스트, 예시, 제약 조건, 출력 형식을 추가하십시오. 10개의 테스트 케이스를 다시 실행하십시오.
- 43-5회의 prompt 반복 후에도 성공률이 80% 미만이면 fine-tuning을 고려하십시오.
- 5Fine-tuning을 수행하는 경우: 100-500개의 레이블된 예시(입력-출력 쌍)를 수집하십시오. 맞춤형 모델을 훈련하십시오. 홀드아웃 세트에서 테스트하십시오.
- 6비용 대비 품질 비율이 가장 좋은 접근법을 선택하십시오.
🔍 90% 테스트
스스로에게 물어보십시오: 사례의 90%를 수정해야 합니까, 아니면 10%만 수정해야 합니까? 사례의 90%가 prompt engineering으로 작동한다면 중단하십시오. 90%가 실패한다면 fine-tuning 혼자서는 해결할 수 없는 더 큰 문제가 있습니다.
실제 시나리오 5가지
팀이 직면하는 5가지 현실적인 결정과 각각의 접근 방법입니다.
- 1혼란스러운 PDF에서 구조화된 데이터 추출: 먼저 예시와 함께 prompt engineering을 시도하십시오. 성공률이 85%를 초과하면 중단하십시오. 60%에서 정체되면 도메인별 변형에 대한 fine-tuning을 추가하십시오.
- 2고객 지원 티켓을 카테고리로 분류: 각 카테고리의 예시와 함께 prompt engineering을 사용하십시오. 비용: $0. 노력: 2시간. Fine-tuning은 $1,000+의 비용이 들고 1주일이 소요됩니다.
- 3전문 법률 조항 생성: 기본 모델이 너무 일반적이어서 prompt engineering이 실패합니다. 회사 스타일의 500개 역사적 문서로 fine-tuning을 수행하십시오. 비용 정당성: $2,000.
- 4긴 연구 논문을 핵심 인사이트로 요약: Prompt engineering이 잘 작동합니다. Chain-of-thought prompting + 예시 = 92% 정확도. Fine-tuning이 필요 없습니다.
- 5기술 문서를 평이한 영어로 번역: Prompt engineering + few-shot 예시가 사례의 88%를 커버합니다. 나머지 12%의 엣지 케이스에 fine-tuning을 수행하십시오.
두 가지 모두 사용: 언제 그리고 어떻게 결합합니까
모범 사례: Prompt engineering으로 시작하십시오. 한계에 부딪히면 (약 80-85% 성공률) fine-tuning을 추가하십시오.
워크플로우: Prompt engineering 루프 내에서 fine-tuning된 모델을 사용하십시오. Fine-tuning된 모델이 전문화된 작업을 처리하고, prompt engineer가 컨텍스트와 라우팅 로직을 추가합니다.
- 요청을 라우팅하기 위해 prompt engineering을 사용하십시오: "이것이 법률 문서입니까, 의료 노트입니까, 아니면 재무 보고서입니까?"
- 전문화된 모델을 위해 fine-tuning을 사용하십시오: Fine-tuning된 법률 모델, 의료 모델, 금융 모델.
- 출력 형식을 위해 prompt engineering을 사용하십시오: Fine-tuning된 모델도 명확한 형식 지시에서 이점을 얻습니다.
- 비용을 위해 결합하십시오: 엣지 케이스의 10%에는 fine-tuning을, 90%는 더 저렴한 prompt engineering으로 처리하십시오.
🔍 유지보수 함정
새로운 모델 버전이 출시될 때마다 fine-tuning된 모델은 구식이 됩니다. 재훈련이 필요합니다. Prompt engineering은 조정만 필요합니다. 연간 fine-tuning 재훈련 비용을 예산에 포함하십시오 — 이것이 누적됩니다.
비용 구조 비교
| 제공업체 유형 | Prompt Engineering 비용 | Fine-Tuning 비용 | 추론 비용 |
|---|---|---|---|
| 독점 모델 | 추론당 낮은 비용 | 상당한 초기 투자 | Fine-tuning된 모델에는 더 높음 |
| 오픈소스 클라우드 | 추론당 낮은 비용 | 중간 수준의 투자 | 제공업체에 따라 다름 |
| 자체 호스팅 로컬 | 최소 (자신의 하드웨어) | 하드웨어 비용 + 시간 | 일회성 하드웨어 투자 |
| 하이브리드 접근법 | 낮은 초기 비용 | 시간에 걸쳐 분산 | 균형 잡힌 비용-효과 |
🔍 비용 구조
Prompt engineering 비용은 변동적입니다(추론당). Fine-tuning 비용은 선불(훈련) + 지속적인 추론입니다. 비용-효과 비율은 대부분의 사용 사례에서 prompt engineering을 선호하며, 전문화된 성능이 중요한 경우에만 fine-tuning이 가치를 추가합니다.
5가지 일반적인 실수
❌ Prompt를 테스트하기 전에 fine-tuning 수행
Why it hurts: 팀이 prompt를 진지하게 반복하지 않고 fine-tuning으로 직진합니다. 결과: $0의 prompt engineering으로 해결되었을 때 fine-tuning에 $3,000을 지출합니다.
Fix: 먼저 prompt engineering을 테스트하십시오. 3-5가지 prompt 변형으로 30-50개의 예시를 실행하십시오. 최상의 prompt가 여전히 20% 이상 실패할 경우에만 fine-tuning을 수행하십시오.
❌ 소규모 데이터셋으로 훈련
Why it hurts: 클래스당 20개의 예시로 fine-tuning합니다. 결과: 과적합으로 새로운 예시에서 모델이 실패합니다.
Fix: 카테고리당 최소 100개의 예시를 수집하십시오. 이상적으로는 500개 이상. 훈련과 테스트 분포가 실제 데이터와 일치하는지 확인하십시오.
❌ 추론 비용 무시
Why it hurts: 팀이 fine-tuning 비용($2,000)을 계산하지만 fine-tuning된 모델이 실행하는 데 2-3배 더 많은 비용이 든다는 것을 잊습니다.
Fix: 총 소유 비용을 계산하십시오: 훈련 + (호출당 추론 비용 × 예상 볼륨 × 기간).
❌ 모델 버전 관리 무시
Why it hurts: Fine-tuning된 모델이 잘 작동하다가 GPT-5.5가 업데이트됩니다. Fine-tuning된 모델이 이제 구식이 되어 재훈련이 필요합니다.
Fix: 연간 재훈련 또는 새 모델로의 마이그레이션을 예산에 포함하십시오. 각 fine-tune이 어떤 기본 모델 버전을 위한 것인지 문서화하십시오.
❌ 잘못된 모델의 Fine-tuning
Why it hurts: 작업에 너무 작은 모델을 fine-tuning합니다 (예: 복잡한 추론을 위한 7B 모델).
Fix: 감당할 수 있는 가장 큰 모델로 시작하십시오. 약한 기본 모델을 수정하기 위해서가 아니라 비용을 최적화하기 위해 fine-tuning을 수행하십시오.
자주 묻는 질문
어떤 접근법을 먼저 시도해야 합니까?
항상 prompt engineering으로 시작하십시오. 무료이고, 즉각적이며, 되돌릴 수 있습니다. Prompt engineering이 반복적인 시도에서 실패할 경우에만 fine-tuning으로 전환하십시오.
Fine-tuning을 위한 훈련 데이터는 어떻게 얻습니까?
자신의 예시를 수집하거나, 기존 데이터셋을 사용하거나, 주석 작업자를 고용하십시오. 데이터 품질이 수량보다 중요합니다.
Fine-tuning된 모델을 다시 fine-tuning할 수 있습니까?
기술적으로는 가능하지만 거의 필요하지 않습니다. 일반적으로 최상의 데이터로 한 번 fine-tuning하십시오.
LoRA fine-tuning이란 무엇입니까?
저순위 적응(LoRA)은 모델의 일부만 fine-tuning하여 리소스 및 비용 요구 사항을 줄이는 기법입니다.
로컬에서 fine-tuning해야 합니까, 클라우드에서 해야 합니까?
클라우드 기반 fine-tuning이 더 쉽고 빠릅니다. 로컬 fine-tuning은 데이터 개인 정보와 인프라를 제어할 수 있습니다.
Fine-tuning은 얼마나 걸립니까?
Fine-tuning은 상당한 시간이 걸립니다 — 데이터 크기, 모델 크기, 하드웨어에 따라 수 주에서 수 개월.
Fine-tuning이 도움이 되지 않으면 어떻게 합니까?
기본 모델이 잘못되었거나, 훈련 데이터가 부족하거나, 기대치가 비현실적일 수 있습니다. 먼저 더 큰 모델이나 더 많은 데이터를 시도하십시오.
Prompt engineering과 fine-tuning을 결합할 수 있습니까?
네, 이것이 모범 사례입니다. 핵심 역량을 위해 fine-tuning을, 유연성과 라우팅 로직을 위해 prompt engineering을 사용하십시오.
글로벌 컨텍스트
Prompt engineering과 fine-tuning은 지역에 따라 비용 및 규정 준수 측면이 다릅니다. 미국과 유럽에서는 비용 이점과 규정 단순성으로 인해 prompt engineering이 지배적입니다. 아시아 태평양 시장에서는 기본 모델이 주로 영어로 훈련된 로컬라이제이션 작업(일본어, 중국어, 한국어)에서 fine-tuning이 고유한 이점을 제공합니다.