검열 없는 AI 모델 2026: 필터 없는·비정렬·Abliteration 적용 LLM 완전 가이드

두 사람이 같은 오픈 웨이트 모델을 내려받습니다. 첫 번째 사람이 경계선상의 질문을 하자 정중한 거부 답변이 돌아옵니다. 두 번째 사람은 같은 기반 모델을 수정한 사본을 내려받아 똑같은 질문을 하고, 답변을 받습니다. 구조도 지식도 같지만 동작이 다릅니다. 이 차이가 검열 없는 AI의 전부입니다.

오픈 웨이트 모델이 파일이기 때문에 가능한 일입니다. 호스팅되는 챗봇은 가중치, 시스템 프롬프트, 필터를 다른 사람의 서버에 두므로 대화만 할 수 있습니다. 오픈 웨이트 모델은 가중치를 직접 내려받을 수 있습니다. 누구든 파인튜닝, 병합, 양자화, 편집을 한 뒤 결과물을 공개할 수 있습니다. 거부 동작은 모델이 학습한 것이므로 지우거나 억제할 수 있습니다.

로컬 AI가 이를 현실로 만듭니다. 이제 12B나 24B 모델도 노트북이나 GPU 한 장에서 오프라인으로, 이미 신뢰하는 앱 안에서 돌아갑니다. 2026-11-13 기준 Hugging Face 태그 페이지에는 abliterated 태그 저장소 13,279개, uncensored 16,629개, heretic 7,058개가 있었지만 양자화 버전과 중복이 포함된 수치입니다. 전문 인덱스도 두 곳 있습니다. abliter.cn은 스캔한 저장소 25,796개 중 모델 921개를 보여 주었고, abliteration.org는 19,000개가 넘는 모델의 카탈로그라고 소개합니다. 포함 기준이 달라서 숫자가 같은 대상을 가리키지는 않습니다.

이 주제는 뉴스에서도 다뤄지고 있습니다. Heretic 2.0이 2026-11-01에 출시되어 기존의 단일 방향 기법을 도구의 기본값에서 대체했습니다. WIRED는 2026-11-10에 이 커뮤니티를 다룬 기사를 실었습니다(재게시본만 읽을 수 있어서 보도된 내용으로 인용합니다). 2026-11-05에 공개된 Gemma 4 31B 수정 모델은 거부가 크게 줄었다고 주장하며, 그 수치는 아래에서 살펴봅니다.

이 가이드는 현상에서 출발해 용어, 원리, 도구를 차례로 설명합니다. 한 가지 생각이 글 전체를 관통합니다. 이런 모델을 로컬 앱에서 바꿔 끼울 수 있는 부품으로 보라는 것입니다. 앱은 문서, 음성, 에이전트, 사용하기 쉬운 인터페이스를 제공하고, 모델은 무엇에 답할지를 정합니다. 둘을 조합하면 호스팅 서비스에서는 얻을 수 없는 유연성이 생기지만, 호스팅 서비스가 제공하는 안전망도 사라집니다.

이 용어들은 느슨하게 쓰이며, 그래서 광고와 다르게 동작하는 모델을 내려받게 됩니다. 각 용어가 기술적으로 무엇을 뜻하는지 정리했습니다.

사전 학습(pretraining)은 방대한 말뭉치에서 다음 텍스트를 예측하도록 모델을 가르칩니다. 그 결과 성능은 좋지만 방향성이 없어 거의 무엇이든 이어서 써 내려가는 시스템이 만들어집니다. 이어서 인스트럭션 튜닝과 지도 파인튜닝(SFT)으로 예시 대화를 학습시켜 질문에 도움이 되는 형식으로 답하게 합니다.

선호도 학습이 안전 계층을 더합니다. RLHF(인간 피드백 기반 강화학습)에서는 사람 평가자가 답변을 비교하고, 보상 모델이 그 선호를 학습하며, 모델은 그 방향으로 최적화됩니다. DPO(직접 선호 최적화)는 별도의 보상 모델 없이 비슷한 결과에 도달합니다. 안전 데이터셋은 유해한 요청과 거부 답변을 짝지어, 특정 유형의 요청은 거절해야 한다는 것을 모델이 배우게 합니다. 이것이 거부 학습(refusal training)입니다.

이 동작은 어디에 있을까요? 두 곳입니다. 시스템 프롬프트는 실행 시점에 앞에 붙는 텍스트이며 바꿀 수 있습니다. 모델 가중치 동작은 학습 중에 새겨지므로 가중치를 건드리지 않고는 바꿀 수 없습니다. 시스템 프롬프트만으로는 모델이 답하게 만들지 못하는 경우가 있고, 가중치 편집은 가능한 이유가 여기에 있습니다.

다이어그램은 abliteration을 가능하게 하는 아이디어를 보여 줍니다. 트랜스포머 안에서 모든 레이어는 잔차 스트림이라는 공유된 누적 값을 읽고 씁니다. 연구에 따르면 거부 신호의 상당 부분이 이 스트림의 한 방향을 따라 놓여 있습니다.

과학적 토대는 Arditi et al.(2024)의 “Refusal in Language Models Is Mediated by a Single Direction”(arXiv 2406.11717)입니다. 저자들은 1.8B~72B 파라미터의 오픈 채팅 모델 13개를 테스트했고, 이 모델들에서는 거부가 잔차 스트림의 단일 방향으로 매개된다는 결과를 얻었습니다.

방향을 찾는 방법. 유해한 프롬프트 집합과 무해한 프롬프트 집합으로 모델을 실행하고, 선택한 레이어와 토큰 위치에서 내부 활성화를 기록한 뒤 두 평균의 차이를 계산합니다. 이 평균 차이 벡터가 거부 방향의 후보입니다.

방향을 제거하는 방법. 방향 절제(directional ablation)는 실행 시점에 활성화에서 이 방향을 투영해 제거합니다. 가중치 직교화(weight orthogonalization)는 같은 효과를 영구적으로 얻는 방식입니다. 잔차 스트림에 값을 쓰는 가중치 행렬을 수정해 더 이상 그 방향으로 쓰지 못하게 합니다. 편집된 모델은 재학습이 필요 없고, 파일은 다른 모델과 똑같아 보입니다.

잃는 것. 저자들은 대부분의 벤치마크에서 성능 저하가 작았고 TruthfulQA만 예외로 대략 1~3.5점 일관되게 떨어졌다고 보고합니다. 또한 방향 선택 방법을 휴리스틱이라고 설명합니다. Maxime Labonne의 실전 가이드는 abliteration이 그가 측정한 모든 벤치마크를 낮췄고, DPO “힐링” 단계로 대부분 회복되지만 전부는 아니며, 레이어를 고르는 데 판단이 필요하다고 밝혔습니다.

수치에 대한 주의. 보안 업체 Alice는 모델 5개를 테스트해 abliteration 이후 준수율이 98.0%(550개 프롬프트 중 539개)였고 이전에는 5.8%였다는 보고서와, 6개 모델 계열에서 96-100%였다는 블로그 글을 냈습니다. 이 수치는 업체가 보고한 것이고 LLM 심사자가 채점했으며 동료 심사를 거치지 않았고, 실제 능력 향상이 아니라 답하려는 의지를 측정합니다. 증명이 아니라 하나의 참고 자료로 보세요.

누가 무엇을. Heretic은 Philipp Emanuel Weidmann(GitHub 핸들 p-e-w)이 만든 오픈 소스 명령줄 도구입니다. 사람이 레이어와 강도를 고르게 하는 대신 탐색을 자동화합니다.

기존 방식. Heretic은 TPE 샘플러를 쓰는 하이퍼파라미터 최적화 라이브러리 Optuna로 여러 abliteration 설정을 시도합니다. 교체 가능한 스코어러가 각 시도를 평가합니다. 기본적으로 키워드 스코어러로 거부 횟수를 세고, 무해한 프롬프트에서 원본 모델과의 KL divergence를 측정합니다. 따라서 탐색은 거부를 없애면서 나머지는 최대한 적게 바꾸는 설정을 찾습니다. 모디파이어는 실제로 가중치를 편집하는 구성 요소입니다.

2.0에서 달라진 점. 2.0.0 버전은 2026-11-01에 공개되었고(2.1.0은 2026-11-08), 기본 모디파이어는 이제 Arbitrary-Rank Ablation(ARA)입니다. 투영 abliteration과 노름 보존 옵션이 있는 기존 방향 절제도 계속 쓸 수 있습니다. 이번 릴리스에는 플러그인 시스템, 헤드리스 실행, 플러그인 형태의 BERT 기반 거부 스코어러도 추가되었습니다(기본 스코어러는 여전히 키워드 방식). Heretic 1.x 설정 파일은 2.x에서 동작하지 않습니다.

ARA란. 개발자 본인의 풀 리퀘스트에 따르면 ARA는 거부 방향을 사용하지 않습니다. L-BFGS 최적화기로 모듈별 행렬 편집을 학습하며 목표는 세 가지입니다. 무해한 프롬프트의 출력은 그대로 두고, 유해한 프롬프트의 출력이 무해한 출력과 일치하게 만들고, 기존의 유해한 출력에서는 멀어지게 합니다. 단일 방향은 랭크 1 편집이고, ARA는 더 높은 랭크의 편집을 허용하므로 1차원이 아닌 거부 동작도 포착할 수 있습니다. 전체 설명은 “곧” 나올 프리프린트로 예고된 상태이므로, 품질에 관한 주장은 개발자 본인의 것이며 독립적으로 검증되지 않았습니다.

하드웨어와 트레이드오프. 이 도구는 전체 모델을 불러와 여러 번 시도를 실행하므로, 수정하려는 모델을 돌릴 만큼의 메모리와 시간이 필요합니다. 품질 면의 트레이드오프는 다른 방법과 비슷합니다. 16개 모델에서 4개 도구를 비교한 연구(Young, arXiv 2512.13655, 초록만 확인)는 GSM8K 변화가 +1.5점에서 -18.8점, Heretic의 KL 값이 0.04에서 1.65라고 보고하며, 결과가 모델에 크게 좌우됨을 보여 줍니다.

Abliteration이 유일한 길은 아닙니다. 표는 주요 접근법을 비교합니다. 병합 행은 일부러 신중하게 적었습니다. 병합을 거부 제거 방법으로 문서화한 1차 출처를 찾지 못했습니다.

Dolphin(cognitivecomputations와 새로운 dphn 조직)은 파인튜닝 계열 중 가장 잘 알려져 있습니다. 현재 검증된 항목은 Dolphin-Mistral-24B-Venice-Edition입니다. 모델 카드에 따르면 시스템 프롬프트가 동작을 정하므로, 거부가 전혀 없다고 보장되는 것이 아니라 조종 가능한 모델입니다.

Hermes(NousResearch)는 검열 없는 계열이 아닙니다. Hermes 4 모델은 중립적으로 정렬되어 있고 조종 가능합니다. Nous의 자체 RefusalBench가 Hermes 4.3 36B 카드에 보고한 바에 따르면 이 모델은 테스트 프롬프트의 약 72-75%에 답했고, 즉 약 4분의 1은 여전히 거부합니다. 모든 Hermes 모델을 검열 없는 모델로 분류하지 마세요.

Qwen abliterated 변형이 다운로드를 압도합니다. 검증된 항목 중 가장 많이 내려받은 것은 약 400만 다운로드의 Huihui-Qwen3.8-27B-abliterated입니다. 검색: Hugging Face의 Qwen abliterated.

Gemma abliterated 변형은 가장 새로운 영역입니다. Gemma 4 수정 모델은 일반 abliteration 버전과 Heretic·ARA 버전으로 나와 있습니다. 검색: Gemma abliterated. 그중 Gemma 4 31B ARA 모델은 거부가 크게 줄었다고 주장하며, 아래에서 살펴봅니다.

Llama abliterated 변형은 대부분 오래되었습니다. 2026-11-13에 우리가 확인한 바로는 Llama 3.1과 3.3보다 새로운 버전 중 다운로드 수가 많은 것은 없고, 가장 많이 받은 8B 항목은 2024년 것입니다. 검색: Llama abliterated.

Mistral, DeepSeek, GLM. Mistral Small 3.2 24B abliteration이 있습니다. DeepSeek와 GLM은 최신 모델의 abliterated 버전이 있지만 각각 약 284 GB와 321 GB로 일반 소비자 하드웨어로는 감당할 수 없으며, 실용적인 것은 32B의 이전 DeepSeek R1 distill뿐입니다.

Gemma 4 31B 주장에 대한 비판적 검토. 모델 카드는 거부가 100개 프롬프트 중 99개에서 28개로 줄었다고 보고합니다(Heretic v2.0.0 ARA, KL divergence 0.0845). 상대적으로 72% 감소이지만, 테스트 프롬프트 100개 중 28개는 여전히 탐지기에 걸렸다는 뜻이기도 합니다. 탐지기는 “sorry”, “illegal” 같은 약 34개 키워드 목록이고 100토큰으로 잘린 응답에 적용되므로, 면책 문구가 붙은 유용한 답변도 거부로 집계되고, 이 단어가 없는 회피성 답변은 준수로 집계됩니다. 테스트 세트는 한 데이터셋에서 뽑은 프롬프트 100개이고, 원본은 99/100이었으며, KL 수치는 무해한 프롬프트에서만 측정했기 때문에 성능에 대해서는 아무것도 말해 주지 않습니다. 카드는 재현 가능성을 약속하지만, 재현 파일 스스로 커밋되지 않은 로컬 Heretic 빌드를 사용했다고 경고합니다. 독립적인 평가는 찾지 못했습니다. 같은 기반 모델의 다른 31B 리팩은 KL 0.054에서 10/100을 보고하지만, 저자, 실행, 설정이 다른 결과는 서로 비교할 수 없습니다.

호스팅 플랫폼은 파일 자체를 저장하고 제공합니다. 전문 인덱스는 호스팅 플랫폼을 크롤링해 탐색 계층만 더합니다. 인덱스는 후보를 찾는 데 도움이 되지만 내려받는 파일은 여전히 호스트에서 오므로, 출처에 관한 질문은 언제나 호스트와 제작자에 대한 것입니다.

2026-11-13에 이전 글이 아니라 Hugging Face API와 모델 카드를 기준으로 현재 저장소 10곳을 확인했습니다. 크기는 저장소가 공개한 경우 Q4_K_M GGUF 파일 크기이고, 메모리 수치는 실측이 아니라 우리의 추정치(파일 크기에 런타임과 캐시를 더한 값)입니다. 다운로드 수와 날짜는 계속 바뀌므로 이 표는 스냅샷이며 글과 별도로 갱신해야 합니다.

이것이 중요한 이유는 로컬 AI의 구조에 있습니다. 대부분의 로컬 앱은 고정된 모델을 내장하지 않습니다. 백엔드(주로 Ollama, llama.cpp, OpenAI 호환 서버)에 연결하거나 사용자가 고른 GGUF 파일을 불러옵니다.

자체 리뷰에서도 이 패턴이 여러 범주에 걸쳐 확인됩니다. SillyTavern은 KoboldCpp, text-generation-webui, Ollama, LM Studio에 연결됩니다. Open WebUI는 Ollama나 OpenAI 호환 API 앞단에서 동작합니다. LM Studio는 내장 Hugging Face 브라우저로 GGUF 모델을 실행합니다. AnythingLLM, Msty, Cline은 Ollama나 LM Studio에 연결됩니다. n8n에는 전용 Ollama 노드가 있고, KoboldCpp는 GGUF 파일을 직접 실행합니다. 모델이 하나의 설정이라면 작업마다 중립 모델과 제한 없는 모델을 바꿔 쓸 수 있습니다.

얻는 것. 앱의 기능과 내가 고른 모델을 함께, 오프라인에서, 대화를 읽는 호스팅 사업자 없이 쓸 수 있습니다. 표는 범주별로 이것이 어떻게 나타나는지 보여 줍니다. 사용하는 앱 버전이 커스텀 모델을 받아들이는지 확인한 뒤에 의존하세요. 이 목록은 출발점이지 보장이 아닙니다.

Ollama(ollama.com)는 명령줄 사용자에게 가장 간단한 방법입니다. 이름으로 모델을 받으면 많은 앱이 이해하는 API를 제공합니다. LM Studio(lmstudio.ai)는 그래픽 방식으로, 내장 Hugging Face 브라우저와 로컬 OpenAI 호환 서버를 갖추고 있습니다. llama.cpp(github.com/ggml-org/llama.cpp)는 이런 도구 다수의 기반 엔진이며 GGUF 파일을 직접 실행합니다. Transformers(huggingface.co/docs/transformers)는 Python에서 전체 정밀도의 safetensors 가중치를 불러오며, 연구하거나 모델을 평가·수정하려는 사람에게 맞습니다.

GGUF와 양자화. GGUF는 llama.cpp 기반 도구가 쓰는 단일 파일 형식입니다. 양자화는 더 적은 비트로 가중치를 저장하는 방식이며, Q4_K_M이 일반적인 절충안으로 전체 정밀도 크기의 약 4분의 1에 품질 저하는 크지 않습니다. 더 낮은 양자화는 메모리를 아끼지만 추론과 지시 따르기에 영향을 줄 수 있으므로, 사용하는 파일을 직접 테스트하세요.

하드웨어. Apple Silicon에서는 통합 메모리를 CPU와 GPU가 공유하므로 32 GB Mac에는 약 24-27B 파라미터의 Q4 모델과 컨텍스트를 올릴 수 있습니다. 시스템용으로 몇 GB는 남겨 두세요. NVIDIA GPU에서는 모델이 VRAM에 들어가야 합니다. 24 GB 카드는 위의 24-31B 모델에, 8 GB는 4-9B 모델에 맞습니다. 모델이 들어가지 않으면 레이어가 시스템 RAM으로 넘어가 속도가 급격히 떨어집니다. 정확한 수치는 로컬 LLM에 필요한 VRAM을 참고하세요.

오프라인 동작. 가중치가 디스크에 있으면 이 도구들은 텍스트 생성에 인터넷이 필요 없습니다. 이것이 개인정보 보호의 핵심 논거이자, 어떤 사업자도 로컬 사본에 사용 규칙을 강제할 수 없는 이유입니다.

개념적으로는 가능하며, 예전보다 접근하기 쉬워졌습니다. 워크플로는 개략적으로만 설명합니다.

위험을 이해하는 데 필요한 수준에서만 설명하며, 실행에 관한 세부 정보는 제공하지 않습니다.

제한이 덜한 모델을 옹호하는 가장 강력한 논거는 공정하게 서술할 가치가 있습니다.

반론도 똑같이 현실적입니다. 안전장치는 모델이 심각한 피해를 돕게 될 가능성을 줄이고, 취약한 사용자를 보호하며, 제품에 배포하는 것을 정당화할 수 있게 해 줍니다.

핵심 구분은 텍스트를 생성하는 모델과 명령을 실행하고 파일을 읽고 웹을 탐색하고 다른 시스템과 상호작용할 수 있는 에이전트 사이에 있습니다. 채팅 모델이 해로운 내용을 쓰더라도 그것을 실행에 옮기는 것은 여전히 사람입니다. 같은 모델을 쓰는 에이전트가 행동하면 출력과 결과 사이의 간격이 사라집니다.

오픈 모델의 안전장치는 변조 방지로 만들기 어렵습니다. 위의 abliteration 연구는 한 번의 가중치 편집으로 거부 동작을 억제할 수 있음을 보여 줍니다. 이는 더 강한 모델 수준의 보호와 모델 바깥의 통제를 뒷받침하는 핵심 논거입니다.

네. 로컬 모델에는 사업자 쪽 계층이 없으므로, 모델 주위에 직접 추가합니다.

하나의 답은 없으며, 법률 자문이 아닙니다. 소지, 배포, 사용을 구분해서 물어야 하며, 답은 국가와 모델을 무엇에 쓰는지에 따라 달라질 수 있습니다.

EU AI Act. 규정(EU) 2024/1689는 범용 AI 모델 제공자에게 의무를 부과하며, 오픈 소스 모델에는 부분적 면제가 있지만 시스템 리스크가 있는 모델에는 적용되지 않습니다. 범용 AI 모델에 대한 의무는 2025-08-02부터, 위원회의 집행 권한은 2026-08-02부터 적용됩니다. 위원회의 2025년 가이드라인은 하위 단계의 수정자가 잠정적 연산 기준을 넘을 때만 제공자가 된다고 설명합니다. 우리는 abliteration이 그 기준을 훨씬 밑돈다고 보지만 이 기준은 구속력이 없습니다. 2026년 Digital Omnibus가 범용 AI 날짜를 바꾸었는지는 본문으로 확인하지 못했으므로 현행 조문을 확인하세요.

소지와 사용의 차이. 모델 파일을 소유하는 것은 그것을 범죄에 사용하는 것과 다릅니다. 형사법은 금지된 콘텐츠 생성, 사기, 괴롭힘, 컴퓨터 범죄용으로 설계된 도구 같은 특정 행위에 적용됩니다. 독일 규정은 일부만 검토했으므로 이 가이드를 근거로 삼지 마세요.

라이선스와 계약. 라이선스는 법 위에 규칙을 더합니다. Gemma 4 모델 카드는 Apache-2.0을 표기하고 Gemma 4 라이선스 페이지를 링크하는 반면, 이전 Gemma 세대는 안전 필터 우회를 금지하는 Gemma 약관과 금지 사용 정책을 사용했습니다. 정확한 기반 모델의 라이선스 페이지를 확인하세요. Llama 3.1 라이선스는 파생 모델에 “Built with Llama” 표기와 모델 이름 접두어를 요구하며, 사용을 제한하는 허용 가능한 사용 정책이 있지만 우리가 읽기로는 명시적인 우회 금지 조항은 없습니다. 표에 나열된 Qwen3.5와 Qwen3.8 카드는 Apache-2.0을 표기합니다. 파생 모델뿐 아니라 기반 모델의 라이선스도 항상 읽으세요.

데이터 보호와 저작권. 개인정보를 로컬에서 처리하더라도 데이터 보호법의 적용을 받으며, 기반 모델의 학습 데이터에 관한 저작권 문제는 아직 해결되지 않았습니다. 거부 동작을 없앤다고 해서 어느 쪽도 달라지지 않습니다.

여러 흐름이 그렇다고 가리킵니다. 커뮤니티의 수정 작업은 규모가 크고 커지고 있습니다. 위의 Hugging Face 태그 수는 수천 개 저장소에 이릅니다. 도구는 점점 자동화되고 있습니다. Heretic은 설정을 대신 탐색하고, ARA는 단일 방향을 넘어섭니다. 거부를 제거하는 새로운 기법이 계속 나올 것이고, 안전장치를 제거하기 어렵게 만드는 기법도 마찬가지입니다.

다른 방향으로 작용하는 흐름도 있습니다. 배포자가 정책을 고를 수 있는 구성 가능한 안전 아키텍처, 제한이 덜한 모델을 제공하는 상용 서비스, 점점 더 사용자에게 통제권을 주는 로컬 AI, 아직 형성 중인 규제가 그렇습니다. 오픈 웨이트를 변조 방지로 만들 수 있는지를 둘러싼 논쟁은 계속될 것으로 보입니다.

결론. 오픈 웨이트 AI는 사용자에게 모델 동작에 대한 더 큰 통제권을 주고 있고, 앱 계층이 그 통제를 실용적으로 만듭니다. 하지만 안전장치를 없앤다고 책임이 사라지지는 않습니다. 책임은 모델을 실행하는 사람에게 넘어갑니다.