Qwen 3.5 Abliterated: 의미와 호스팅 옵션

qwen 3.5 abliterated가 의미하는 것

qwen 3.5 abliterated를 검색할 때 사람들은 보통 두 가지 중 하나를 원합니다: 거부 행동이 제거된 Qwen 모델의 다운로드 가능한 체크포인트, 또는 GPU 없이 해당 모델과 대화할 수 있는 방법입니다. 둘 다 타당한 목표이지만 서로 다른 설정으로 이어지므로 초기에 구분하는 것이 도움이 됩니다.

Qwen은 Alibaba가 게시한 오픈 웨이트 언어 모델 계열입니다. 베이스 및 인스트럭트 릴리스는 특정 요청을 거부하도록 학습되었습니다. "Abliterated"는 그러한 거부 행동이 사후에 수술적으로 감소된 변형에 커뮤니티 업로더가 붙인 라벨입니다. 이 이름은 "ablation"과 "obliterated"의 합성어이며 굳어졌습니다.

버전 번호에 대한 주의 사항입니다. 모델 패밀리는 자주 새로운 릴리스를 출시하며, 업로더는 자신이 시작점으로 삼은 베이스에 따라 파일 이름을 지정합니다. 저희는 어떤 정확한 빌드가 최신인지 추적하지 않으며, 이 페이지의 어떤 내용도 저희가 호스팅하는 모델이 특정 Qwen 체크포인트임을 주장하지 않습니다. 저희가 정확히 설명할 수 있는 것은 기법, 실제적인 트레이드오프, 그리고 저희가 운영하는 서비스입니다.

Abliteration 작동 방식

채팅 모델의 거부를 연구하는 연구원들은 거부의 경향이 모델의 내부 활성화 공간에서 단일 방향으로 요약될 수 있음을 발견했습니다. 모델이 거부하는 프롬프트 세트와 수락하는 프롬프트 세트를 입력하고 숨겨진 상태를 비교하면, 그 차이점이 "거부 방향"을 가리킵니다.

Abliteration은 해당 방향을 가져와 모델이 해당 방향으로 작성하지 못하도록 가중치 행렬을 수정합니다. 이 수정은 저장된 가중치에 한 번 적용되는 투영입니다. 대규모 데이터셋에 대한 경사 하강법이 없으므로 한 사람이 단일 기계로 베이스 모델이 등장한 후 몇 시간 내에 수정된 체크포인트를 게시할 수 있습니다.

파인튜닝과의 차이점

파인튜닝은 새로운 예시로 학습해 동작 방식을 변경합니다. 스타일, 페르소나 또는 형식을 가르칠 수 있습니다. Abliteration은 동작을 제거할 뿐, 새로운 것을 추가하지 않습니다. Abliteration이 적용된 모델은 원본과 동일한 어조로 작성하며 동일한 지식을 유지합니다. 다만 대부분의 주저함은 제거됩니다.

많은 공개된 "무검열" 모델은 두 단계를 모두 결합합니다: 먼저 abliterate한 후, 품질 손실을 보완하기 위해 가볍게 파인튜닝합니다. 모델 카드에 어떤 방식을 사용했는지 명시하지 않았다면, 알 수 없다고 가정해야 합니다.

품질 비용

가중치 편집은 무료가 아닙니다. 일부 abliteration된 체크포인트는 추론이나 지시 따르기에서 정확도가 약간 떨어지며, 몇몇은 긴 채팅에서 반복적이거나 캐릭터에서 벗어날 수 있습니다. 품질은 업로더, 방향 제거의 공격적인 정도, 그리고 다운로드한 양자화에 따라 다릅니다. 각 빌드를 독립된 모델로 취급하고 자신의 프롬프트로 테스트해야 합니다.

이 라벨이 품질 보증이 아닌 이유

Abliteration된 업로드용 모델 카드는 릴리스 프로세스가 있는 연구소가 아닌 개인이 작성합니다. "거부 없음" 또는 "원본과 동일한 품질"과 같은 주장은 보통 몇 개의 프롬프트를 기반으로 합니다. 이는 취미에는 적합하지만, 의존하려는 모든 것에 대해서는 증거가 부족합니다.

어떤 빌드를 기반으로 구축하기 전에 현명한 확인 방법: 실제 사용 사례에서 20개의 프롬프트를 작성하고 원래 인스트럭트 모델이 거부했을 몇 가지를 포함하여 실행하고 답변을 읽으세요. 모델이 작업을 얼마나 자주 유지하는지, 긴 시스템 프롬프트를 어떻게 처리하는지, JSON과 같은 형식을 유지하는지 확인하십시오. 이 작은 테스트는 리더보드 숫자보다 더 많은 것을 알려줍니다.

Abliteration된 빌드를 직접 실행하기

완전한 제어를 원한다면 로컬 추론이 합당한 경로입니다. 가중치를 다운로드하고 양자화된 형식을 선택한 후, llama.cpp, Ollama 또는 vLLM과 같은 런타임으로 제공합니다. 모든 것이 로컬에서 처리되며, 원하는 때 언제든지 체크포인트를 교체할 수 있습니다.

비용은 개념적이지 않고 실용적입니다:

• 메모리. 모델과 KV 캐시는 VRAM 또는 빠른 시스템 RAM에 맞아야 합니다. 더 큰 Qwen 변형은 워크스테이션급 하드웨어가 필요하며, 긴 컨텍스트 사용 시 캐시 크기가 급격히 증가합니다.
• 설정 시간. 양자화, 채팅 템플릿 및 샘플러 설정을 선택하려면 시행착오가 필요합니다. 잘못된 채팅 템플릿만으로도 좋은 모델이 깨진 것처럼 보일 수 있습니다.
• 속도. 소비자용 GPU와 CPU 오프로드는 처리량에 맞게 조정된 서버에 비해 토큰을 느리게 생성하며, 이는 배치 작업에 중요합니다.
• 유지보수. 새로운 체크포인트가 지속적으로 나타나므로 다시 다운로드하고 테스트하게 됩니다.

여유 카드가 있는 취미 이용자에게는 즐거운 주말이지만, 애플리케이션 내에서 안정적인 엔드포인트가 필요한 팀에게는 실제 프로젝트와 경쟁하는 사이드 프로젝트입니다. (참고: 현재 카드 결제는 지원하지 않으며, 크립토로만 충전 가능합니다.)

호스팅 대안

하드웨어 없이 거부 없는 응답 동작을 원하는 사람들을 위해 호스팅 API를 제공합니다. 이 API는 독립적인 제공자가 운영하고 합법적인 성인 사용에 콘텐츠 거부 없이 답변하도록 튜닝된 하나의 오픈 웨이트 모델을 제공합니다. OpenAI 호환 인터페이스를 통해 uncensored로 호출합니다.

이것이 무엇이고 무엇이 아닌지 명확히 하십시오. 공식 Qwen API가 아니며 Alibaba나 다른 벤더로 포워딩하는 라우터도 아닙니다. 특정 Qwen 릴리스를 주장하는 모델 카드를 게시하지 않으므로 서비스를 명명된 체크포인트의 대체재로 취급하지 마십시오. 정확한 빌드와 정확한 특성이 필요하다면 로컬에서 실행하십시오.

매일 같은 방식으로 동작하는 무검열 채팅 모델이 필요하고 안정적인 URL이 필요하다면 호스팅이 더 간단합니다. 관련 사실:

• 메서드: POST /v1/chat/completions 및 GET /v1/models.
• 스트리밍, 함수 호출 및 JSON 모드를 지원합니다.
• 프롬프트 및 완성 포함 100,000토큰 컨텍스트 창.
• 텍스트 전용입니다. 이미지, 오디오, 비디오, 임베딩 또는 파인튜닝이 없습니다.
• 프롬프트는 학습에 사용되지 않습니다.
• 한 가지 엄격한 제한 사항: 미성년자가 포함된 성적인 콘텐츠는 허용되지 않습니다.

API 문서은 지원되는 모든 매개변수를 나열하고, 비교 가이드는 토큰별 호스팅이 Qwen 스타일 모델을 얻는 다른 방법과 어떻게 비교되는지 설명합니다.

5줄로 시도해 보세요

인터페이스가 OpenAI 스키마를 따르므로 베이스 URL과 키를 변경한 후 모든 OpenAI SDK가 작동합니다. Python을 사용한 가장 짧은 유용한 예제는 다음과 같습니다:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the idea of abliteration in two sentences."}],
)
print(reply.choices[0].message.content)

curl로 동일한 호출:

Copycurl https://api.qwenabliterated.top/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

키가 접근할 수 있는 목록을 보려면 GET /v1/models를 호출하세요. API 키 페이지에서 키를 생성하세요. 새 계정은 카드 없이도 7일 동안 유효한 무료 체험 크레딧 $0.50을 한 번의 클릭으로 청구할 수 있으며, 이는 몇백 건의 짧은 테스트 요청에 충분합니다.

로컬 또는 호스팅: 결정 목록

다음과 같은 경우 로컬 추론을 선택하십시오:

• 모든 프롬프트를 자체 머신에 보관해야 하며, 네트워크 호출이 전혀 발생하지 않아야 합니다.
• 특정 커뮤니티 체크포인트, 양자화 또는 LoRA가 필요합니다.
• 적합한 GPU를 이미 보유하고 있으며 스택을 조정하는 것을 좋아합니다.

다음과 같은 경우 호스팅 엔드포인트를 선택하십시오:

• 앱이나 봇을 출시해야 하며, 다른 작업을 진행하는 동안에도 URL이 계속 가용 상태를 유지해야 합니다.
• 메모리를 구매하지 않고 긴 컨텍스트 창이 필요합니다.
• 사용 패턴이 급변하므로, 유휴 하드웨어를 소유하는 것보다 토큰당 지불이 더 낫습니다.
• 기존 OpenAI 스타일 클라이언트 코드를 재사용하고 싶습니다.

혼합 접근 방식이 일반적입니다: 호스팅 API에서 프롬프트를 프로토타입한 후 로컬 빌드가 노력에 가치가 있는지 결정합니다. 둘 다 동일한 채팅 형식을 지원하므로 이동하는 것은 주로 베이스 URL을 변경하는 것을 의미합니다.

비용 구조

가격은 선불 크레딧 기준 입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50이며 구독이 없습니다. 실패하거나 거부된 요청에는 요금이 부과되지 않으며 크레딧은 만료되지 않습니다.

작동 예시: 3,000 토큰의 프롬프트와 700 토큰의 답변의 경우 입력 비용은 3,000 x $0.15 / 1M = $0.00045, 출력 비용은 700 x $0.50 / 1M = $0.00035로 총 $0.0008이 발생합니다. 이러한 호출 1,000회의 비용은 $0.80입니다.

충전은 $20에서 $500 사이의 정수 금액으로 가능하며, $50 이상 충전 시 5%, $100 이상 충전 시 10%, $200 이상 충전 시 15%의 보너스를 제공합니다. USDT(TRC20), USDC(Base) 암호화폐로 결제할 수 있습니다. 가격 페이지에서 현재 표를 확인하세요.

더 많은 가이드

• Qwen Abliterated API: 호스팅된 모델 호출, GPU 불필요
• Qwen Abliterated 역할극: 설정 및 API 설정
• Uncensored API 대체재