Qwen 3.5 Abliterated: Co to znaczy i opcje hostowane

Co ludzie mają na myśli mówiąc o qwen 3.5 abliterated

Gdy ktoś szuka qwen 3.5 abliterated, zwykle chce uzyskać jedno z dwóch: pobieralny checkpoint modelu Qwen, z którego usunięto zachowanie odmowy, lub sposób na rozmowę z takim modelem bez posiadania GPU. Oba są rozsądnymi celami i prowadzą do różnych konfiguracji, więc warto je od siebie oddzielić na wczesnym etapie.

Qwen to rodzina modeli językowych o otwartych wagach opublikowana przez Alibaba. Wersje bazowe i instruct są trenowane tak, aby odrzucać pewne zapytania. „Abliterated” to etykieta nadawana przez społeczność na wariant, w którym to zachowanie odrzucenia zostało chirurgicznie zmniejszone post-hoc. Nazwa pochodzi od połączenia słów „ablation” i „obliterated” i się przyjęła.

Uwaga dotycząca numerów wersji. Rodziny modeli często otrzymują nowe wydania, a osoby publikujące nazywają swoje pliki zgodnie z bazą, od której zaczęły. Nie śledzimy, która dokładnie wersja jest najnowsza, a nic na tej stronie nie twierdzi, że nasz model hostowany to konkretny checkpoint Qwen. Możemy jednak dokładnie opisać technikę, praktyczne kompromisy i usługę, którą prowadzimy.

Jak działa abliteracja

Badacze zajmujący się odmową w modelach czatu odkryli, że skłonność do odmowy można w przybliżeniu opisać jako pojedynczy kierunek w wewnętrznej przestrzeni aktywacji modelu. Podaj modelowi zestaw promptów, które odrzuca, i zestaw, które akceptuje, porównaj stany ukryte, a różnica wskaże kierunek „odmowy”.

Abliteracja bierze ten kierunek i edytuje macierze wag, aby model nie mógł już pisać w tym kierunku. Edycja to projekcja zastosowana raz do zapisanych wag. Nie ma tu gradient descent po dużym zbiorze danych, dlatego jedna osoba z jednym komputerem może opublikować zmodyfikowany checkpoint w ciągu kilku godzin od pojawienia się modelu bazowego.

Jak różni się od dostrajania

Dostrajanie zmienia zachowanie poprzez trenowanie na nowych przykładach. Może nauczyć stylu, persony lub formatu. Abliteracja tylko usuwa zachowanie; nic nie dodaje. Model, który został poddany abliteracji, pisze tym samym głosem co oryginał i zachowuje tę samą wiedzę, z wyjątkiem większości wahania.

Wiele opublikowanych modeli „bez cenzury” łączy oba kroki: najpierw abliteracja, a następnie lekkie dostrajanie w celu naprawy utraty jakości. Jeśli karta modelu nie wskazuje, którego użyto, załóż, że nie możesz tego wiedzieć.

Koszt dla jakości

Edycja wag nie jest darmowa. Niektóre checkpointy z abliteracją tracą nieco dokładności w rozumowaniu lub podążaniu za instrukcjami, a niektóre stają się powtarzalne lub tracą charakter w długich rozmowach. Jakość zależy od osoby publikującej, od tego, jak agresywnie usunięto kierunek, oraz od użytej kwantyzacji. Traktuj każdą wersję jako osobny model i przetestuj ją na własnych promptach.

Dlaczego etykieta nie jest gwarancją jakości

Karty modeli dla publikacji z abliteracją są pisane przez indywidualnych twórców, nie przez laboratorium z procesem wydawniczym. Twierdzenia takie jak „brak odmów” lub „ta sama jakość co oryginał” są zwykle oparte na garści promptów. To OK dla hobby, ale to niewystarczające dowody dla czegokolwiek, na czym chcesz polegać.

Rozsądna kontrola przed zbudowaniem czegoś na dowolnej wersji: napisz dwadzieścia promptów ze swojego rzeczywistego przypadku użycia, w tym kilka, które oryginalny model instruct odrzuciłby, uruchom je i przeczytaj odpowiedzi. Zauważ, jak często model trzyma się zadania, jak radzi sobie z długim promptem systemowym i czy zachowuje format taki jak JSON. Ten mały test powie Ci więcej niż liczba z rankingu.

Uruchomienie wersji abliterowanej własnymi rękami

Jeśli chcesz pełnej kontroli, wnioskowanie lokalne jest słuszną ścieżką. Pobierasz wagi, wybierasz format kwantyzowany i serwujesz je za pomocą środowiska wykonawczego takiego jak llama.cpp, Ollama lub vLLM. Nic nie opuszcza Twojej maszyny, a checkpointy możesz wymieniać, kiedy chcesz.

Koszty są praktyczne, a nie koncepcyjne:

• Pamięć. Model i jego bufor KV muszą zmieścić się w VRAM lub szybkiej pamięci RAM. Większe warianty Qwen wymagają sprzętu klasy workstation, a długie konteksty drastycznie zwiększają rozmiar bufora.
• Czas konfiguracji. Wybór kwantyzacji, szablonu czatu i ustawień samplera wymaga metody prób i błędów. Sam niewłaściwy szablon czatu może sprawić, że dobry model będzie wyglądał na uszkodzony.
• Prędkość. Konsumenckie karty graficzne i odciążanie na CPU generują tokeny wolno w porównaniu do serwerów dostrojonych pod kątem przepustowości, co ma znaczenie przy zadaniach wsadowych.
• Konserwacja. Pojawiają się nowe checkpointy stale, więc kończy się na ponownym pobieraniu i ponownym testowaniu.

Dla hobbysty z dodatkową kartą graficzną to miły weekendowy projekt. Dla zespołu, który potrzebuje stabilnego endpointu w aplikacji, to projekt poboczny konkurujący z tym głównym.

Alternatywa hostowana

Zapewniamy endpoint hostowany dla osób, które chcą uzyskać zachowanie modelu bez konieczności posiadania sprzętu. Serwis obsługuje jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę i dostrojony do odpowiadania bez odmów treści dla użytkowników pełnoletnich. Wywołujesz go jako uncensored przez interfejs kompatybilny z OpenAI.

Bądź jasny co do tego, czym to jest, a czym nie. To nie jest oficjalne API Qwen i nie jest to router, który przekierowuje do Alibaba lub innego dostawcy. Nie publikujemy karty modelu twierdzącej o konkretnym wydaniu Qwen, więc nie traktuj usługi jako zamiennika dla jednego, nazwanego checkpointa. Jeśli potrzebujesz dokładnie tej wersji, z jej dokładnymi specyficznymi cechami, uruchom ją lokalnie.

Jeśli potrzebujesz modelu czatu bez cenzury, który zachowuje się tak samo każdego dnia, ze stabilnym URL, hostowanie jest prostsze. Istotne fakty:

• Metody: POST /v1/chat/completions i GET /v1/models.
• Obsługiwane są strumieniowanie, wywoływanie narzędzi i tryb JSON.
• Okno kontekstu 100 000 tokenów, prompt plus completion.
• Tylko tekst. Bez obrazów, audio, wideo, embeddingów ani dostrajania.
• Prompty nie są używane do trenowania.
• Jedna twarda granica: brak treści seksualnych z udziałem nieletnich.

Dokumentacja API wymienia wszystkie obsługiwane parametry, a przewodnik porównawczy omawia, jak płatność za token w modelu hostowanym wypada na tle innych sposobów uzyskania modelu w stylu Qwen.

Wypróbuj w pięciu liniach

Ponieważ interfejs opiera się na schemacie OpenAI, dowolne SDK OpenAI zadziała po zmianie adresu bazowego i klucza. Oto najkrótszy przydatny przykład w Pythonie:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the idea of abliteration in two sentences."}],
)
print(reply.choices[0].message.content)

To samo wywołanie z curl:

Copycurl https://api.qwenabliterated.top/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Aby wyświetlić zasoby dostępne dla klucza, wywołaj GET /v1/models. Utwórz klucz na stronie kluczy API. Nowe konta mogą uzyskać $0,50 kredytu próbnego jednym kliknięciem, ważny przez 7 dni bez konieczności podania karty, co wystarczy na kilka setek krótkich zapytań testowych.

Lokalnie czy hostowane: lista decyzyjna

Wybierz wnioskowanie lokalne, gdy:

• Musisz utrzymać każdy prompt na własnej maszynie, bez żadnego połączenia sieciowego.
• Potrzebujesz jednego konkretnego checkpointa społecznościowego, kwantyzacji lub LoRA.
• Posiadasz już odpowiednią kartę graficzną i lubisz dostosować stos.

Wybierz endpoint hostowany, gdy:

• Chcesz wypuścić aplikację lub bota i potrzebujesz URL, który będzie dostępny, podczas gdy pracujesz nad czymś innym.
• Potrzebujesz długiego kontekstu bez kupowania pamięci.
• Twoje użycie ma charakter przerywowy, więc płacenie za tokeny jest lepsze niż posiadanie nieużywanej infrastruktury.
• Chcesz ponownie wykorzystać istniejący kod klienta w stylu OpenAI.

Podejście mieszane jest powszechne: prototypuj prompty na hostowanym API, a następnie zdecyduj, czy lokalna wersja jest warta wysiłku. Ponieważ oba mogą mówić tym samym formatem czatu, przełączanie między nimi sprowadza się głównie do zmiany adresu bazowego.

Koszt

Ceny wynoszą $0,15 za 1 mln tokenów wejściowych i $0,50 za 1 mln tokenów wyjściowych, z przedpłaconego kredytu bez subskrypcji. Nieudane lub odrzucone zapytania nie są rozliczane, a kredyt nie wygasa.

Przykład: prompt o 3000 tokenach z odpowiedzią 700 tokenów kosztuje 3000 x $0.15 / 1M = $0.00045 za wejście plus 700 x $0.50 / 1M = $0.00035 za wyjście, czyli łącznie $0.0008. Tysiąc takich wywołań to $0.80.

Doładowania przyjmują dowolną kwotę całkowitą od $20 do $500, z bonusem 5% od kwoty $50, 10% od $100 i 15% od $200. Możesz zapłacić kryptowalutami (USDT w sieci TRC20, USDC na Base). Aktualna tabela cen znajduje się na stronie z cenami.

Więcej przewodników

• Qwen Abliterated API: Wywołaj model hostowany, bez GPU
• Qwen Abliterated Roleplay: Ustawienia i konfiguracja API
• Alternatywa dla API bez cenzury