Qwen 3.5 Abliterated: significato e opzioni in hosting

Cosa si intende per qwen 3.5 abliterato

Quando qualcuno cerca qwen 3.5 abliterated, di solito vuole una delle due cose: un checkpoint scaricabile di un modello Qwen a cui è stato rimosso il comportamento di rifiuto, o un modo per parlare a un tale modello senza possedere una GPU. Entrambi sono obiettivi ragionevoli e portano a configurazioni diverse, quindi è utile separarli presto.

Qwen è una famiglia di modelli linguistici open-weight pubblicata da Alibaba. Le versioni base e instruct sono addestrate a rifiutare alcune richieste. "Abliterated" è l'etichetta che gli uploader della community applicano a una variante in cui quel comportamento di rifiuto è stato ridotto chirurgicamente a posteriori. Il nome è una fusione di "ablation" e "obliterated", ed è rimasto.

Un'avvertenza sui numeri di versione. Le famiglie di modelli ricevono nuovi rilasci spesso e i contributori nominano i file in base alla base da cui sono partiti. Non teniamo traccia di quale build esatta sia la più recente e nulla in questa pagina afferma che il nostro modello in hosting sia un particolare checkpoint Qwen. Ciò che possiamo descrivere accuratamente è la tecnica, i compromessi pratici e il servizio che gestiamo.

Come funziona l'abliterazione

I ricercatori che studiano il rifiuto nei modelli di chat hanno scoperto che la tendenza a rifiutare può essere riassunta, con buona approssimazione, come una singola direzione nello spazio di attivazione interno del modello. Alimentare il modello con un insieme di prompt che rifiuta e un insieme che accetta, confrontare gli stati nascosti e la differenza indica una "direzione di rifiuto".

L'abliteration prende quella direzione e modifica le matrici di peso in modo che il modello non possa più scrivere lungo di essa. La modifica è una proiezione applicata una volta ai pesi salvati. Non c'è discesa del gradiente su un grande dataset, motivo per cui una persona con una singola macchina può pubblicare un checkpoint modificato entro ore dalla comparsa di un modello base.

Come si differenzia dal fine-tuning

Un fine-tuning cambia il comportamento addestrandolo su nuovi esempi. Può insegnare uno stile, una personalità o un formato. L'abliterazione rimuove solo un comportamento; non aggiunge nulla. Un modello che è stato abliterato scrive con la stessa voce dell'originale e mantiene la stessa conoscenza, meno la maggior parte delle esitazioni.

Molti modelli "senza censura" pubblicati combinano entrambi i passaggi: abliterare prima, poi fare il fine-tuning leggermente per riparare la perdita di qualità. Se una scheda del modello non specifica quale ha usato, supponi che non puoi saperlo.

Il costo in qualità

Modificare i pesi non è gratuito. Alcuni checkpoint abliterati perdono un po' di accuratezza nel ragionamento o nel seguire le istruzioni, e alcuni diventano ripetitivi o escono dal personaggio nelle chat lunghe. La qualità varia in base al contributor, a quanto aggressivamente è stata rimossa la direzione e alla quantizzazione che scarichi. Tratta ogni build come un modello a sé stante e testalo con i tuoi prompt.

Perché l'etichetta non è una garanzia di qualità

Le schede dei modelli per i caricamenti abliterati sono scritte da individui, non da un laboratorio con un processo di rilascio. Affermazioni come "nessun rifiuto" o "stessa qualità dell'originale" si basano di solito su una manciata di prompt. Va bene per un hobby, ma è una prova debole per qualsiasi cosa tu intenda dipendere.

Un controllo sensato prima di costruire su qualsiasi build: scrivi venti prompt dal tuo caso d'uso reale, inclusi alcuni che il modello instruct originale avrebbe rifiutato, eseguili e leggi le risposte. Nota quanto spesso il modello rimane sul compito, come gestisce un lungo prompt di sistema e se mantiene un formato come JSON. Questo piccolo test ti dice più di un numero di classifica.

Eseguire una build abliterated in locale

Se vuoi il controllo completo, l'inferenza locale è una strada legittima. Scarichi i pesi, scegli un formato quantizzato e li servi con un runtime come llama.cpp, Ollama o vLLM. Nulla lascia la tua macchina e puoi scambiare gli checkpoint quando vuoi.

I costi sono pratici piuttosto che concettuali:

• Memoria. Il modello e la sua cache KV devono adattarsi alla VRAM o alla RAM di sistema veloce. Le varianti Qwen più grandi richiedono hardware di classe workstation e i contesti lunghi aumentano notevolmente le dimensioni della cache.
• Tempo di configurazione. Scegliere una quantizzazione, un template di chat e le impostazioni del sampler richiede tentativi ed errori. Un solo template di chat sbagliato può far sembrare rotto un buon modello.
• Velocità. Le GPU consumer e il CPU offload producono token lentamente rispetto a un server ottimizzato per il throughput, il che conta per i lavori in batch.
• Manutenzione. Appaiono costantemente nuovi checkpoint, quindi finisci per riscaricare e ritestare.

Per un appassionato con una scheda spare, è un weekend divertente. Per un team che ha bisogno di un endpoint stabile all'interno di un'applicazione, è un progetto secondario che compete con quello principale.

L'alternativa in hosting

Gestiamo un'API ospitata per chi vuole il comportamento senza l'hardware. Serve un modello open-weight, gestito da un provider indipendente e ottimizzato per rispondere senza rifiuti di contenuto per uso adulto legale. Lo chiami come uncensored tramite un'interfaccia compatibile con OpenAI.

Sii chiaro su cosa sia e cosa non sia. Non è l'API ufficiale di Qwen, e non è un router che inoltra ad Alibaba o qualsiasi altro fornitore. Non pubblichiamo una scheda del modello che dichiari una specifica versione di Qwen, quindi non trattare il servizio come un sostituto pronto all'uso per un checkpoint specifico. Se hai bisogno di quella build esatta, con le sue esatte peculiarità, eseguila in locale.

Se hai bisogno di un modello di chat senza censura che si comporti allo stesso modo ogni giorno, con un URL stabile, l'hosting è più semplice. I fatti rilevanti:

• Metodi: POST /v1/chat/completions e GET /v1/models.
• Sono supportati streaming, tool calling e modalità JSON.
• Finestra di contesto di 100.000 token, prompt più completamento.
• Solo testo. Nessuna immagine, audio, video, embedding o fine-tuning.
• I prompt non vengono usati per l'addestramento.
• Un limite rigido: nessun contenuto sessuale che coinvolga i minorenni.

La documentazione API elenca tutti i parametri supportati, e la guida di confronto passa in rassegna come l'hosting pay-per-token si confronta con altri modi per ottenere un modello stile Qwen.

Provalo in cinque righe

Poiché l'interfaccia segue lo schema OpenAI, qualsiasi SDK OpenAI funziona dopo aver modificato il base URL e la chiave. Ecco l'esempio più breve utile con Python:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the idea of abliteration in two sentences."}],
)
print(reply.choices[0].message.content)

La stessa chiamata con curl:

Copycurl https://api.qwenabliterated.top/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Per elencare a cosa può accedere la chiave, chiama GET /v1/models. Crea una chiave nella pagina della chiave API. I nuovi account possono richiedere $0.50 di credito di prova con un clic, valido per 7 giorni e senza bisogno di carta, che è sufficiente per alcune centinaia di richieste di test brevi.

Locale o ospitato: una lista decisionale

Scegli l'inferenza locale quando:

• Devi mantenere ogni prompt sulla tua macchina, senza nessuna chiamata di rete.
• Hai bisogno di un checkpoint specifico della community, quantizzazione o LoRA.
• Possiedi già una GPU adatta e ti piace sintonizzare lo stack.

Scegli l'endpoint ospitato quando:

• Vuoi rilasciare un'app o un bot e hai bisogno di un URL che rimanga attivo mentre lavori ad altro.
• Hai bisogno di un contesto lungo senza acquistare memoria per esso.
• Il tuo utilizzo è a raffica, quindi pagare per token batte possedere hardware inattivo.
• Vuoi riutilizzare il codice client esistente in stile OpenAI.

Un approccio misto è comune: prototipa i prompt sull'API ospitata, poi decidi se una build locale vale lo sforzo. Poiché entrambi possono utilizzare lo stesso formato di chat, passare tra di loro significa principalmente cambiare un base URL.

Quanto costa

La tariffazione è $0.15 per 1M di token di input e $0.50 per 1M di token di output, da credito prepagato senza abbonamento. Le richieste fallite o rifiutate non vengono addebitate, e il credito non scade.

Un esempio pratico: un prompt di 3.000 token con una risposta di 700 token costa 3.000 x $0,15 / 1M = $0,00045 per l'input più 700 x $0,50 / 1M = $0,00035 per l'output, quindi $0,0008 in totale. Un migliaio di chiamate del genere ammonta a $0,80.

I ricarichi sono qualsiasi importo intero da $20 a $500, con un bonus del 5% da $50, 10% da $100 e 15% da $200. Puoi pagare con cripto (USDT su TRC20, USDC su Base). La pagina dei prezzi ha la tabella corrente.

Altre guide

• API Qwen Abliterated: chiama un modello ospitato, senza GPU
• Roleplay con Qwen Abliterated: impostazioni e configurazione API
• Alternativa API uncensored