Qwen Abliterated API: Barındırılan Modeli Çağırın, GPU Gerektirmez

Kısa cevap: base URL'i değiştirin

Eğer bir qwen abliterated api arıyorsanız, pratik yol OpenAI protokolünü destekleyen bir uç noktadır. İstemci kodunuzu korursunuz, iki değeri değiştirirsiniz ve modeli sizin için çalıştıran bir sunucuya istek gönderirsiniz. GGUF indirme, niceleme seçimi veya VRAM bütçesi gerekmez.

İsimlendirme hakkında gerekli bir not: bu bağımsız bir hizmettir, resmi Qwen API'si değildir ve barındırılan model, bir Qwen checkpoint adı yerine uncensored olarak adreslenir. Bu, bağımsız bir sağlayıcı tarafından çalıştırılan ve yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı modeldir. Belirli bir abliterated dosyaya ihtiyacınız varsa, o dosyayı yerel olarak çalıştırın. Bir uygulama için güvenilir bir chat uç noktasına ihtiyacınız varsa, okumaya devam edin.

Anahtar alın

Google ile veya e-posta ve şifre ile kaydolun, ardından API anahtarı sayfasını açın. Yeni kullanıcılar tek tıkla kişi başı bir kez olmak üzere 7 gün geçerli ve kart gerektirmeyen $0.50 deneme kredisi talep edebilir. Bu, aşağıdaki tüm örnekleri birkaç kez çalıştırmak için yeterlidir.

Deneme anahtarlarının limitleri tam anahtarlardan daha düşüktür: tam anahtar için 8 ve 300 yerine 2 eşzamanlı istek ve dakikada 60 istek. Paralel işçilerle test ediyorsanız bunu göz önünde bulundurun.

Anahtarı kaynak kontrolüne değil, bir ortam değişkeninde saklayın:

Copyexport QWENABL_KEY="paste-your-key-here"

İlk istek Python ile

Resmi SDK'yı pip install openai ile yükleyin, ardından:

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key=os.environ["QWENABL_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt technical assistant."},
        {"role": "user", "content": "Explain what a KV cache is in three sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

Yanıt, normal bir usage bloğu içerir; bu sayede istem ve tamamlama tokenlarını günlüğe kaydedebilir ve harcamayı kendiniz hesaplayabilirsiniz. Başlıklar arasında destek soruları için X-Request-Id ve kalan krediyi bir gösterge paneli açmadan izlemenizi sağlayan X-Balance-USD bulunur.

Neden GGUF dosyaları yerine API kullanın

Sansürsüz bir modele ulaşmanın yaygın yolu, nicellenmiş bir dosya bulmak, yerel bir çalışma ortamında yüklemek ve yerel bir sunucuya bağlanmaktır. Bu işe yarar ve deneyler için öğrenmenin iyi bir yoludur. Sürtünme, deneylerden başkalarının kullandığı bir şeye geçişte ortaya çıkar.

İlk olarak, donanım. Kısa bir bağlam penceresinde masaüstü kartınıza sığan bir dosya, uzun bir bağlamda sığmayabilir çünkü dikkat önbelleği her tokenla büyür. İkincisi, eşzamanlılık. Tek bir yerel işlem bir veya iki sohbeti rahatça yönetir, ancak aynı anda on kullanıcı kuyruklar oluşturur. Üçüncüsü, erişilebilirlik. Ev makinesi uyur, elektrik kesintisi yaşar ve sürücü güncellemesi yanlış zamanda yapılır. Barındırılan bir API bunları başkalarının işine dönüştürür ve yalnızca kullanılan tokenlar için ödeme yaparsınız.

Kaybettiğiniz şey, belirli bir checkpoint seçme özgürlüğü ile verilerin ağınızdan asla ayrılmayacağı garantisidir. Seçim yapmadan önce bunlardan hangisinin projeniz için daha önemli olduğuna karar verin.

Node.js ve curl

Node SDK'sı aynı iki seçeneği alır:

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.qwenabliterated.top/v1",
  apiKey: process.env.QWENABL_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me five names for a fantasy tavern." }],
});

console.log(resp.choices[0].message.content);

Ve her şeyi bağlamadan önce bir anahtarı kontrol etmek için kullanışlı olan curl ile:

Copycurl -s https://api.qwenabliterated.top/v1/models \
  -H "Authorization: Bearer $QWENABL_KEY"

Başarılı bir çağrı, uncensored içeren bir JSON listesi döndürür. 401 hatası anahtarın yanlış veya eksik olduğunu gösterir. dokümantasyon hata formatını detaylı olarak kapsar.

Akış, JSON modu ve araçlar

Akış

stream: true ayarlayın ve sunucu gönderilen olayları okuyun. Kullanım, akışın sonunda bildirilir.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short scene on a night train."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Bir akışlı istek, akış bitene kadar concurrency slotunu tutar; bu nedenle bir akış açar ve ayrılan bir istemci, kapasiteyi bloke edecektir. Her zaman akışı tüketin veya kapatın.

JSON modu

response_format={"type": "json_object"} parametresini geçin ve isteminizde JSON'dan bahsedin. Yine de savunmacı bir şekilde ayrıştırın; hiçbir model şemayı her zaman mükemmel şekilde takip etmez.

Araç çağırma

tools gönderin ve isteğe bağlı olarak tool_choice belirleyin. Model bir araç istediğinde, onu çalıştırın ve çıktısını role: "tool" rolüyle bir mesaj olarak döndürün. Araç çağrıları da akış yapar. temperature, top_p, stop, seed ve frekans ile varlık cezaları gibi örnekleme parametreleri iletilir.

Gerçek bir uygulamaya entegre etme

Tek bir betik kolaydır. Bir uygulama için birkaç alışkanlık daha gerekir ve bunlar herhangi bir OpenAI tarzı API ile kullanacağınız aynı şeylerdir.

Anahtarı sunucuda tutun

Anahtarı tarayıcı kodunda veya mobil uygulamada asla göndermeyin. API'yi arka ucunuzdan çağırın ve ön uçta kimlik doğrulama ve kullanıcı başına limitler ekleyebileceğiniz kendi rotanızı açığa çıkarın. Bir pakette bir anahtar bulan herkes kredinizi harcayabilir.

Zaman aşımını ayarlayın ve çıktıyı sınırlandırın

Tamamlama, 100.000 token penceresinin kalanını kullanabilir ve max_tokens isteğe bağlıdır. Bir sohbet özelliği için, olağanüstü uzun bir yanıtın faturayı şişirmesini önlemek amacıyla arayüzünüzle eşleşen bir üst sınır belirleyin. Bunu bir istemci zaman aşımı ile eşleştirirseniz, her çağrı için hem zaman hem de para için bir üst sınır elde etmiş olursunuz.

İstek kimliğini günlüğe kaydedin

Her yanıt X-Request-Id taşır. Bunu kendi çağrı kaydınızın yanına kaydedin. Bir sonuç yanlış görünürse veya bir istek başarısız olursa, bu tanımlayıcı destek ekibinin tam isteği bulmasını sağlar. X-Balance-USD başlığı basit bir uyarı için kullanışlıdır: Sayı bir eşiğin altına düşerse, bir iş kurumadan önce size bir mesaj gönderin.

Başlangıçta modeller listesini kontrol edin

GET /v1/models çağıran bir sağlık kontrolü token maliyeti olmadan çalışır ve anahtarı, URL'yi ve ağ yolunu tek adımda doğrular. Hizmetiniz başladığında çalıştırın ve bir hata döndürürse işlemi hata durumuyla sonlandırın.

Limitler ve hata yönetimi

Limitin üzerindeki istekler HTTP 429 döndürür. Hata kodu hangi limite takıldığınızı söyler: rate_limited dakikada çok fazla istek anlamına gelir ve concurrency aynı anda çok fazla istek anlamına gelir. Geçici aşırı yüklenme sırasında API ayrıca Retry-After: 5 başlığı ile 429 döndürür. Maksimum gövde boyutu 8 MB'dir.

Başlığı dikkate alın ve geri çekilin:

Copyimport time
from openai import OpenAI, RateLimitError

def ask(client, messages, tries=5):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = int(e.response.headers.get("Retry-After", 5))
            time.sleep(wait * (attempt + 1))
    raise RuntimeError("still rate limited")

Bir işçi havuzu çalıştırıyorsanız, tam bir anahtar için 8 iş parçacığı ile sınırlayın. Bunun üzerine çıkmak sadece işi 429'lara dönüştürür. Başarısız veya reddedilen istekler için ücret alınmaz, bu nedenle başarısız olduklarında yeniden denemeler size ekstra maliyet yaratmaz.

Bir istek ne kadar maliyetlidir

Giriş tokenları 1M başına $0.15 ve çıkış tokenları 1M başına $0.50'dir. Bazı örnekler, tam olarak hesaplanmıştır:

• 2.000 istem tokenı ve 500 tamamlama tokenı içeren bir sohbet dönüşü: 2.000 x $0.15 / 1M = $0.0003, artı 500 x $0.50 / 1M = $0.00025, yani $0.00055. Bin dönüş $0.55'e mal olur.
• 10M giriş tokenı gönderen ve 2M çıktı tokenı alan bir toplu iş: $1.50 artı $1.00, yani $2.50.
• 90.000 istem tokenı ve 1.000 çıktı tokenı içeren uzun bağlam çağrısı: $0.0135 artı $0.0005, yani $0.014.

Kredi ön ödemelidir, asla sona ermez ve abonelik yoktur. $20 ile $500 arasında herhangi bir tam miktarı bakiye yükleyin; $50 %5 ekler, yani $50 bakiye yükleme $52.50 kredi verir. Kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile ödeme yapın. Tam bonus tablosu için fiyatlandırma sayfasına bakın.

Barındırılan veya yerel dosyalar: hangisi uygun

Yerel bir GGUF, izolasyonla gizlilik ve kesin ağırlıklar üzerinde tam kontrol sağlar. Barındırılan bir API, donanım işi gerektirmez, uzun bağlam ve diğer hizmetlerin çağırabileceği bir URL sağlar. Bir bot, bir yazma aracı veya bir oyun arka ucu geliştiren çoğu ekip, yedek bir GPU kutusunun da çalıştırılmasını gerektirmesi nedeniyle barındırmayı daha basit bulur.

Token başı ödemeyi bir Qwen tarzı modele ulaşmanın diğer yollarıyla karşılaştırmak için daha geniş bir bakış açısı için karşılaştırma rehberine bakın. API'ye gönderilen istemler eğitim için kullanılmaz. Model yalnızca metindir ve reşit olmayanlar içeren cinsel içerik her koşulda izin verilmez.

Daha fazla kılavuz

• Qwen 3.5 Abliterated: Ne Anlama Geldiği ve Barındırılan Seçenekler
• Qwen Abliterated Rol Yapma: Ayarlar ve API Kurulumu
• Sansürsüz API Alternatifi