API Qwen Abliterated: Panggil Model yang Di-host, Tanpa GPU

Jawaban singkat: ubah base URL

Jika Anda mencari qwen abliterated api, rute praktisnya adalah endpoint yang di-host yang menggunakan protokol OpenAI. Anda mempertahankan kode klien, mengubah dua nilai, dan mengirim permintaan ke server yang menjalankan model untuk Anda. Tidak ada unduhan GGUF, tidak ada pilihan kuantisasi, tidak ada anggaran VRAM.

Catatan penting tentang penamaan: ini adalah layanan independen, bukan API Qwen resmi, dan model yang di-host dialamatkan sebagai uncensored bukan dengan nama checkpoint Qwen. Ini adalah satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Jika Anda memerlukan satu file abliterated tertentu, jalankan file itu secara lokal. Jika Anda memerlukan endpoint chat yang dapat diandalkan untuk aplikasi, baca terus.

Dapatkan kunci

Daftar dengan Google, atau dengan email dan kata sandi, lalu buka halaman kunci API. Pengguna baru dapat mengklaim $0,50 kredit uji coba dengan satu klik, satu per orang, berlaku selama 7 hari dan tanpa kartu. Itu cukup untuk menjalankan setiap contoh di bawah ini beberapa kali.

Kunci uji coba memiliki batas lebih rendah daripada kunci penuh: 2 permintaan konkuren dan 60 permintaan per menit, dibandingkan dengan 8 dan 300 pada kunci penuh. Ingatlah hal ini jika Anda menguji dengan pekerja paralel.

Simpan kunci dalam variabel lingkungan, bukan dalam kontrol sumber:

Copyexport QWENABL_KEY="paste-your-key-here"

Permintaan pertama dalam Python

Instal SDK resmi dengan pip install openai, lalu:

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key=os.environ["QWENABL_KEY"],
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt technical assistant."},
        {"role": "user", "content": "Explain what a KV cache is in three sentences."},
    ],
    temperature=0.7,
)

print(resp.choices[0].message.content)
print(resp.usage)

Respons membawa blok usage yang normal, sehingga Anda dapat mencatat token prompt dan completion serta menghitung pengeluaran sendiri. Header termasuk X-Request-Id untuk pertanyaan dukungan dan X-Balance-USD sehingga Anda dapat memantau sisa kredit tanpa membuka dasbor.

Mengapa menggunakan API daripada file GGUF

Rute biasa ke model tanpa sensor adalah menemukan file yang dikuantisasi, memuatnya dalam runtime lokal, dan berkomunikasi dengan server lokal. Itu berfungsi, dan untuk eksperimen itu adalah cara yang baik untuk belajar. Gesekan muncul ketika Anda beralih dari eksperimen ke sesuatu yang digunakan orang lain.

Pertama, perangkat keras. File yang muat di kartu desktop Anda pada konteks pendek mungkin tidak muat pada konteks panjang, karena cache perhatian tumbuh dengan setiap token. Kedua, konkurensi. Satu proses lokal menangani satu atau dua chat dengan nyaman, tetapi sepuluh pengguna sekaligus berarti antrean. Ketiga, ketersediaan. Mesin rumah tidur, kehilangan daya, dan mendapatkan pembaruan driver pada waktu yang salah. API yang di-host mengubah ini menjadi pekerjaan orang lain, dan Anda hanya membayar untuk token yang digunakan.

Yang Anda korbankan adalah kebebasan untuk memilih checkpoint tertentu dan jaminan bahwa byte tidak pernah meninggalkan jaringan Anda. Putuskan mana yang lebih penting untuk proyek Anda sebelum memilih.

Node.js dan curl

SDK Node mengambil dua opsi yang sama:

Copyimport OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.qwenabliterated.top/v1",
  apiKey: process.env.QWENABL_KEY,
});

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Give me five names for a fantasy tavern." }],
});

console.log(resp.choices[0].message.content);

Dan dengan curl, yang berguna untuk memeriksa kunci sebelum menghubungkan apa pun:

Copycurl -s https://api.qwenabliterated.top/v1/models \
  -H "Authorization: Bearer $QWENABL_KEY"

Panggilan yang berhasil mengembalikan daftar JSON yang termasuk uncensored. 401 berarti kunci salah atau hilang. dokumentasi mencakup format kesalahan secara rinci.

Streaming, mode JSON, dan alat

Streaming

Atur stream: true dan baca peristiwa yang dikirim server. Penggunaan dilaporkan di akhir stream.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a short scene on a night train."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Permintaan yang dialirkan memegang slot konkurensinya hingga stream selesai, sehingga klien yang membuka stream dan berjalan pergi akan memblokir kapasitas. Selalu konsumsi atau tutup stream.

Mode JSON

Lewatkan response_format={"type": "json_object"} dan sebutkan JSON dalam prompt Anda. Tetap parse secara defensif; tidak ada model yang mengikuti skema dengan sempurna setiap saat.

Pemanggilan alat

Kirimkan tools dan opsional tool_choice. Ketika model meminta alat, jalankan dan kembalikan output sebagai pesan dengan role: "tool". Panggilan alat juga menggunakan streaming. Parameter pengambilan sampel temperature, top_p, stop, seed, dan penalti frekuensi dan kehadiran diteruskan.

Memasukkannya ke aplikasi nyata

Skrip tunggal itu mudah. Aplikasi membutuhkan beberapa kebiasaan tambahan, dan itu adalah hal yang sama yang akan Anda gunakan dengan API gaya OpenAI mana pun.

Simpan kunci di server

Jangan pernah mengirimkan kunci dalam kode browser atau aplikasi seluler. Panggil API dari backend Anda dan paparkan rute Anda sendiri ke front end, di mana Anda dapat menambahkan autentikasi dan batas per pengguna. Siapa pun yang menemukan kunci dalam bundel dapat menghabiskan kredit Anda.

Atur batas waktu dan batasi output

Completion dapat menggunakan sisa token yang tersisa dari jendela 100.000 token, dan max_tokens opsional. Untuk fitur chat, atur batas yang sesuai dengan antarmuka Anda agar jawaban yang sangat panjang tidak dapat membengkak tagihan. Padukan itu dengan batas waktu klien dan Anda memiliki batas atas untuk waktu dan uang untuk setiap panggilan.

Log ID permintaan

Setiap respons membawa X-Request-Id. Simpan di sebelah catatan panggilan Anda sendiri. Ketika hasil tampak salah atau permintaan gagal, pengenal itu adalah apa yang memungkinkan dukungan menemukan permintaan yang tepat. Header X-Balance-USD berguna untuk peringatan sederhana: jika angka turun di bawah ambang batas, kirim pesan kepada diri Anda sendiri sebelum pekerjaan habis.

Periksa daftar model saat startup

Pemeriksaan kesehatan yang memanggil GET /v1/models tidak memakan biaya token dan mengonfirmasi kunci, URL, dan jalur jaringan dalam satu langkah. Jalankan saat layanan Anda boot dan gagal secara eksplisit jika mengembalikan kesalahan.

Batas dan penanganan kesalahan

Permintaan di atas batas mendapatkan HTTP 429. Kode kesalahan memberi tahu Anda batas mana yang Anda capai: rate_limited berarti terlalu banyak permintaan per menit, dan concurrency berarti terlalu banyak sekaligus. Selama kelebihan beban sementara, API juga mengembalikan 429 dengan header Retry-After: 5. Ukuran body maksimum adalah 8 MB.

Hormati header dan mundur:

Copyimport time
from openai import OpenAI, RateLimitError

def ask(client, messages, tries=5):
    for attempt in range(tries):
        try:
            return client.chat.completions.create(model="uncensored", messages=messages)
        except RateLimitError as e:
            wait = int(e.response.headers.get("Retry-After", 5))
            time.sleep(wait * (attempt + 1))
    raise RuntimeError("still rate limited")

Jika Anda menjalankan kumpulan pekerja, batasi hingga 8 utas untuk kunci penuh. Melebihi itu hanya mengubah pekerjaan menjadi 429. Permintaan yang gagal atau ditolak tidak dibebankan, sehingga percobaan ulang tidak membebani Anda apa pun ekstra ketika gagal.

Biaya per permintaan

Token input adalah $0,15 per 1M dan token output $0,50 per 1M. Beberapa contoh, dihitung secara tepat:

• Giliran chat dengan 2.000 token prompt dan 500 token completion: 2.000 x $0,15 / 1M = $0,0003, ditambah 500 x $0,50 / 1M = $0,00025, jadi $0,00055. Seribu giliran biaya $0,55.
• Sebuah pekerjaan batch yang mengirim 10M token input dan menerima 2M token output: $1,50 ditambah $1,00, jadi $2,50.
• Panggilan konteks panjang dengan 90.000 token prompt dan 1.000 token output: $0,0135 ditambah $0,0005, jadi $0,014.

Kredit adalah prabayar, tidak pernah kedaluwarsa, dan tidak ada langganan. Isi saldo jumlah bulat apa pun dari $20 hingga $500; $50 menambahkan 5%, jadi isi saldo $50 memberikan kredit $52,50. Bayar dengan kripto (USDT pada TRC20, USDC pada Base). Lihat halaman harga untuk tabel bonus lengkap.

Di-host atau file lokal: mana yang cocok

GGUF lokal memberi Anda privasi melalui isolasi dan kendali penuh atas bobot yang tepat. API yang di-hosting membebaskan Anda dari pekerjaan perangkat keras, konteks panjang, dan URL yang dapat dipanggil oleh layanan lain. Sebagian besar tim yang membuat bot, alat penulisan, atau backend game menemukan hosting lebih sederhana, karena kotak GPU cadangan adalah hal lain yang harus terus dijalankan.

Untuk pandangan lebih luas tentang membayar per token dibandingkan dengan cara lain untuk mencapai model gaya Qwen, lihat panduan perbandingan. Prompt yang dikirim ke API tidak digunakan untuk pelatihan. Model hanya teks, dan konten seksual yang melibatkan anak di bawah umur tidak diperbolehkan dalam keadaan apa pun.

Panduan lainnya

• Qwen 3.5 Abliterated: Apa Artinya dan Opsi yang Di-host
• Roleplay Qwen Abliterated: Pengaturan dan Penyiapan API
• Alternatif API Tanpa Sensor