Qwen 3.5 एब्लिरेटेड: इसका अर्थ और होस्टेड विकल्प

लोग qwen 3.5 abliterated से क्या मतलब निकालते हैं

जब कोई qwen 3.5 abliterated खोजता है, तो वे आमतौर पर दो चीज़ों में से एक चाहते हैं: एक Qwen मॉडल का डाउनलोड करने योग्य चेकपॉइंट जिससे उसकी अस्वीकृति व्यवहार हटा दिया गया हो, या एक ऐसा तरीका जिससे आप ऐसे मॉडल से बात कर सकें बिना GPU खरीदे। दोनों उचित लक्ष्य हैं, और वे अलग-अलग सेटअप की ओर ले जाते हैं, इसलिए उन्हें शुरुआत में ही अलग करना बेहतर है।

Qwen Alibaba द्वारा प्रकाशित ओपन-वेट भाषा मॉडल का एक परिवार है। बेस और इन्सट्रक्ट रिलीज़ कुछ अनुरोधों को अस्वीकार करने के लिए प्रशिक्षित हैं। "एबलिटरेटेड" वह लेबल है जो समुदाय अपलोडर किसी ऐसे वेरियंट पर लगाते हैं जहाँ उस अस्वीकृति व्यवहार को बाद में सर्जिकल रूप से कम कर दिया गया है। नाम "एबलेशन" और "ओबलिटरेटेड" का मिश्रण है, और यह लोकप्रिय हो गया।

वर्जन नंबरों के बारे में एक सावधानी। मॉडल फ़ैमिली में अक्सर नई रिलीज़ आती हैं, और अपलोडर अपने फ़ाइलों का नाम उस बेस पर रखते हैं जिससे वे शुरू करते हैं। हम यह ट्रैक नहीं करते कि सटीक रूप से कौन सा बिल्ड सबसे नया है, और इस पेज पर कुछ भी यह दावा नहीं करता कि हमारा होस्टेड मॉडल किसी विशेष Qwen चेकपॉइंट है। हम जो सटीक रूप से वर्णन कर सकते हैं वह तकनीक, व्यावहारिक ट्रेड-ऑफ़, और हम जो सेवा चलाते हैं, वह है।

एबलिरेशन कैसे काम करता है

चैट मॉडल्स में अस्वीकृति का अध्ययन करने वाले शोधकर्ताओं ने पाया कि अस्वीकृति की प्रवृत्ति को, एक अच्छी अनुमान के साथ, मॉडल के आंतरिक सक्रियण स्थान में एक अकेली दिशा के रूप में सारांशित किया जा सकता है। मॉडल को एक सेट प्रॉम्प्ट्स दें जिन्हें वह अस्वीकार करता है और एक सेट जिन्हें वह स्वीकार करता है, छिपे हुए अवस्थाओं की तुलना करें, और अंतर एक "अस्वीकृति दिशा" की ओर इशारा करता है।

एबलिरेशन उस दिशा को लेता है और वजन मैट्रिक्स को संपादित करता है ताकि मॉडल उस दिशा में लिख न सके। यह संपादन एक प्रक्षेपण है जो सहेजे गए वजन पर एक बार लागू किया जाता है। इसमें एक बड़े डेटासेट पर ग्रेडिएंट अवतरण नहीं होता, जिसकी वजह से एक व्यक्ति एक सिंगल मशीन से एक बेस मॉडल आने के कुछ ही घंटों में एक संशोधित चेकपॉइंट प्रकाशित कर सकता है।

फाइन-ट्यूनिंग से अंतर

फाइन-ट्यूनिंग नए उदाहरणों पर प्रशिक्षित करके व्यवहार बदलती है। यह एक शैली, एक व्यक्तित्व या एक प्रारूप सिखा सकती है। एबलिरेशन केवल एक व्यवहार हटाता है; कुछ जोड़ता नहीं है। एक एबलिरेटेड मॉडल मूल की ही आवाज़ में लिखता है और वही ज्ञान रखता है, सिवाय अधिकांश हिचकिचाहट के।

अक्सर प्रकाशित "अनसेंसर्ड" मॉडल्स दोनों चरणों को जोड़ते हैं: पहले एबलिरेट करें, फिर गुणवत्ता हानि को ठीक करने के लिए हल्का फाइन-ट्यून करें। यदि कोई मॉडल कार्ड नहीं बताता कि किसका उपयोग किया गया, तो मान लें कि आप यह नहीं जान सकते।

गुणवत्ता में लागत

वजन संपादित करना निःशुल्क नहीं है। कुछ एबलिरेटेड चेकपॉइंट्स तर्क या निर्देश अनुपालन में थोड़ी सटीकता खो देते हैं, और कुछ लंबी चैट में दोहराव वाले हो जाते हैं या किरदार से भटक जाते हैं। गुणवत्ता अपलोडर, दिशा को कितनी आक्रामक रूप से हटाया गया, और आप जो क्वांटीकरण डाउनलोड करते हैं, उस पर निर्भर करती है। प्रत्येक बिल्ड को एक अलग मॉडल मानें और इसे अपने प्रॉम्प्ट पर परीक्षण करें।

लेबल गुणवत्ता गारंटी क्यों नहीं है

एबलिरेटेड अपलोड्स के लिए मॉडल कार्ड्स व्यक्तिगत रूप से लिखे जाते हैं, किसी लैब द्वारा नहीं जिसकी अपनी रिलीज़ प्रक्रिया हो। "कोई अस्वीकृति नहीं" या "मूल के बराबर गुणवत्ता" जैसे दावे आमतौर पर कुछ ही प्रॉम्प्ट्स पर आधारित होते हैं। यह एक शौक के लिए ठीक है, लेकिन किसी ऐसी चीज़ पर निर्भर रहने के लिए जिस पर आप भरोसा करना चाहते हैं, यह पतली साक्ष्य है।

किसी भी बिल्ड पर निर्माण करने से पहले एक समझदारी भरी जाँच: अपने वास्तविक उपयोग मामले से बीस प्रॉम्प्ट्स लिखें, जिसमें कुछ ऐसे भी शामिल हों जिन्हें मूल इन्सट्रक्ट मॉडल अस्वीकार कर देता, उन्हें चलाएं, और जवाब पढ़ें। नोट करें कि मॉडल कितनी बार कार्य पर बना रहता है, वह लंबे सिस्टम प्रॉम्प्ट को कैसे संभालता है, और क्या वह JSON जैसे प्रारूप को बनाए रखता है। वह छोटा परीक्षण आपको एक लीडरबोर्ड नंबर से ज्यादा बताएगा।

एक एबलिरेटेड बिल्ड को खुद चलाना

यदि आप पूर्ण नियंत्रण चाहते हैं, तो स्थानीय निष्पादन एक वैध मार्ग है। आप वेट्स डाउनलोड करते हैं, एक क्वांटाइज़्ड प्रारूप चुनते हैं, और llama.cpp, Ollama या vLLM जैसे रनटाइम के साथ उन्हें सर्व करते हैं। कुछ भी आपकी मशीन से बाहर नहीं जाता, और आप जब चाहें चेकपॉइंट्स बदल सकते हैं।

लागत कॉन्सेप्चुअल नहीं, बल्कि प्रैक्टिकल हैं:

• स्मृति। मॉडल और उसका KV कैश VRAM या तेज़ सिस्टम RAM में फिट होने चाहिए। बड़े Qwen वेरियंट वर्कस्टेशन-क्लास हार्डवेयर की आवश्यकता करते हैं, और लंबे संदर्भ कैश साइज़ को तेज़ी से बढ़ा देते हैं।
• स्थापना समय। एक क्वांटीसेशन, चैट टेम्पलेट और सैम्पलर सेटिंग्स चुनने में ट्रायल एंड एरर लगता है। एक गलत चैट टेम्पलेट अकेले एक अच्छे मॉडल को टूटा हुआ दिखा सकता है।
• गति। कंज्यूमर GPUs और CPU ऑफलोड थ्रूपुट के लिए ट्यून्ड सर्वर की तुलना में धीमी गति से टोकन उत्पन्न करते हैं, जो बैच जॉब्स के लिए मायने रखता है।
• रखरखाव। नए चेकपॉइंट लगातार आते रहते हैं, जिससे आपको बार-बार पुनः डाउनलोड और पुनः परीक्षण करना पड़ता है।

एक स्पेयर कार्ड वाले शौकीन के लिए, यह एक मजेदार सप्ताहांत है। एक टीम के लिए जिसको एप्लिकेशन के अंदर एक स्थिर एंडपॉइंट चाहिए, यह एक साइड प्रोजेक्ट है जो असली प्रोजेक्ट से प्रतिस्पर्धा करता है।

होस्ट किया गया विकल्प

हम उन लोगों के लिए एक होस्टेड API चलाते हैं जो हार्डवेयर के बिना व्यवहार चाहते हैं। यह एक ओपन-वेट मॉडल को सपोर्ट करता है, जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है। आप इसे uncensored के रूप में OpenAI-कम्पैटिबल इंटरफ़ेस के माध्यम से आह्वान करते हैं।

स्पष्ट रहें कि यह क्या है और क्या नहीं। यह आधिकारिक Qwen API नहीं है, और यह एक रूटर नहीं है जो Alibaba या किसी अन्य वेंडर को फॉरवर्ड करता है। हम एक मॉडल कार्ड प्रकाशित नहीं करते हैं जो किसी विशिष्ट Qwen रिलीज़ का दावा करता है, इसलिए सेवा को एक नामित चेकपॉइंट के लिए ड्रॉप-इन रिप्लेसमेंट के रूप में न मानें। यदि आपको उसी बिल्ड की आवश्यकता है, उसकी सटीक विशेषताओं के साथ, तो इसे स्थानीय रूप से चलाएं।

यदि आपको एक बिना सेंसर चैट मॉडल चाहिए जो हर दिन समान तरीके से व्यवहार करे, तो स्थिर URL के साथ होस्टिंग सरल है। प्रासंगिक तथ्य:

• विधियाँ: POST /v1/chat/completions और GET /v1/models।
• स्ट्रीमिंग, टूल कॉलिंग और JSON मोड समर्थित हैं।
• 100,000 टोकन की कॉन्टेक्स्ट विंडो, प्रॉम्प्ट और पूर्णता सहित।
• केवल टेक्स्ट। कोई इमेज, ऑडियो, वीडियो, एम्बेडिंग्स या फाइन-ट्यूनिंग नहीं।
• प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।
• एक कठोर सीमा: नाबालिगों से संबंधित यौन सामग्री नहीं।

API दस्तावेज़ीकरण में प्रत्येक समर्थित पैरामीटर सूचीबद्ध है, और तुलना मार्गदर्शिका बताती है कि टोकन-प्रति भुगतान होस्टिंग, Qwen-शैली वाले मॉडल प्राप्त करने के अन्य तरीकों के मुकाबले कैसे खड़ी है।

पाँच पंक्तियों में आज़माएँ

चूंकि इंटरफ़ेस OpenAI स्कीमा का पालन करता है, बेस URL और कुंजी बदलने के बाद कोई भी OpenAI SDK काम करता है। Python के साथ सबसे छोटा उपयोगी उदाहरण यहां दिया गया है:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the idea of abliteration in two sentences."}],
)
print(reply.choices[0].message.content)

curl के साथ वही कॉल:

Copycurl https://api.qwenabliterated.top/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

कुंजी क्या एक्सेस कर सकती है, यह सूचीबद्ध करने के लिए GET /v1/models कॉल करें। API कुंजी पृष्ठ पर एक कुंजी बनाएं। नए खातों एक क्लिक से $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं, जो 7 दिनों के लिए मान्य है और जिसमें कार्ड की आवश्यकता नहीं है, जो कुछ सौ छोटे परीक्षण अनुरोधों के लिए पर्याप्त है।

लोकल या होस्टेड: एक निर्णय सूची

लोकल इन्फरेंस चुनें जब:

• आपको हर प्रॉम्प्ट को अपने मशीन पर रखना हो, बिना किसी नेटवर्क कॉल के।
• आपको एक विशिष्ट कम्युनिटी चेकपॉइंट, क्वान्टिज़ेशन या LoRA की आवश्यकता है।
• आपके पास पहले से एक उपयुक्त GPU है और आपको स्टैक ट्यून करने में मज़ा आता है।

होस्टेड एंडपॉइंट चुनें जब:

• आप एक ऐप या बॉट शिप करना चाहते हैं और आपको एक URL चाहिए जो तब तक चलता रहे जब आप कुछ और पर काम कर रहे हों।
• आपको लंबा कॉन्टेक्स्ट विंडो चाहिए बिना इसके लिए मेमोरी खरीदे।
• आपका उपयोग बर्स्टी है, इसलिए आइडल हार्डवेयर खरीदने के मुकाबले टोकन के लिए भुगतान करना बेहतर है।
• आप मौजूदा OpenAI-स्टाइल क्लाइंट कोड को पुन: उपयोग करना चाहते हैं।

एक मिक्स्ड एप्रोच आम है: होस्टेड API पर प्रॉम्प्ट्स प्रोटोटाइप करें, फिर निर्णय लें कि क्या लोकल बिल्ड प्रयास के लायक है। चूंकि दोनों समान चैट फॉर्मेट बोल सकते हैं, उनके बीच स्थानांतरित होना मुख्य रूप से एक बेस URL बदलने के बराबर है।

इसकी लागत

मूल्य निर्धारण $0.15 प्रति 1M इनपुट टोकन और $0.50 प्रति 1M आउटपुट टोकन है, प्रीपेड क्रेडिट से, कोई सब्सक्रिप्शन नहीं। विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है, और क्रेडिट समाप्त नहीं होता है।

एक कार्य उदाहरण: 3,000 टोकन का प्रॉम्प्ट और 700 टोकन का जवाब 3,000 x $0.15 / 1M = $0.00045 इनपुट के लिए और 700 x $0.50 / 1M = $0.00035 आउटपुट के लिए लागत लाता है, इसलिए कुल $0.0008। ऐसे एक हज़ार कॉल $0.80 आती हैं।

टॉप-अप $20 से $500 तक की कोई भी पूर्ण राशि हो सकती है, जिसमें $50 से 5%, $100 से 10% और $200 से 15% बोनस मिलता है। आप क्रिप्टो (TRC20 पर USDT, Base पर USDC) से भुगतान कर सकते हैं। मूल्य निर्धारण पृष्ठ पर वर्तमान तालिका उपलब्ध है।

अधिक गाइड

• Qwen Abliterated API: एक होस्टेड मॉडल कॉल करें, GPU के बिना
• Qwen Abliterated Roleplay: सेटिंग्स और API सेटअप
• Uncensored API विकल्प