Qwen 3.5 Abliterated: ความหมายและตัวเลือกแบบโฮสต์

ความหมายของคำว่า qwen 3.5 abliterated

เมื่อมีคนค้นหา qwen 3.5 abliterated พวกเขามักต้องการอย่างใดอย่างหนึ่งจากสองสิ่งนี้: ไฟล์ checkpoint ที่ดาวน์โหลดได้ของโมเดล Qwen ที่ลบพฤติกรรมการปฏิเสธออกแล้ว หรือวิธีใช้งานโมเดลดังกล่าวโดยไม่ต้องมี GPU ทั้งสองเป้าหมายนี้สมเหตุสมผลและนำไปสู่การตั้งค่าที่แตกต่างกัน ดังนั้นการแยกแยะให้ชัดเจนตั้งแต่เนิ่นๆ จึงช่วยได้มาก

Qwen เป็นตระกูลของโมเดลภาษาแบบ open-weight ที่เผยแพร่โดย Alibaba การปล่อยเวอร์ชัน base และ instruct ถูกฝึกมาให้ปฏิเสธคำขอบางประเภท "Abliterated" เป็นชื่อที่ชุมชนผู้อัปโหลดใช้เรียกโมเดลที่ผ่านการปรับลดพฤติกรรมปฏิเสธนั้นออกไปอย่างเจาะจงหลังจากการฝึกเสร็จสิ้น ชื่อคำนี้เป็นการผสมระหว่าง "ablation" และ "obliterated" และกลายเป็นที่ยอมรับในวงกว้าง

ข้อควรระวังเกี่ยวกับหมายเลขเวอร์ชัน ตระกูลโมเดลมีการปล่อยเวอร์ชันใหม่บ่อยครั้ง และผู้อัปโหลดมักตั้งชื่อไฟล์ตามเวอร์ชันฐานที่พวกเขาเริ่มจาก เราไม่ได้ติดตามว่า build ไหนคือเวอร์ชันล่าสุดที่สุด และไม่มีข้อมูลในหน้านี้ที่อ้างว่าโมเดลแบบโฮสต์ของเราเป็น checkpoint Qwen เวอร์ชันเฉพาะเจาะจงใดเป็นพิเศษ สิ่งที่เราสามารถอธิบายได้อย่างแม่นยำคือเทคนิค ข้อจำกัดในทางปฏิบัติ และบริการที่เราดำเนินการ

หลักการทำงานของ abliteration

นักวิจัยที่ศึกษาเรื่องการปฏิเสธในโมเดลแชทพบว่าแนวโน้มในการปฏิเสธสามารถสรุปได้โดยประมาณว่าเป็นทิศทางเดียวในพื้นที่การกระตุ้นภายในของโมเดล เมื่อป้อนชุดพรอมต์ที่โมเดลปฏิเสธและชุดที่โมเดลยอมรับเข้าไป แล้วเปรียบเทียบ hidden states ผลต่างจะชี้ไปในทิศทาง "refusal direction"

Abliteration นำทิศทางนั้นมาแก้ไขเมทริกซ์น้ำหนัก (weight matrices) เพื่อให้โมเดลไม่สามารถเขียนข้อมูลตามทิศทางนั้นได้อีกต่อไป การแก้ไขนี้เป็นการโปรเจกชันที่นำไปใช้กับน้ำหนักที่บันทึกไว้เพียงครั้งเดียว ไม่มีกระบวนการ gradient descent บนชุดข้อมูลขนาดใหญ่ ซึ่งเป็นเหตุผลว่าทำไมบุคคลหนึ่งที่มีเครื่องเดียวสามารถเผยแพร่ไฟล์ checkpoint ที่ดัดแปลงแล้วภายในไม่กี่ชั่วโมงหลังจากที่โมเดลฐานปรากฏออกมา

ความแตกต่างจากการ fine-tuning

การ fine-tuning เปลี่ยนพฤติกรรมโดยการฝึกบนตัวอย่างใหม่ สามารถสอนสไตล์ บุคลิก หรือรูปแบบได้ ในขณะที่ abliteration เพียงแต่ลบพฤติกรรมออกเท่านั้น ไม่ได้เพิ่มอะไรเข้าไป โมเดลที่ผ่านการ abliterated จะเขียนด้วยน้ำเสียงเดิมและมีความรู้เดิมเท่าเดิม เพียงแต่ลดความลังเลลงอย่างมาก

โมเดล "uncensored" ที่เผยแพร่จำนวนมากผสมผสานทั้งสองขั้นตอน: ทำ abliteration ก่อน แล้วจึงทำ fine-tuning เบาๆ เพื่อซ่อมแซมการสูญเสียคุณภาพ หากโมเดลการ์ดไม่ได้ระบุว่าใช้วิธีใด ให้สันนิษฐานว่าคุณไม่สามารถรู้ได้

ต้นทุนด้านคุณภาพ

การแก้ไขน้ำหนักไม่ใช่เรื่องฟรี ไฟล์ checkpoint ที่ผ่านการ abliterated บางส่วนสูญเสียความแม่นยำเล็กน้อยในการให้เหตุผลหรือการปฏิบัติตามคำสั่ง และบางตัวอาจเกิดการทำซ้ำหรือเบี่ยงเบนออกจากตัวละครในการแชทที่ยาวนาน คุณภาพแตกต่างกันไปตามผู้อัปโหลด ระดับความรุนแรงในการลบทิศทาง และเทคนิค quantisation ที่คุณดาวน์โหลด ให้พิจารณาแต่ละ build ว่าเป็นโมเดลของตัวเองและทดสอบกับพรอมต์ของคุณเอง

เหตุผลที่ป้ายกำกับนี้ไม่ใช่การรับประกันคุณภาพ

โมเดลการ์ดสำหรับการอัปโหลดแบบ abliterated เขียนโดยบุคคล ไม่ใช่โดยแล็บที่มีกระบวนการปล่อยผลิตภัณฑ์ การอ้างเช่น "ไม่มีการปฏิเสธ" หรือ "คุณภาพเท่ากับต้นฉบับ" มักมาจากพรอมต์เพียงไม่กี่ตัวอย่าง ซึ่งเพียงพอสำหรับงานอดิเรก แต่เป็นหลักฐานที่เบาบางสำหรับสิ่งที่คุณตั้งใจจะพึ่งพา

การตรวจสอบอย่างมีเหตุผลก่อนที่คุณจะสร้างอะไรบนโมเดลใดๆ: เขียนพรอมต์ยี่สิบอันจากกรณีใช้งานจริงของคุณ รวมถึงบางอันที่โมเดลอินสตรักชันต้นฉบับอาจปฏิเสธ แล้วรันพรอมต์เหล่านั้นและอ่านคำตอบ สังเกตว่าโมเดลคงโฟกัสกับงานได้บ่อยแค่ไหน จัดการกับระบบพรอมต์ที่ยาวอย่างไร และรักษาฟอร์แมตเช่น JSON ได้หรือไม่ การทดสอบเล็กๆ น้อยๆ นี้บอกคุณได้มากกว่าตัวเลขบนตารางเปรียบเทียบ

การรันโมเดลแบบ abliterated ด้วยตัวเอง

หากคุณต้องการการควบคุมแบบเต็มรูปแบบ การอนุมานแบบโลคัลเป็นเส้นทางที่ถูกต้อง คุณดาวน์โหลดน้ำหนักโมเดล เลือกฟอร์แมตที่บีบอัดแล้ว และให้บริการด้วยรันไทม์เช่น llama.cpp, Ollama หรือ vLLM ข้อมูลทั้งหมดไม่ออกจากระบบของคุณ และคุณสามารถเปลี่ยนไฟล์ checkpoint ได้ทุกเมื่อที่ต้องการ

ต้นทุนเป็นในทางปฏิบัติมากกว่าในทางทฤษฎี:

• หน่วยความจำ โมเดลและ KV cache ต้องอยู่ใน VRAM หรือ RAM ของระบบที่เร็วพอ รุ่น Qwen ขนาดใหญ่ต้องการฮาร์ดแวร์ระดับเวิร์กสเตชัน และบริบทที่ยาวทำให้ขนาด cache เพิ่มขึ้นอย่างมาก
• เวลาตั้งค่า การเลือกการควอนไทซ์ เทมเพลตแชท และการตั้งค่า sampler ต้องใช้การลองผิดลองถูก เทมเพลตแชทที่ผิดเพียงอย่างเดียวอาจทำให้โมเดลที่ดีดูผิดปกติ
• ความเร็ว การ์ดจอผู้บริโภคและการออฟโหลด CPU สร้างโทเคนได้ช้ากว่าเซิร์ฟเวอร์ที่ปรับแต่งสำหรับปริมาณงาน ซึ่งสำคัญสำหรับงานแบบแบตช์
• การบำรุงรักษา มีเช็คพอยต์ใหม่ปรากฏขึ้นอย่างต่อเนื่อง คุณจึงต้องดาวน์โหลดและทดสอบซ้ำ

สำหรับผู้สนใจงานอดิเรกที่มีการ์ดเหลือใช้ นั่นคือกิจกรรมสนุกๆ ในวันหยุดสุดสัปดาห์ แต่สำหรับทีมที่ต้องการเอนด์พอยต์ที่เสถียรภายในแอปพลิเคชัน นั่นคือโปรเจกต์รองที่แข่งขันกับโปรเจกต์หลัก

ทางเลือกแบบโฮสต์

เราให้บริการ API แบบโฮสต์สำหรับผู้ที่ต้องการพฤติกรรมนี้โดยไม่ต้องใช้ฮาร์ดแวร์ เราให้บริการโมเดลแบบเปิดน้ำหนักเพียงโมเดลเดียว โดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่ปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย คุณเรียกใช้ผ่านอินเทอร์เฟซที่เข้ากันได้กับ OpenAI โดยระบุโมเดลเป็น uncensored

เข้าใจให้ชัดเจนว่าสิ่งนี้คืออะไรและไม่ใช่ สิ่งนี้ไม่ใช่ API Qwen ทางการ และไม่ใช่ router ที่ส่งต่อคำขอไปยัง Alibaba หรือผู้ขายรายอื่น เราไม่ได้เผยแพร่ model card ที่อ้างถึงเวอร์ชัน Qwen เฉพาะเจาะจง ดังนั้นอย่าถือว่าบริการนี้เป็น drop-in replacement สำหรับ checkpoint ชื่อใดชื่อหนึ่ง หากต้องการ build นั้นที่มีข้อจำกัดเฉพาะ ให้รันในเครื่อง

หากคุณต้องการโมเดลแชทแบบไม่เซ็นเซอร์ที่ทำงานได้เหมือนเดิมทุกวัน ด้วย URL ที่เสถียร การโฮสต์จะง่ายกว่า ข้อเท็จจริงที่เกี่ยวข้องมีดังนี้:

• วิธีการ: POST /v1/chat/completions และ GET /v1/models
• รองรับการสตรีม การเรียกใช้เครื่องมือ และโหมด JSON
• หน้าต่างบริบท 100,000 โทเคน รวมพรอมต์และการสร้างคำตอบ
• เฉพาะข้อความ ไม่มีรูปภาพ เสียง วิดีโอ การฝังตัว หรือการปรับแต่งเฉพาะทาง
• พรอมต์ไม่ถูกนำไปใช้ในการฝึกฝน
• ข้อจำกัดหนึ่งข้อ: ไม่อนุญาตให้มีเนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์

เอกสาร API ระบุพารามิเตอร์ที่รองรับทั้งหมด และคู่มือเปรียบเทียบ อธิบายว่าบริการแบบโฮสต์แบบจ่ายตามโทเคนเทียบเคียงกับวิธีอื่นๆ ในการได้โมเดลสไตล์ Qwen อย่างไร

ลองใช้ในห้าบรรทัด

เนื่องจากอินเทอร์เฟซปฏิบัติตาม schema ของ OpenAI SDK ใดๆ จึงใช้งานได้หลังจากเปลี่ยน base URL และคีย์ นี่คือตัวอย่างที่สั้นที่สุดด้วย Python:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the idea of abliteration in two sentences."}],
)
print(reply.choices[0].message.content)

การเรียกใช้เดียวกันด้วย curl:

Copycurl https://api.qwenabliterated.top/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

เพื่อดูว่าคีย์เข้าถึงอะไรได้ ให้เรียก GET /v1/models สร้างคีย์ที่หน้า API key บัญชีใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียว ใช้งานได้ 7 วัน และไม่จำเป็นต้องใช้บัตร ซึ่งเพียงพอสำหรับคำขอทดสอบสั้นๆ จำนวนหลายร้อยคำขอ

การรันในเครื่องหรือแบบโฮสต์: รายการตัดสินใจ

เลือกการรันในเครื่องเมื่อ:

• คุณต้องเก็บพรอมต์ทั้งหมดไว้ในเครื่องของคุณเอง โดยไม่มีการเรียกผ่านเครือข่ายเลย
• คุณต้องเลือก community checkpoint, quantisation หรือ LoRA เพียงประเภทเดียว
• คุณมี GPU ที่เหมาะสมอยู่แล้วและชอบปรับแต่งระบบ

เลือกเอนด์พอยต์แบบโฮสต์เมื่อ:

• คุณต้องการส่งแอปหรือบอท และต้องการ URL ที่ทำงานได้ต่อเนื่องในขณะที่คุณทำงานอย่างอื่น
• คุณต้องการบริบทที่ยาวโดยไม่จำเป็นต้องซื้อหน่วยความจำเพิ่ม
• การใช้งานของคุณมีลักษณะเป็นช่วงๆ การจ่ายตามโทเคนจึงคุ้มค่ากว่าการเป็นเจ้าของฮาร์ดแวร์ที่ว่างเปล่า
• คุณต้องการนำโค้ดไคลเอนต์สไตล์ OpenAI ที่มีอยู่แล้วมาใช้ใหม่

การใช้ทั้งสองวิธีร่วมกันเป็นเรื่องปกติ: ทดสอบพรอมต์ผ่าน API แบบโฮสต์ แล้วตัดสินใจว่าการรันในเครื่องคุ้มค่ากับความพยายามหรือไม่ เนื่องจากทั้งสองวิธีรองรับรูปแบบแชตเดียวกัน การสลับระหว่างกันจึงส่วนใหญ่หมายถึงการเปลี่ยน Base URL

ต้นทุน

ราคาอยู่ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens โดยใช้จาก prepaid credit โดยไม่มี subscription คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และเครดิตจะไม่หมดอายุ

ตัวอย่างการคำนวณ: พรอมต์ขนาด 3,000 tokens พร้อมคำตอบ 700 tokens มีค่าใช้จ่าย input 3,000 x $0.15 / 1M = $0.00045 บวก output 700 x $0.50 / 1M = $0.00035 รวมเป็น $0.0008 การเรียกใช้ขนาดนี้ 1,000 ครั้งคิดเป็น $0.80

การเติมเงินเป็นจำนวนเต็มใดๆ ตั้งแต่ $20 ถึง $500 พร้อมโบนัส 5% เมื่อเติมตั้งแต่ $50, 10% เมื่อเติมตั้งแต่ $100 และ 15% เมื่อเติมตั้งแต่ $200 คุณสามารถจ่ายด้วยด้วยคริปโต (USDT บน TRC20, USDC บน Base) ตารางราคาปัจจุบันอยู่ที่หน้า pricing

คู่มือเพิ่มเติม

• Qwen Abliterated API: เรียกใช้โมเดลแบบโฮสต์ ไม่ต้องใช้ GPU
• Qwen Abliterated Roleplay: การตั้งค่าและการตั้งค่า API
• ทางเลือก API uncensored