Qwen 3.5 Abliterated: Ý nghĩa và tùy chọn lưu trữ

Ý nghĩa mà mọi người đề cập đến khi nói về qwen 3.5 abliterated

Khi ai đó tìm kiếm qwen 3.5 abliterated, họ thường muốn một trong hai điều: một checkpoint tải về của mô hình Qwen đã loại bỏ hành vi từ chối, hoặc cách để giao tiếp với mô hình đó mà không cần GPU. Cả hai đều là mục tiêu hợp lý và dẫn đến các thiết lập khác nhau, nên việc phân biệt chúng sớm sẽ hữu ích.

Qwen là một họ các mô hình ngôn ngữ trọng số mở do Alibaba công bố. Các bản base và instruct được huấn luyện để từ chối một số yêu cầu nhất định. "Abliterated" là nhãn mà những người tải lên cộng đồng đặt cho một biến thể mà hành vi từ chối đó đã được giảm bớt một cách có chọn lọc sau khi huấn luyện. Cái tên là sự kết hợp của "ablation" và "obliterated", và nó đã trở nên phổ biến.

Một lưu ý về số phiên bản. Các họ mô hình thường xuyên có bản phát hành mới, và những người tải lên đặt tên tệp của họ dựa trên bản gốc mà họ bắt đầu từ đó. Chúng tôi không theo dõi bản dựng mới nhất là gì, và không có gì trên trang này cho rằng mô hình lưu trữ của chúng tôi là một checkpoint Qwen cụ thể nào. Những gì chúng tôi có thể mô tả chính xác là kỹ thuật, các đánh đổi thực tế và dịch vụ chúng tôi vận hành.

Cách hoạt động của abliteration

Các nhà nghiên cứu nghiên cứu về sự từ chối trong các mô hình chat đã tìm thấy rằng xu hướng từ chối có thể được tóm tắt, với độ chính xác tốt, như một hướng duy nhất trong không gian kích hoạt nội bộ của mô hình. Đưa vào mô hình một tập hợp các prompt mà nó từ chối và một tập hợp mà nó chấp nhận, so sánh các trạng thái ẩn, và sự khác biệt chỉ ra một "hướng từ chối".

Abliteration lấy hướng đó và chỉnh sửa các ma trận trọng số để mô hình không thể viết dọc theo hướng đó nữa. Chỉnh sửa là một phép chiếu áp dụng một lần cho các trọng số đã lưu. Không có gradient descent trên một tập dữ liệu lớn, đó là lý do tại sao một người với một máy đơn lẻ có thể xuất bản một checkpoint đã sửa đổi trong vòng vài giờ sau khi mô hình gốc xuất hiện.

Sự khác biệt với fine-tuning

Fine-tuning thay đổi hành vi bằng cách huấn luyện trên các ví dụ mới. Nó có thể dạy một phong cách, một nhân vật hoặc một định dạng. Abliteration chỉ loại bỏ một hành vi; nó không thêm gì. Một mô hình đã được abliterated viết cùng giọng điệu với bản gốc và giữ nguyên kiến thức, trừ phần do dự.

Nhiều mô hình "uncensored" được công bố kết hợp cả hai bước: thực hiện abliteration trước, sau đó fine-tune nhẹ để sửa chữa mất mát chất lượng. Nếu mô tả mô hình không nói rõ nó sử dụng cái nào, hãy giả định rằng bạn không thể biết.

Chi phí về chất lượng

Việc chỉnh sửa trọng số không miễn phí. Một số checkpoint đã được abliterated có thể giảm độ chính xác một chút trong suy luận hoặc làm theo hướng dẫn, và một vài mô hình có thể trở nên lặp lại hoặc lệch khỏi nhân vật trong các cuộc trò chuyện dài. Chất lượng thay đổi tùy theo người tải lên, mức độ loại bỏ hướng và lượng hóa bạn tải xuống. Hãy coi mỗi bản dựng là một mô hình riêng và kiểm tra nó trên các prompt của chính bạn.

Tại sao nhãn này không bảo đảm chất lượng

Thẻ mô hình cho các bản tải lên abliterated được viết bởi các cá nhân, không phải bởi một phòng thí nghiệm có quy trình phát hành. Các tuyên bố như "không từ chối" hoặc "chất lượng như bản gốc" thường dựa trên một vài prompt. Điều đó ổn cho một sở thích, nhưng đó là bằng chứng mỏng manh cho bất cứ điều gì bạn muốn dựa vào.

Một kiểm tra hợp lý trước khi xây dựng trên bất kỳ bản dựng nào: viết hai mươi prompt từ trường hợp sử dụng thực tế của bạn, bao gồm một vài cái mà mô hình instruct gốc sẽ từ chối, chạy chúng và đọc câu trả lời. Ghi chú tần suất mô hình giữ đúng nhiệm vụ, cách nó xử lý một prompt hệ thống dài và liệu nó có giữ một định dạng như JSON không. Bài kiểm tra nhỏ đó cho bạn biết nhiều hơn một số bảng xếp hạng.

Tự chạy bản dựng abliterated

Nếu bạn muốn kiểm soát hoàn toàn, suy luận tại chỗ là một con đường hợp lệ. Bạn tải xuống các trọng số, chọn một định dạng lượng hóa và phục vụ chúng với một thời gian chạy như llama.cpp, Ollama hoặc vLLM. Không có gì rời khỏi máy của bạn và bạn có thể hoán đổi checkpoint bất cứ khi nào bạn muốn.

Chi phí là thực tế hơn là khái niệm:

• Bộ nhớ. Mô hình và bộ nhớ đệm KV của nó phải vừa trong VRAM hoặc RAM hệ thống nhanh. Các biến thể Qwen lớn hơn cần phần cứng cấp máy trạm, và ngữ cảnh dài làm tăng kích thước bộ nhớ đệm đáng kể.
• Thời gian thiết lập. Việc chọn lượng hóa, mẫu trò chuyện và cài đặt bộ lấy mẫu đòi hỏi thử và sai. Chỉ riêng một mẫu trò chuyện sai cũng có thể khiến một mô hình tốt trông như bị lỗi.
• Tốc độ. GPU tiêu dùng và CPU offload tạo token chậm hơn so với máy chủ được tinh chỉnh cho thông lượng, điều này quan trọng đối với các công việc hàng loạt.
• Bảo trì. Các checkpoint mới xuất hiện liên tục, vì vậy bạn sẽ phải tải xuống và kiểm tra lại.

Đối với một người đam mê có một thẻ dự phòng, đó là một cuối tuần vui vẻ. Đối với một nhóm cần một endpoint ổn định trong một ứng dụng, đó là một dự án phụ cạnh tranh với dự án thực sự.

Phương án thay thế lưu trữ

Chúng tôi vận hành một API lưu trữ cho những người muốn có hành vi mà không cần phần cứng. Nó phục vụ một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không có từ chối nội dung cho người trưởng thành sử dụng hợp pháp. Bạn gọi nó là uncensored thông qua giao diện tương thích OpenAI.

Hãy rõ ràng về những gì dịch vụ này là và không phải là. Đây không phải là API Qwen chính thức, và cũng không phải là bộ định tuyến chuyển tiếp đến Alibaba hoặc bất kỳ nhà cung cấp nào khác. Chúng tôi không công bố thẻ mô hình tuyên bố một phiên bản Qwen cụ thể, vì vậy đừng coi dịch vụ này là bản thay thế trực tiếp cho một checkpoint có tên cụ thể. Nếu bạn cần bản dựng chính xác đó, với những đặc điểm riêng của nó, hãy chạy nó tại chỗ.

Nếu bạn cần một mô hình chat uncensored hoạt động giống nhau mỗi ngày, với một URL ổn định, việc lưu trữ đơn giản hơn. Các sự kiện liên quan:

• Phương thức: POST /v1/chat/completions và GET /v1/models.
• Hỗ trợ truyền phát (streaming), gọi hàm và chế độ JSON.
• Cửa sổ ngữ cảnh 100.000 token, prompt cộng với kết quả hoàn thành.
• Chỉ văn bản. Không có hình ảnh, âm thanh, video, embedding hoặc fine-tuning.
• Các prompt không được sử dụng để huấn luyện.
• Một giới hạn cứng: không có nội dung tình dục liên quan đến người chưa thành niên.

Tài liệu API liệt kê mọi tham số được hỗ trợ, và hướng dẫn so sánh giải thích cách lưu trữ trả theo token so với các cách khác để có được một mô hình kiểu Qwen.

Thử nó trong 5 dòng mã

Vì giao diện tuân theo lược đồ OpenAI, bất kỳ SDK OpenAI nào cũng hoạt động sau khi thay đổi URL cơ sở và khóa. Dưới đây là ví dụ hữu ích ngắn nhất bằng Python:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the idea of abliteration in two sentences."}],
)
print(reply.choices[0].message.content)

Cùng một lệnh gọi với curl:

Copycurl https://api.qwenabliterated.top/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Để liệt kê những gì khóa có thể truy cập, gọi GET /v1/models. Tạo một khóa trên trang khóa API. Tài khoản mới có thể nhận $0.50 tín dụng dùng thử với một cú nhấp chuột, hợp lệ trong 7 ngày và không cần thẻ, đủ cho vài trăm yêu cầu thử nghiệm ngắn.

Local hay lưu trữ: danh sách quyết định

Chọn suy luận cục bộ khi:

• Bạn phải giữ mọi prompt trên máy của riêng mình, không gọi mạng nào cả.
• Bạn cần một checkpoint cộng đồng cụ thể, lượng hóa hoặc LoRA.
• Bạn đã sở hữu một GPU phù hợp và thích tinh chỉnh stack.

Chọn endpoint lưu trữ khi:

• Bạn muốn phát hành một ứng dụng hoặc bot và cần một URL luôn hoạt động trong khi bạn làm việc trên thứ khác.
• Bạn cần ngữ cảnh dài mà không cần mua bộ nhớ cho nó.
• Lượng sử dụng của bạn theo đợt, vì vậy trả tiền theo token hiệu quả hơn sở hữu phần cứng nhàn rỗi.
• Bạn muốn tái sử dụng mã khách hàng kiểu OpenAI hiện có.

Một phương pháp hỗn hợp là phổ biến: thử nghiệm prompt trên API lưu trữ, sau đó quyết định xem bản dựng tại chỗ có đáng nỗ lực không. Vì cả hai đều hỗ trợ cùng định dạng chat, di chuyển giữa chúng chủ yếu có nghĩa là thay đổi base URL.

Chi phí sử dụng

Giá cả là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra, từ tín dụng trả trước không có đăng ký. Các yêu cầu thất bại hoặc bị từ chối không được tính phí và tín dụng không hết hạn.

Một ví dụ đã được kiểm chứng: một prompt gồm 3.000 token với câu trả lời 700 token tốn 3.000 x $0,15 / 1M = $0,00045 cho đầu vào cộng với 700 x $0,50 / 1M = $0,00035 cho đầu ra, tổng cộng là $0,0008. Một nghìn lệnh gọi như vậy tốn $0,80.

Mức nạp tiền là các số nguyên từ $20 đến $500, kèm theo ưu đãi 5% từ $50, 10% từ $100 và 15% từ $200. Bạn có thể thanh toán bằng tiền mã hóa (USDT trên TRC20, USDC trên Base). Bảng giá hiện tại có trên trang giá.

Hướng dẫn khác

• API Qwen Abliterated: Gọi mô hình được lưu trữ, không cần GPU
• Qwen Abliterated Roleplay: Cài đặt và thiết lập API
• API thay thế không kiểm duyệt