Qwen 3.5 Abliterated: что это значит и варианты хостинга

Что подразумевают под аблатерированной qwen 3.5

Когда кто-то ищет qwen 3.5 abliterated, он обычно хочет одно из двух: загружаемую контрольную точку модели Qwen, из которой удалено поведение отказа, или способ общения с такой моделью без владения GPU. Обе цели разумны, но ведут к разным настройкам, поэтому полезно разделить их на раннем этапе.

Qwen — это семейство языковых моделей с открытыми весами, опубликованное Alibaba. Базовые и инструктивные выпуски обучены отказывать в определённых запросах. «Аблатерированной» называют вариант, в котором это поведение отказа было хирургически уменьшено постфактум. Название — смесь слов «абляция» и «уничтожение», и оно прижилось.

Осторожно с номерами версий. Семейства моделей часто получают новые релизы, а загрузчики называют файлы в зависимости от базовой модели, с которой начинали. Мы не отслеживаем, какая именно сборка является самой новой, и на этой странице не утверждается, что наша размещённая модель — это какой-то конкретный чекпоинт Qwen. Что мы можем описать точно, так это технику, практические компромиссы и предоставляемый нами сервис.

Как работает аблитерация

Исследователи, изучающие отказ в чат-моделях, обнаружили, что склонность к отказу может быть обобщена, с хорошей точностью, как одно направление во внутреннем пространстве активации модели. Подайте модели набор промптов, которые она отказывается выполнять, и набор, который она принимает, сравните скрытые состояния, и разница указывает на «направление отказа».

Аблитерация берёт это направление и изменяет матрицы весов так, чтобы модель больше не могла писать вдоль него. Редактирование — это проекция, применяемая один раз к сохранённым весам. Здесь нет градиентного спуска по большому набору данных, поэтому один человек с одной машиной может опубликовать модифицированную контрольную точку в течение нескольких часов после появления базовой модели.

Чем это отличается от дообучения

Дообучение изменяет поведение, обучая на новых примерах. Оно может научить стилю, персонажу или формату. Аблитерация только убирает поведение; она ничего не добавляет. Модель, прошедшая аблитерацию, пишет в том же стиле, что и оригинал, и сохраняет те же знания, за исключением большей части колебаний.

Многие опубликованные модели «uncensored» сочетают оба шага: сначала аблитерируют, затем слегка дообучают, чтобы восстановить качество. Если карточка модели не указывает, какой метод использовался, предполагайте, что вы не можете этого знать.

Чем приходится жертвовать по качеству

Редактирование весов не бесплатно. Некоторые аблитерированные контрольные точки теряют немного точности в рассуждениях или следовании инструкциям, а некоторые становятся повторяющимися или выходят из характера в длинных чатах. Качество варьируется в зависимости от загрузчика, от того, насколько агрессивно было удалено направление, и от квантования, которое вы скачиваете. Относитесь к каждой сборке как к отдельной модели и тестируйте её на своих промптах.

Почему метка не гарантирует качество

Карточки моделей для аблитерированных загрузок пишутся отдельными лицами, а не лабораторией с процессом выпуска. Утверждения, такие как «без отказов» или «такое же качество, как у оригинала», обычно основаны на нескольких промптах. Это нормально для хобби, но это слабые доказательства для чего-то, на что вы планируете положиться.

Разумная проверка, прежде чем строить что-либо на основе любой сборки: напишите двадцать промптов из вашего реального варианта использования, включая несколько, которые оригинальная инструктивная модель отказалась бы выполнять, запустите их и прочитайте ответы. Обратите внимание, как часто модель остаётся в рамках задачи, как она обрабатывает длинный системный промпт и сохраняет ли она формат, такой как JSON. Этот небольшой тест расскажет вам больше, чем число в рейтинге.

Запуск аблитерированной сборки самостоятельно

Если вы хотите полного контроля, локальный инференс — это законный путь. Вы скачиваете веса, выбираете квантованный формат и предоставляете к ним доступ с помощью среды выполнения, такой как llama.cpp, Ollama или vLLM. Ничего не покидает вашу машину, и вы можете менять контрольные точки, когда хотите.

Затраты носят практический, а не концептуальный характер:

• Память. Модель и её KV-кэш должны помещаться в VRAM или быструю системную RAM. Более крупные варианты Qwen требуют оборудования класса рабочей станции, а длинные контексты резко увеличивают размер кэша.
• Время настройки. Выбор квантования, шаблона чата и настроек сэмплера требует проб и ошибок. Один неправильный шаблон чата может заставить хорошую модель выглядеть сломанной.
• Скорость. Потребительские GPU и выгрузка на CPU генерируют токены медленно по сравнению с сервером, настроенным на пропускную способность, что важно для пакетных заданий.
• Обслуживание. Постоянно появляются новые контрольные точки, поэтому вам придётся заново скачивать и заново тестировать.

Для любителя с запасной картой это веселые выходные. Для команды, которой нужен стабильный эндпоинт внутри приложения, это побочный проект, конкурирующий с основным.

Альтернатива с хостингом

Мы запускаем хостинговый API для людей, которым нужно поведение без оборудования. Он обслуживает одну модель с открытыми весами, запущенную независимым провайдером и настроенную на ответы без отказов по контенту для законного использования взрослыми. Вы вызываете её как uncensored через интерфейс, совместимый с OpenAI.

Чётко понимайте, что это такое и чем это не является. Это не официальный API Qwen, и это не маршрутизатор, перенаправляющий запросы в Alibaba или любого другого поставщика. Мы не публикуем карточку модели, утверждающую конкретный выпуск Qwen, поэтому не рассматривайте сервис как готовую замену одной конкретной контрольной точке. Если вам нужна именно эта сборка с её конкретными особенностями, запустите её локально.

Если вам нужна модель чата без цензуры, которая ведёт себя одинаково каждый день, со стабильным URL, хостинг проще. Соответствующие факты:

• Методы: POST /v1/chat/completions и GET /v1/models.
• Поддерживаются потоковая передача, вызов функций и JSON-режим.
• Контекстное окно на 100 000 токенов, промпт плюс завершение.
• Только текст. Никаких изображений, аудио, видео, эмбеддингов или дообучения.
• Промпты не используются для обучения.
• Одно жесткое ограничение: нет контента сексуального характера с участием несовершеннолетних.

Документация API перечисляет все поддерживаемые параметры, а руководство по сравнению подробно рассматривает, как хостинг с оплатой за токен соотносится с другими способами получения модели в стиле Qwen.

Попробуйте за пять строк

Поскольку интерфейс следует схеме OpenAI, любой SDK OpenAI работает после изменения базового URL и ключа. Вот самый короткий полезный пример на Python:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.qwenabliterated.top/v1",
    api_key="YOUR_API_KEY",
)

reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the idea of abliteration in two sentences."}],
)
print(reply.choices[0].message.content)

Тот же вызов с curl:

Copycurl https://api.qwenabliterated.top/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Чтобы узнать, к чему может получить доступ ключ, вызовите GET /v1/models. Создайте ключ на странице API-ключей. Новые аккаунты могут получить $0.50 пробного баланса в один клик, действительного в течение 7 дней и без необходимости ввода карты, чего достаточно для нескольких сотен коротких тестовых запросов.

Локальный или хостинг: список вариантов

Выберите локальный инференс, когда:

• Вам нужно хранить каждый промпт на своей собственной машине, без никаких сетевых вызовов.
• Вам нужен один конкретный чекпоинт сообщества, квантование или LoRA.
• У вас уже есть подходящий GPU и вам нравится настраивать стек.

Выберите хостинговый эндпоинт, когда:

• Вы хотите выпустить приложение или бота и вам нужен URL, который остаётся доступным, пока вы работаете над чем-то другим.
• Вам нужен длинный контекст без покупки памяти для него.
• Ваша нагрузка скачкообразная, поэтому оплата за токен выгоднее владения простаивающим оборудованием.
• Вы хотите повторно использовать существующий клиентский код в стиле OpenAI.

Распространён смешанный подход: создавайте прототипы промптов на размещённом API, а затем решайте, стоит ли локальная сборка затраченных усилий. Поскольку оба варианта поддерживают один и тот же формат чата, переход между ними в основном означает изменение базового URL.

Сколько это стоит

Стоимость — $0,15 за 1 млн входных токенов и $0,50 за 1 млн выходных токенов, списание с предоплаченного баланса, без подписки. За неудачные или отклонённые запросы оплата не взимается, а баланс не сгорает.

Пример расчёта: промпт из 3 000 токенов и ответ на 700 токенов обходятся в 3 000 × $0,15 / 1M = $0,00045 за ввод плюс 700 × $0,50 / 1M = $0,00035 за вывод, итого $0,0008. Тысяча таких запросов обойдётся в $0,80.

Пополнение доступно на любую целую сумму от $20 до $500 с бонусом 5% от $50, 10% от $100 и 15% от $200. Оплата доступна криптовалютой (USDT в сети TRC20, USDC в сети Base). Текущая таблица цен указана на странице тарифов.

Дополнительные руководства

• API Qwen Abliterated: вызов хостинговой модели без GPU
• Ролевая игра Qwen Abliterated: настройки и настройка API
• Альтернатива API без цензуры