3SELLER Journal 3SELLER →

Как развернуть LLM на своем сервере за один вечер и срезать счет за API с 280 до 38 тысяч

21.11.2026

В прошлом месяце клиент принес счет за API на 280 тысяч рублей. Я открыл логи и увидел, что половина запросов тривиальна: классификация обращений, суммаризация писем, вытаскивание реквизитов из счетов. Развернули открытую модель на двух арендованных видеокартах, и в текущем месяце та же нагрузка обошлась в 38 тысяч. На весь переезд ушло полтора вечера. Рассказываю, как развернуть LLM на своем сервере: от выбора железа до первого рабочего запроса. Заодно честно покажу, когда свой сервер вам вообще не нужен.

Зачем вообще держать LLM у себя

Сервер держат по трем причинам. Первая: данные. Медицинские карты, договоры, внутренняя переписка: отправлять такое во внешний API юридически рискованно, а в банках и медицине прямо запрещено. Свой сервер закрывает вопрос: веса модели и все тексты остаются у вас.

Вторая: экономика на объеме. Стабильные несколько миллионов токенов в день превращают подписку на API в статью расходов, которую хочется резать. Своя инфраструктура при ровной нагрузке выходит дешевле в разы.

Третья: контроль. Нет лимитов на запросы, нет внезапной смены поведения модели после тихого обновления провайдера, нет зависимости от чужой политики доступности.

Обратная сторона тоже есть. Флагманские закрытые модели уровня GPT и Claude самохостить невозможно в принципе: их весов нет в открытом доступе, и это не временная ситуация. Открытые модели в сложных рассуждениях им уступают. Плюс вся операционная нагрузка ложится на вас: обновления, бэкапы, безопасность. Поэтому перед стартом я всегда спрашиваю не "какую модель взять", а "какая задача и какой объем данных". От ответа зависит все дальнейшее.

Теперь честно про деньги. Свой сервер выгоден на предсказуемой нагрузке. Пиковые продажи, разовые кампании, эксперименты раз в месяц: там аренда по часам или готовый сервис выигрывают с разгромом, потому что собственное железо простаивает и жжет деньги.

Железо: главное это видеопамять

Именно VRAM определяет, какая модель вообще поместится. Грубое правило: веса в половинной точности занимают около 2 гигабайт на каждый миллиард параметров. Модель на 7B требует порядка 14 ГБ, на 30B уходит под 60. Сверху добавляется KV-кэш: он хранит промежуточное состояние диалога и растет с длиной контекста и числом одновременных пользователей. Плюс небольшие буферы под активации.

Частый вопрос: одна свежая карта или две старые. В обсуждениях на Reddit владельцы таких связок сходятся в закономерности: на одиночных запросах современная архитектура выигрывает по скорости генерации, но связка с тензорным параллелизмом дает суммарную видеопамять, которой хватает для длинных контекстов и батчей. Для продакшена с очередями запросов два GPU почти всегда практичнее одной карты.

Ориентиры по деньгам. Аренда сервера с двумя RTX 3090 стоит порядка 150 рублей в час, за вечер отладки отдадите около тысячи. Покупка аналогичной машины обойдется в 250-300 тысяч. Для экспериментов аренда вне конкуренции, покупать железо стоит при стабильной нагрузке, когда вы посчитали точку окупаемости.

Квантизация: как уместить большую модель в маленькую карту

AWQ, GPTQ и GGUF: названия методов сжатия весов. Суть одна: вместо 16 бит на параметр храним 4-5, при этом качество падает на проценты, а не в разы. AWQ-квант модели на 30B весит около 18-20 ГБ вместо 60 и помещается на две 3090 с запасом под кэш.

Мой рабочий дефолт: искать на Hugging Face версии с пометкой AWQ или GPTQ от известных квантизаторов. GGUF чаще встречается в экосистеме llama.cpp и Ollama, AWQ и GPTQ роднее движку vLLM. Перепутаете формат, сервер откажется грузить модель, и вы потратите полчаса на поиск причины, которая написана в логах мелким шрифтом.

Быстрый путь: Ollama за десять минут

Если цель звучит как "поставить и попробовать", начинайте с Ollama. По сути это Docker для LLM: сервис сам скачивает веса, раскидывает их между видеопамятью и оперативкой, поднимает командную строку и REST API. Возни с зависимостями Python ноль.

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen2.5:7b

Команда ollama run скачает модель на несколько гигабайт и сразу даст ей вопрос в терминале. API слушает порт 11434 и совместим с OpenAI-форматом, поэтому большинство готовых клиентов подхватится простой заменой адреса сервера.

Ограничение у Ollama одно, но существенное: пропускная способность под нагрузкой. Нормального батчинга параллельных запросов нет, и десять одновременных пользователей выстраиваются в очередь. Для личного использования, прототипа и внутреннего чат-бота на отдел хватит с головой. В тредах на Reddit этот совет повторяется постоянно: счет одновременных запросов пошел на десятки, переходите на vLLM.

Серьезный путь: vLLM для продакшена

vLLM стал индустриальным стандартом инференса не на пустом месте. Механизм PagedAttention упаковывает KV-кэш настолько плотно, что на тех же картах обслуживается в разы больше параллельных запросов. Наружу при этом торчит API, совместимый с OpenAI по формату: миграция существующего кода сводится к смене base_url.

Готовим сервер. Беру образ Ubuntu 24.04 с предустановленной CUDA 12.8: это экономит час возни с драйверами и версиями. Доступ настраиваю только по SSH-ключам, парольную аутентификацию отключаю сразу же. Дальше два компонента:

curl -fsSL https://get.docker.com | sh
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

NVIDIA Container Toolkit нужен, чтобы контейнеры видели видеокарты. Без него Docker поднимется, а любая попытка обратиться к GPU завершится ошибкой. Запускать vLLM рекомендую именно в контейнере: внутри образа уже собраны совместимые версии CUDA, PyTorch и самих библиотек. Чинить конфликты зависимостей на хосте не придется.

Версию образа фиксируйте явно, как в команде ниже: vLLM обновляется часто, и поведение флагов между версиями иногда меняется. Воспроизводимость важнее новизны, продакшен не место для экспериментов с тегом latest.

Команда запуска: разбираем каждый флаг

Вот команда, которой я поднимаю Qwen3-30B на двух 3090. Выглядит громоздко, но в ней спрятано полдесятка осознанных решений:

sudo docker run --ipc=host --log-opt max-size=10m --log-opt max-file=1 --rm -it --gpus device=0,1 --shm-size=32g --env VLLM_USE_V1=0 -p 8000:8000 --mount type=bind,source=/home/ubuntu/.cache,target=/root/.cache vllm/vllm-openai:v0.10.0 --model cognitivecomputations/Qwen3-30B-A3B-AWQ --max-model-len 8000 --dtype half --gpu-memory-utilization 0.90 --disable-log-requests --no-enable-prefix-caching --tensor-parallel-size 2

Слева направо. --gpus device=0,1 отдает контейнеру две конкретные карты; на сервере с одной видеокартой пишите device=0. --shm-size=32g увеличивает разделяемую память: при тензорном параллелизме процессы обмениваются гигантскими объемами данных, дефолтных 64 МБ катастрофически не хватает. Сервер падает с ошибкой, которая никак не намекает на настоящую причину. --ipc=host решает смежную проблему доступа к разделяемой памяти.

Пара флагов --log-opt ограничивает размер логов Docker: без них журнал за месяц разрастается до гигабайтов и съедает диск. -p 8000:8000 открывает порт API. --mount пробрасывает директорию кэша с хоста внутрь: модель на пару десятков гигабайт скачается один раз и переживет перезапуск. Без этого монтирования каждый запуск контейнера начинается с многочасовой загрузки весов заново, и да, я на этом однажды обжегся.

Параметры модели. --max-model-len 8000 ограничивает максимальную длину контекста: чем меньше контекст, тем меньше памяти уходит под KV-кэш и тем больше одновременных запросов влезает в VRAM. Ставьте по реальной потребности задачи, а не по паспорту модели. --gpu-memory-utilization 0.90 разрешает движку занять 90% видеопамяти, оставшиеся 10% отходят системе. --dtype half включает половинную точность, стандарт для инференса.

--tensor-parallel-size 2 раскладывает слои модели на обе карты, число должно совпадать с количеством GPU в --gpus. --no-enable-prefix-caching отключает кэширование общих префиксов промптов: на повторяющихся системных промптах оно ускоряет ответ, но съедает память, для чистого старта проще выключить. --disable-log-requests запрещает движку писать содержимое запросов в логи, что для клиентских данных принципиально.

Выбор модели на Hugging Face

В команде фигурирует cognitivecomputations/Qwen3-30B-A3B-AWQ, и выбор не случаен. AWQ в названии означает 4-битное квантование: весов вчетверо меньше, качество почти не страдает. A3B говорит, что из 30 миллиардов параметров на каждый токен активны лишь 3: это MoE-архитектура, смесь экспертов, и генерация идет заметно быстрее полных 30B при том же объеме знаний.

Алгоритм выбора собственной модели простой. Заходите на Hugging Face, фильтруете по лицензии с разрешением коммерческого использования, смотрите на размер файла и соотносите с вашей VRAM: веса должны помещаться с запасом 20-30% на кэш и активации. Дальше читаете карточку модели: у живых проектов свежие коммиты, активные обсуждения и бенчмарки под вашу задачу, будь то код, русский язык или извлечение структурированных данных.

Мониторинг и первый запрос

Модель на 30B AWQ грузится 10-15 минут даже на быстром канале. Пока она качается, в соседнем терминале запустите watch -n 1 nvidia-smi. Видно, как заполняется видеопамять и греются карты. Если процесс умер на загрузке, в девяти случаях из десяти это нехватка памяти: лечится снижением --max-model-len или gpu-memory-utilization.

Сервер поднялся, проверяем кодом. Клиент OpenAI работает без единого изменения, кроме адреса:

from openai import OpenAI

client = OpenAI(base_url='http://localhost:8000/v1', api_key='none')
resp = client.chat.completions.create(
    model='cognitivecomputations/Qwen3-30B-A3B-AWQ',
    messages=[{'role': 'user', 'content': 'Объясни квантование AWQ в двух предложениях'}]
)
print(resp.choices[0].message.content)

Тот же код, который ходил в официальный API, теперь стучится в ваш сервер. Нюанс: имя модели в запросе должно совпадать с тем, что указано в --model, иначе vLLM ответит ошибкой вместо генерации.

Для стриминга ответов тот же клиент принимает параметр stream=True, и токены приходят по мере генерации. В интерфейсах это ощущение скорости, в конвейерах обработки данных возможность начать парсить ответ до его завершения.

Не выставляйте API голым в интернет

Типовая ошибка первого запуска: порт 8000 открыт всему миру, и уже через сутки сканеры находят ваш сервер. Открытый инференс без защиты превращается в бесплатный хостинг для чужих запросов за ваш счет. Минимальный рубеж: Nginx спереди с базовой аутентификацией.

server {
    listen 80;
    server_name llm.your-domain.com;
    location / {
        auth_basic Restricted;
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://localhost:8000;
        proxy_buffering off;
        proxy_read_timeout 600s;
    }
}

Здесь критичны две строки. proxy_buffering off отключает буферизацию ответа, иначе стриминг токенов деградирует до долгого ожидания всего текста разом. proxy_read_timeout 600s дает длинным генерациям время досчитать до конца. В продакшене поверх этого ставьте HTTPS и полноценные API-ключи: базовая аутентификация лишь нижняя планка гигиены.

Масштабирование: вертикаль или горизонталь

Нагрузка выросла, два пути. Вертикальный: добавить GPU на тот же сервер и поднять --tensor-parallel-size. Быстро и просто, но у каждой машины есть потолок, а топовые карты стоят как подержанный автомобиль.

Горизонтальный: поднять несколько одинаковых серверов с одной моделью и завести их за балансировщик. HAProxy или Nginx с алгоритмом Least Connections отправляет каждый запрос на наименее загруженный узел, клиенты ничего не замечают, потому что API везде идентичен. Администрирования больше, зато схема переживает пики и падение отдельного узла.

Грабли, на которые я наступал

Список проблем, на которых потерял больше всего времени, чтобы вы потеряли меньше:

Экономика вопроса

Прикинем на цифрах. Аренда двух 3090 стоит около 150 рублей в час. Круглосуточная работа выливается примерно в 110 тысяч в месяц. Если нагрузка прерывистая, сервер можно гасить между сессиями и платить за фактические часы: при восьми рабочих часах в день выходит порядка 36 тысяч. Свое железо за 300 тысяч окупается за три-четыре месяца непрерывной работы, дальше вы в плюсе, но и администрирование остается на вас.

Сравните с историей из начала: 280 тысяч за API против 40-110 тысяч на своей инфраструктуре. Экономия реальна, но достается за счет вашего времени на поддержку, мониторинг и обновления. Считайте это скрытой статьей расходов, она добавляет 10-15% к видимой стоимости владения.

Когда свой сервер не нужен вообще

Честная часть статьи. Если ваша задача звучит как "писать продающие тексты, делать изображения, разбирать документы на максимальном качестве", вам нужны флагманы. GPT и Claude самохостинг не дает в принципе, а покупать карту за несколько сотен тысяч ради модели на 30B, которая все равно слабее, сомнительная инвестиция для большинства бизнес-задач.

В таких случаях я использую 3GPT от 3SELLER. Сервис дает прямой доступ из России ко всем флагманским моделям: Chat GPT 6 Astra, Claude Fable 5 и Claude Fable 5.1, Claude Opus 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol. Подписка от 149 рублей, оплата российской картой, через СБП или криптой, никакой возни с иностранными картами. Получить доступ ко всем флагманским моделям нейросетей можно на официальном сайте 3GPT.

Для повседневных задач в бизнесе и работе этого хватает почти на все: продающие тексты, сайты, обработка документов.

3GPT: доступ ко всем нейросетям из России

Отдельная фишка сервиса, готовые ИИ-агенты под конкретные задачи. Выбираете нужного в каталоге на https://3seller.com/ai/agents и сразу начинаете общение, модель агента меняется прямо в чате без пересоздания диалога.

Готовые ИИ-агенты 3GPT

Генерация изображений тоже на борту: Nano Banana создает максимально реалистичные фотографии, там же генерируются видеоролики и голос. Отдельный инструмент под реалистичные фото доступен на странице генерации изображений.

Реалистичные изображения через 3GPT

Инструменты генерации изображений 3GPT

Рабочая гибридная схема, к которой приходят многие: рутинные высокочастотные операции (классификация, извлечение данных, черновые саммари) крутятся на своей дешевой модели, а сложные генерации идут во флагманы через 3GPT. Так счет за API режется в разы без потери качества там, где качество действительно важно.

С чего начать прямо сегодня

Практический план на ближайший вечер. Возьмите в аренду сервер с одной RTX 4090 на пару часов, поставьте Ollama, запустите Mistral 7B и прогоните свои реальные промпты. За тысячу рублей вы узнаете, тянет ли открытая модель вашу задачу по качеству. Тянет: разворачивайте vLLM по инструкции выше и считайте экономику против API. Не тянет: подключайтесь к 3GPT и работайте с флагманами без единого гигабайта своего железа. Любой из этих путей лучше, чем молча оплачивать растущий счет за чужой API.

← Вернуться к блогу

Читать дальше