DeepSeek гремит по всем новостям, а сервера периодически падают от наплыва пользователей. Если вам надоело ловить ошибки в веб-версии или хочется держать данные под полным контролем, локальный запуск - это то, что нужно.
Но есть нюанс: просто скачать и запустить не получится. Нужно понимать, какая модель вам подходит, сколько памяти потребуется и через какой инструмент запускать. Спойлер: для большинства задач хватит ноутбука со 128 ГБ RAM и никакой видеокарты.
Рассказываю по опыту, без воды.
Что вообще значит «запустить DeepSeek локально»
Локальный запуск - это когда модель работает на вашем железе, а не на серверах DeepSeek. Вы скачиваете веса модели и выполняете их на своем компьютере или арендованном сервере с GPU.
С архитектурной точки зрения DeepSeek-R1 основана на базовой модели DeepSeek-V3, которую улучшили с помощью контролируемой тонкой настройки (SFT) и обучения с подкреплением (RL). Это не отдельная модель с нуля, а доработанная версия с усиленными рассуждениями.
Ради чего это делать:
- Конфиденциальность - данные не покидают вашу машину
- Скорость - нет задержек на передачу данных и очереди
- Независимость - не нужно ждать, пока спадет нагрузка на серверах
- Гибкость - можно тонко настроить под свои задачи
Какие модели DeepSeek можно запускать
Тут важно не запутаться. Есть полноразмерные модели DeepSeek-R1 (671 млрд параметров) и дистиллированные версии поменьше. Для локального запуска чаще берут дистилляты на базе Qwen и Llama.
Дистилляция - это когда знания большой модели переносят в меньшую. Размер меньше, скорость выше, а качество для многих задач остается приличным.
Варианты:
- DeepSeek-R1-Distill-Qwen-1.5B - для слабых машин
- DeepSeek-R1-Distill-Qwen-7B - золотая середина
- DeepSeek-R1-Distill-Qwen-14B - ближе к топу
- DeepSeek-R1-Distill-Qwen-32B - уже серьезно
- DeepSeek-R1-Distill-Llama-8B - вариант на базе Llama
- DeepSeek-R1-Distill-Llama-70B - почти флагман
Для полноразмерной DeepSeek-R1 нужно несколько видеокарт с суммарной памятью от 300+ ГБ. Это серверный уровень, дома такое редко встретишь. Поэтому для локального запуска берите дистиллированные версии или квантованные чекпоинты.
Требования к железу: без иллюзий
Самый частый вопрос - потянет ли ноутбук с RTX 3060. Короткий ответ: зависит от версии.
Для моделей до 7B параметров нужно минимум 8-16 ГБ видеопамяти. На Reddit практики сходятся во мнении, что для 7B хватает и 8 ГБ, но запас не помешает. Для 14B уже 16-24 ГБ. А для 32B лучше иметь от 32 ГБ.
Но есть лайфхак: можно запускать модели в оперативной памяти, без видеокарты. Инструменты вроде llama.cpp умеют раскладывать веса в RAM. Тогда требования к GPU отпадают, но скорость падает в разы.
Мой опыт: на MacBook Air M2 с 16 ГБ памяти запускал DeepSeek-R1-Distill-Qwen-7B в квантовании Q4_K_M. Работало, но отвечало с задержкой. Для интерактивного общения терпимо, но без фанатизма.
Если хотите комфортной работы с моделями 14B и выше, смотрите в сторону GPU с 24 ГБ памяти. Вроде RTX 3090 или 4090. На них уже можно нормально гонять 32B модели с квантованием.
Инструменты для запуска DeepSeek
Инструментов много, но реально нужных - четыре.
Ollama
Самый простой способ. Установил, выполнил команду, получил чат. Одна команда:
ollama run deepseek-r1:7b
Ollama сама скачает модель, настроит запуск и даст доступ через командную строку или REST API. Подходит для тех, кто хочет быстро попробовать и не лезть в дебри.
LM Studio
Графический интерфейс для тех, кто не любит командную строку. Скачали, выбрали модель из каталога, нажали Load. LM Studio сама подберет квантование и настройки под ваше железо. Идеально для новичков.
llama.cpp
Для тех, кто хочет максимального контроля. Билдите или скачиваете готовые бинарники, указываете путь к модели в GGUF-формате, запускаете. Поддерживает GPU-ускорение через CUDA, Metal, Vulkan. Настраивается до мелочей.
vLLM
Серверный вариант для высоких нагрузок. Высокопроизводительный движок, который используют на проде. Требует Linux и GPU, зато скорость генерации в разы выше.
Полный гайд с примерами установки и настройки всех этих инструментов есть на GitHub - можно найти по запросу «deepseek-local-guide-ru». Там разбирают запуск на ПК, Mac и сервере, включая Open WebUI, RAG, агентов и fine-tuning.
Пошаговый запуск через Ollama на ПК
Начнем с самого простого сценария.
Шаг 1. Скачайте и установите Ollama с официального сайта.
Шаг 2. Откройте терминал и выполните:
ollama run deepseek-r1:7b
Если модель не определится автоматически, Ollama предложит скачать нужные файлы. Ждете завершения загрузки и все, можно общаться прямо в терминале.
Шаг 3. Для веб-интерфейса установите Open WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Открываете http://localhost:3000 и общаетесь с DeepSeek через браузер.
Запуск через llama.cpp для максимального контроля
Ollama хороша, но если нужно тонко настроить количество потоков, контекст и квантование, берите llama.cpp.
Клонируете репозиторий, собираете:
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make
Скачиваете модель в GGUF-формате с Hugging Face. Например, для DeepSeek-R1-Distill-Qwen-7B ищете файл с суффиксом Q4_K_M.gguf.
Запускаете:
./main -m models/deepseek-r1-distill-qwen-7b.Q4_K_M.gguf -p "Ваш вопрос" -n 1024
Все. Модель работает. Для интерактивного чата добавьте флаг -i.
Если есть NVIDIA GPU, соберите с поддержкой CUDA:
make LLAMA_CUDA=1
И тогда модель будет частично загружаться в видеопамять, что ускорит генерацию.
Запуск на Mac с Apple Silicon
На Mac все проще, потому что Metal ускоряет работу с моделями прямо в unified memory.
Через Ollama:
brew install ollama
ollama run deepseek-r1:7b
Через llama.cpp: соберите с поддержкой Metal:
make LLAMA_METAL=1
И запустите тот же main с моделью. Apple Silicon отлично справляется с 7B и даже 13B моделями при наличии достаточной памяти.
Серверный вариант: облако с GPU
Домашний ПК не всегда справляется. Для серьезной работы берите арендованный сервер с GPU. Это не обязательно физическая машина рядом с вами - можно арендовать изолированную среду с выделенными ресурсами в облаке.
Такой подход дает три вещи:
- Полная изоляция и безопасность данных
- Масштабирование под нагрузку
- Доступ к нескольким устройствам в локальной сети
На сервере лучше всего использовать vLLM или Ollama в режиме сервера. Например, с Ollama:
ollama serve
И все устройства в сети могут обращаться к модели по REST API.
Квантование: экономим память без катастрофической потери качества
Квантование - это способ уменьшить размер модели за счет снижения точности весов. Вместо 16-битных чисел используем 4-битные или 8-битные.
Форматы вроде Q4_K_M, Q5_K_M, Q8_0 позволяют запускать большие модели на среднем железе. Качество страдает незначительно, а требования к памяти падают в разы.
Для DeepSeek-R1-Distill-Qwen-32B в квантовании Q4_K_M нужно около 20 ГБ памяти. Для 7B версии - всего 4-5 ГБ.
Мой совет: не берите квантование ниже Q4. На Q2 и Q3 модель начинает заметно тупить и выдавать бессвязные ответы.
Запустить DeepSeek локально реально на современном ноутбуке. Если у вас 32+ ГБ RAM или видеокарта с 8+ ГБ VRAM, можно смело экспериментировать с дистиллированными моделями.
Начинайте с Ollama и модели 7B - это самый быстрый способ понять, нужно ли вам это вообще. Потом переходите на llama.cpp и более крупные версии.
Но если локальный запуск кажется сложным или не хватает железа, есть более простой путь. Сервис 3GPT от 3SELLER дает доступ ко всем флагманским нейросетям из России. Chat GPT 6 Astra, Claude Fable 5, Claude Opus 5.5 и даже DeepSeek-подобные рассуждающие модели работают без VPN и иностранных карт.
Всего за 149 рублей в месяц. Пополнить баланс можно российской картой, через СБП или криптовалютой.
Кроме моделей, там есть готовые ИИ агенты под разные задачи - выбираете агента, меняете модель в чате и решаете задачу. Интерфейс выглядит примерно так:
А для генерации изображений и видео есть приятные бонусы. В общем, если хотите пользоваться топовыми нейросетями без боли с железом и региональными ограничениями, загляните на 3seller.com/3gpt.
Начните с модели 7B через Ollama - это займет 10 минут и даст реальное представление о возможностях локального запуска. Дальше уже решите, стоит ли переходить на более крупные версии или использовать облачные сервисы.