Поставить локальную нейросеть на телефон или компьютер проще, чем кажется. Разберем на практике несколько рабочих схем: мобильные приложения, офлайн-сервер на ПК и связку с Telegram-ботом. Все это работает без интернета, без VPN и без абонентской платы.
Что нужно для запуска локальной нейросети
Все упирается в железо. На телефоне нужны шустрый процессор и от 6-8 ГБ оперативной памяти. Современные флагманы на Snapdragon 8 Gen 2/3, MediaTek Dimensity или Google Tensor получили встроенный NPU, который заметно ускоряет вычисления. Пример: Samsung Galaxy S24 Ultra имеет 12 ГБ RAM, Google Pixel 8/9 - от 8 до 12 ГБ. Такие устройства тянут модели до 7 млрд параметров без особых проблем.
Для модели на 3-7 млрд параметров в квантованном виде нужно около 2-4 ГБ памяти под загрузку. Плюс примерно столько же для вычислений. Если в телефоне 8 ГБ, модель на 7B - потолок. При 4-6 ГБ лучше брать модели на 1-3 млрда параметров.
На компьютере проще. Ollama или LM Studio могут работать даже на ноутбуке с 8 ГБ RAM, но для скорости желательна видеокарта с 6+ ГБ VRAM. Для мелких моделей хватит и CPU.
Как поставить локальную нейросеть на Android
На Android есть два рабочих инструмента. Первый - экспериментальное приложение Google AI Edge Gallery. Его нет в Play Store, только APK, поэтому придется включить установку из неизвестных источников. Нужен Android 8 или новее.
Порядок такой:
- Скачиваете APK AI Edge Gallery и устанавливаете.
- В приложении подключаете аккаунт Hugging Face.
- Выбираете модель, например Gemma-3n-E4B-int4.
- Ждете, пока модель скачается в память устройства.
- Используете чат или распознавание текста с камеры.
Модель Gemma-3n-E4B-int4 весит от 500 МБ до 4 ГБ в зависимости от конфигурации. После загрузки все работает офлайн. В демо Google приложение навело камеру на список покупок и распознало его в текст. Это полноценный инструмент, а не игрушка.
Второй вариант: PocketPal AI. Он бесплатный, кроссплатформенный и не требует регистрации. PocketPal работает с моделями GGUF. В приложении сразу есть рекомендованные чат-боты: Danube, Microsoft Phi, Google Gemma 2, Qwen, LLaMA. Выбираете одного из них, и приложение скачает модель. Затем просто пишете в чат. Никаких лишних настроек.
Как поставить локальную нейросеть на iPhone
На iPhone сценарий похож. PocketPal AI доступен в App Store, поэтому устанавливать его можно без обходных путей. После запуска выбираете модель или загружаете свою из Hugging Face вручную. Учтите, что iOS-устройства, особенно старые, заметно греются на моделях от 4B. Легкие модели вроде Danube или Gemma 2 на 2-3 млрда параметров работают стабильно.
Вариант с Apple Core ML тоже есть, но сторонние приложения вроде PocketPal куда удобнее. Поэтому для локальной нейросети на iPhone советую именно PocketPal.
Как поставить локальную нейросеть на компьютер
Участники r/LocalLLaMA на Reddit советуют использовать Ollama как самый быстрый способ поднять локальную модель. Это открытая утилита, которая запускает нейросеть одной командой. Установка занимает около 15 минут при нормальном интернете. Скачиваете установщик с официального сайта, ставите, затем в терминале выполняете:
ollama run llama3.1
Ollama сама скачает нужные файлы и запустит модель. После этого можно общаться в терминале или через API. По умолчанию Ollama поднимает сервер на http://localhost:11434. Запросы отправляются на эндпоинт /api/generate.
Для тех, кто не любит консоль, есть графические клиенты: LM Studio, Open WebUI, GPT4All. Они делают то же самое, только с интерфейсом поудобнее. Но основа все равно Ollama или llama.cpp.
Как подключить локальную нейросеть к Telegram
Связка с Telegram удобна: нейросеть доступна с любого устройства, где есть мессенджер. Работает безлимитно и бесплатно, потому что вычисления идут на вашем компьютере, а Telegram выступает просто интерфейсом.
Возьмите Llama 3.1 или любую другую модель в Ollama. Создайте бота через BotFather, получите токен. Дальше нужен код, который принимает сообщения из Telegram и отправляет их в Ollama. Хватит 20-30 минут и базового Python. Все запросы уходят на локальный http://localhost:11434/api/generate, а ответы отправляются обратно в чат.
Я проверил такую связку на практике: бот держит форматирование, переносы строк, отвечает на вопросы по коду. Если задача сложная, ответ может занять больше времени, но это ожидаемо. Для личного использования такой связки достаточно.
Где скачивать модели и какие выбрать
Модели для локального запуска скачиваются с Hugging Face. Каталог там огромный, тысячи вариантов. Легко запутаться в форматах. Для Ollama и мобильных приложений нужен GGUF - формат, оптимизированный для запуска без GPU. Он уже квантованный, то есть с пониженной точностью. Самые популярные уровни квантования: Q4 и Q5. Они дают хороший баланс между размером и качеством. Q8 точнее, но весит почти вдвое больше.
Для телефона выбирайте модели с числом параметров до 7B. Для компьютера можно 13B, а при наличии мощной видеокарты до 30B и выше. Если сомневаетесь, берите популярные семейства: LLaMA, Mistral, Gemma, Qwen, Phi. Они хорошо работают в Ollama и PocketPal.
Почему локальные модели не заменят облачные сервисы
Локальная нейросеть экономит деньги и сохраняет приватность. Но есть серьезные ограничения. Модель не знает ничего после даты обучения. Она не умеет обращаться к интернету без специальных инструментов. Когда нужны свежие данные или актуальный контент, локальная модель бессильна.
Вторая проблема: скорость. На мобильных устройствах большие модели генерируют по 5-10 токенов в секунду. Это терпимо для коротких ответов, но не для длинных текстов или кода. На CPU картина похожая.
Третье ограничение - аппетиты по памяти. Чем больше модель, тем меньше ресурсов остается под другие задачи. Многие флагманы не справляются со слишком большими моделями.
Поэтому локальные модели хороши для конкретных сценариев: черновики, перевод, суммаризация, простые вопросы. Для полноценной работы с текстами, генерации картинок и видео лучше подходят облачные решения.
Альтернатива: 3GPT для доступа ко всем нейросетям из России
В России доступ к зарубежным нейросетям часто упирается в оплату и блокировки. Иностранные карты не работают, банки отказывают. Если не хочется мучиться с локальной установкой, есть готовый сервис 3GPT от 3SELLER. Сервис работает как ИИ-роутер и дает прямой доступ к флагманским моделям из России. За 149 рублей в месяц вы получаете Chat GPT 6 Astra, Claude Fable 5, Claude Fable 5.1, Claude Opus 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol. Плюс генерация изображений Nano Banana и генерация видео.
Оплатить можно российской картой, через СБП или криптой. Никаких иностранных карт не нужно. Переходите на официальный сайт 3GPT и подключайтесь за пару минут.
3GPT пригодится в повседневных задачах бизнеса и работы: продающие тексты, сайты, обработка изображений, генерация видео и голоса. Все происходит в облаке, без нагрузки на ваше железо.
Еще одна фишка: готовые ИИ-агенты под разные задачи. Вы выбираете агента, общаетесь с ним, а модель меняете прямо в чате. Для контента, кода и анализа данных там целая коллекция заготовок. Посмотреть агентов можно на странице 3seller.com/ai/agents.
Локальная нейросеть - это приватность, независимость от интернета и полный контроль. Облачный сервис - мощность и удобство. Если хотите сравнить оба формата, начните с бесплатной модели в Ollama, а для сложных задач откройте 3GPT.