3SELLER Journal 3SELLER →

Как написать свою LLM: 3 пути, датасет и реальный счёт на 5 цифр

22.11.2026

Ко мне приходят с одним и тем же запросом: нужна своя LLM. Дальше выясняется, что половине заявителей не нужна модель. Нужен ассистент, который знает их документы, говорит их голосом и не уходит в фантазии на теме их же продукта. Разница принципиальная. Обучение с нуля - это миллионы долларов и полгода жизни. Ассистент на базе чужой модели - пара недель и один сервер с GPU.

Поэтому до первой строчки кода ответьте себе, что именно вы собираете. Ниже три пути, которые люди называют одинаковыми словами, хотя это разные проекты с разным бюджетом и разными сроками.

Три пути, и обучение с нуля только один из них

Претрейн с нуля. Вы берёте архитектуру трансформера, сыплете в неё терабайты текста и получаете базовую модель, которая умеет только продолжать последовательность. Следования инструкциям там ещё нет. Самый дорогой и самый бессмысленный путь для 99% задач.

Второй путь - файнтюнинг. Берёте открытую модель (Llama, Qwen, Mistral, Gemma), меняете веса на своём датасете и получаете поведение под свою задачу. Дёшево, быстро, предсказуемо. Именно так в реальности и появляются «свои LLM» у компаний.

RAG не трогает модель вообще. Готовите базу знаний, ищете по ней релевантные куски и подкладываете их в контекст запроса. Ноль обучения, обновляется за минуты, но модель остаётся чужой.

Комбинация двух последних закрывает почти всё, что бизнес называет «своя LLM». Дальше - по шагам, как это устроено и где именно люди сжигают бюджет.

Датасет решает больше, чем архитектура

Классическая ошибка новичка: неделю выбирать между GPT-подобной архитектурой и чем-то экзотическим, а потом за вечер наскрести 200 мегабайт текста из интернета. Всё наоборот. Архитектура у всех примерно одна и та же с 2017 года, а данные у всех разные. Именно они определяют, будет модель полезна или бесполезна.

Сырые данные чистят от мусора, дублей, битых кодировок, рекламы и навигационного шума с сайтов. Убирают персональные данные и то, на что у вас нет прав. Дедупликация даёт больше прироста качества, чем кажется: в веб-корпусах до 30-40% повторов, и модель просто переобучается на одних и тех же абзацах. На Reddit в тредах про обучение моделей этот пункт всплывает чаще любого другого: люди месяцами крутят гиперпараметры поверх корпуса, где треть текста - копипаста.

Дальше текст разбивается на части и превращается в структуру, понятную модели. Для претрейна это длинные последовательности токенов, для файнтюнинга - пары «инструкция и ответ». Если своих данных мало, их расширяют: перефразирование, перевод с других языков, генерация синтетических примеров. Работает с оговоркой. Синтетика от слабой модели притащит в датасет её же ошибки и странный стиль. Проверять придётся руками.

И обязательный шаг, который пропускают чаще всего: разбиение на train, validation и test. Без валидационной выборки вы не увидите момент, когда модель начала зубрить вместо того, чтобы учиться. Без тестовой - не поймёте, работает ли она на данных, которых никогда не видела.

Токенизация, эмбеддинги и скучная часть, на которой всё сыпется

Модель не видит буквы. Она видит числа. Токенизатор (обычно byte pair encoding) режет текст на куски и каждому даёт индекс в словаре. Размер словаря обычно от 32 до 128 тысяч токенов, и от этого зависит очень многое.

Живой пример. Токенизатор, обученный в основном на английском, съедает русское предложение в два, а то и в три раза большим числом токенов, чем английское той же длины. Это бьёт по кошельку: контекстное окно забивается быстрее, инференс дороже, длинные тексты на русском модель держит хуже. Делаете модель под русский - обучайте токенизатор на своём корпусе, а не берите дефолтный.

Дальше эмбеддинги. Каждый токен превращается в вектор размерности 768, 2048 или 4096, зависит от масштаба. К векторам добавляются позиционные кодировки, иначе модель не отличит «собака укусила человека» от «человек укусил собаку». Всё это подаётся в трансформер.

Трансформер: attention, causal-маска и вот вы уже пишете GPT

Сердце любой современной LLM - механизм self-attention. Каждый токен смотрит на все предыдущие и решает, насколько они важны для предсказания следующего. Multi-head attention делает это параллельно в нескольких подпространствах, чтобы ловить разные типы связей: синтаксис, смысл, отсылки к предыдущим абзацам.

Для генеративных моделей добавляется causal-маска: токен не имеет права подглядывать вперёд. Без неё модель на обучении просто спишет ответ и ничему не научится.

Пройти этот путь руками можно по двум проверенным маршрутам. Книга Себастьяна Рашки «Build a Large Language Model (From Scratch)» ведёт от текстовых данных и эмбеддингов через self-attention и transformer-блоки к полноценной GPT и претрейну. У репозитория на GitHub больше 106 тысяч звёзд, а код разложен по главам - повторяй шаг за шагом. Второй маршрут - nanoGPT: несколько сотен строк, которые обучают маленькую модель на «Шекспире» за час на одной видеокарте. После него архитектура перестаёт быть магией.

Сколько на самом деле стоит претрейн

По правилу Chinchilla для качественного обучения нужно примерно 20 токенов на каждый параметр модели. Модель на 1 миллиард параметров требует около 20 миллиардов токенов. Это десятки гигабайт чистого текста, а не «пара книжек и форум».

Дальше железо. Один узел из 8 видеокарт H100 в аренде стоит порядка 25-30 долларов в час. Обучение миллиардной модели на 20 миллиардах токенов на такой сборке занимает не дни, а недели - с отладкой, перезапусками и падениями. Умножьте и получите пятизначную сумму в долларах. Для модели уровня 70B счёт идёт на сотни тысяч, для флагманов вроде 400B - на десятки миллионов. Llama 3 405B обучали примерно на 30 миллионах GPU-часов.

Претрейн с нуля оправдан в трёх случаях: вы исследовательская лаборатория, у вас есть уникальный корпус, которого нет ни у кого, или задача принципиально не решается чужой моделью. Во всех остальных деньги уходят в попытку повторить то, что уже сделано.

Файнтюнинг: своя модель за выходные и без кредита на GPU

Здесь начинается практика. Берёте открытую базовую модель, собираете датасет из пар «инструкция и правильный ответ» и дообучаете. Полный файнтюнинг 7B модели поднимает требования к памяти настолько, что нужны A100, но есть LoRA.

LoRA не меняет исходные веса. Она добавляет маленькие обучаемые матрицы к слоям attention, и количество тренируемых параметров падает до долей процента от общего. QLoRA идёт дальше: базовая модель грузится в 4-битном квантовании, и 7-8B модель дообучается на одной видеокарте с 24 ГБ памяти. Домашний уровень. На датасете в 1-5 тысяч качественных примеров получается внятный результат за несколько часов. В гайдах Hugging Face по PEFT предупреждают о том же: LoRA охотно переобучается на маленьком наборе, так что валидация обязательна.

Что критично в датасете для файнтюнинга. Единый формат инструкции. Разнообразие формулировок одной и той же задачи, иначе модель заучит шаблон. И валидация ответов. Генератор заметок по шаблону из примера на конференции TechWeek - как раз файнтюнинг: скачали модель, скормили ей правильные заметки, проверили, что она стабильно выдаёт корректные ответы, и только тогда приняли работу.

RAG против файнтюнинга: там, где путается большинство

Разницу формулируют так: файнтюнинг меняет веса, RAG даёт модели контекст. Дальше конкретика, потому что именно здесь половина проектов выбирает не тот инструмент.

Файнтюнинг - про форму. Стиль, тон, структура ответа, формат вывода, следование инструкциям, специфическая логика рассуждения. Нужно, чтобы модель писала как ваш лучший менеджер по продажам, - это файнтюнинг.

RAG - про факты. Прайсы, регламенты, договоры, база знаний поддержки, документация. Факты меняются каждый день, и переобучать модель ради нового прайса - безумие. Документы готовят по структуре, режут на чанки по 500-800 токенов с перекрытием в 10-15%, считают эмбеддинги, кладут в векторную базу и на запросе подставляют релевантные куски в промпт.

Рабочая схема для большинства проектов: RAG для знаний плюс лёгкий файнтюнинг для тона и формата. По отдельности оба инструмента дают результат хуже, чем вместе.

Модель, которая врёт уверенно, хуже отсутствия модели

Даже хорошо обученная LLM ошибается, особенно на нестандартных и новых ситуациях. Опасность не в самой ошибке, а в подаче: гладкий, уверенный тон на вымышленных фактах убеждает пользователя сильнее, чем осторожная правда.

В проект с самого начала закладывают три вещи. Проверяемость ответов - ссылку на источник или цитату из базы. Объяснимость вывода хотя бы на уровне «на основании каких документов». И явные границы компетенции: модель должна уметь сказать, что данных нет, вместо того чтобы сочинять.

Технически это делается через оценочный набор. Соберите 200-300 реальных вопросов с эталонными ответами, прогоняйте через каждую новую версию модели и смотрите на метрики, а не на ощущения. Без такого golden set вы будете спорить о вкусах, а не измерять качество.

Пока своя модель тренируется, задачи надо чем-то закрывать

Практический момент, о котором забывают в гайдах. Файнтюнинг занимает недели, претрейн - месяцы, а работать нужно сегодня. Держать под рукой флагманские модели хочется без танцев с зарубежными картами и VPN.

Для этого есть ИИ роутер 3GPT от 3SELLER: доступ ко всем ключевым нейросетям из России по цене от 149 рублей, оплата российской картой, через СБП или криптой. Внутри - Chat GPT 6 Astra, the model 5, the model 5.1, the model 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol, Nano Banana для изображений, генерация видео и многое другое. Удобно для сравнения поведения моделей на ваших тестах: погоняли один и тот же промпт через три флагмана, посмотрели, чей стиль ближе к нужному, и уже под него собирали датасет.

Получить доступ ко всем флагманским моделям нейросетей из России можно на официальном сайте 3GPT.

ИИ роутер 3GPT: доступ к флагманским нейросетям из России

Сценарии повседневные: продающие тексты, лендинги, разбор документации, идеи для датасета. Последнее реально экономит время. Попросить модель набросать 300 вариантов формулировок одной задачи, отфильтровать мусор руками и получить черновик обучающего набора - вполне рабочий приём.

Готовые ИИ агенты вместо ещё одного велосипеда

Отдельная фишка, которая экономит недели: готовые ИИ агенты под конкретные задачи. Выбираете агента и начинаете общение, а модель внутри можно менять прямо в чате. Для тех, кто только примеряется к своей LLM, это способ понять, какие задачи вообще стоит решать моделью, а какие закрываются обычным скриптом.

Посмотреть набор агентов можно здесь: готовые ИИ агенты 3GPT.

Готовые ИИ агенты 3GPT под задачи бизнеса

Картинки и видео: та часть, которую недооценивают

Про генерацию изображений вспоминают в последнюю очередь, а зря. Половина проектов с «своей LLM» упирается в то, что модель выдаёт отличный текст, а к нему нужна визуалка: обложки, иллюстрации в статью, карточки товара, превью для соцсетей. Отдельно тренировать диффузионную модель под это не нужно, инструменты уже есть.

Создавать реалистичные фотографии и обрабатывать изображения можно через лучшие ИИ инструменты для изображений, там же генерация видео и голоса. Для контентных задач хватает с запасом.

Генерация реалистичных изображений через 3GPT

Инструменты 3GPT для изображений и видео

С чего начать на этой неделе

Если задача звучит как «написать свою LLM», начните не с архитектуры, а с данных. Соберите 500 своих документов или 500 реальных диалогов с клиентами. Сформулируйте 200 вопросов, на которые модель обязана отвечать правильно, и зафиксируйте эталонные ответы. Прогоните их через пару флагманов вроде Chat GPT 6 Astra и the model 5 - увидите, где ломаются. Ломаются на фактах - вам нужен RAG, это вопрос двух недель. Ломаются на тоне и формате - нужен файнтюнинг через LoRA, это вопрос одного выходного на арендованной видеокарте.

Претрейн с нуля отложите до момента, когда появится уникальный корпус, команда и бюджет, который не жалко потерять. До этого ваша «своя LLM» - чужая база, ваши данные и ваша инженерия вокруг них. Честно говоря, лучший вариант из возможных.

← Вернуться к блогу

Читать дальше