Первый мой RAG отвечал уверенно и мимо. База - четыреста страниц внутренних регламентов, индекс собрал за вечер, а на вопрос про лимит командировочных в Германии бот выдал абзац про отпускные. Причем с таким видом, будто так и надо.
С тех пор я собрал десяток таких систем и вывел простое правило: RAG почти никогда не ломается на модели. Он ломается на скучных штуках - парсинге PDF, размере чанка, выборе эмбеддинга и промпте, в котором забыли запретить фантазировать.
RAG - это не нейросеть, это конвейер
Retrieval-Augmented Generation расшифровывается скучно: поиск плюс генерация. Модель не выучивает ваши документы наизусть, она получает нужные куски в контексте и отвечает по ним. Качество ответа зависит от того, что именно вы положили в контекст. Процентов на восемьдесят.
Тонкая настройка LLM для большинства корпоративных задач больше не нужна. Дообучение на своих документах было болью: датасет, GPU, повторять при каждом обновлении регламента. RAG обновляется переиндексацией за десять минут.
Схема, которую я использую: собрать и почистить документы, нарезать на фрагменты, посчитать эмбеддинги, положить в векторную базу. Дальше гибридный поиск с реранкером, промпт, генерация, проверка и логи. По кругу - тест, правка, тест.
Шаг 1. Документы: мусор на входе дает мусор на выходе
Реальность российского документа - скан в PDF без текстового слоя, docx с включенным трекингом правок, Excel с объединенными ячейками и Confluence-страница, где половина текста в макросах. Наивный парсер вытащит из этого набора кашу.
Что делаю я. Для PDF - pdfplumber или docling, для сканов - OCR, для таблиц отдельный путь: таблица, разрезанная на строки, теряет смысл. Колонтитулы, номера страниц и водяные знаки вычищаю регулярками. Первые двадцать документов проверяю глазами - дальше уже видно, где парсер врет.
Дальше метаданные. Минимум: источник, раздел, дата, версия, статус (актуален или архив). Без поля статуса бот однажды найдет регламент 2019 года и будет по-своему прав. Без даты не сделать фильтр «только свежее». Без ссылки на источник не сделать цитату, а цитата - половина доверия к системе.
Письма, чаты и тикеты в базу тоже попадают, но не все подряд. Мне хватило фильтра по вложениям и отсечения автоматических уведомлений. Иначе индекс на две трети состоит из «ваше обращение зарегистрировано».
Шаг 2. Чанкинг: здесь ломаются почти все самодельные RAG
Размер фрагмента - первый параметр, который крутят наугад. Видел конфиги с чанком на 2000 токенов: в контекст лезет простыня, релевантная фраза тонет в ней, модель отвечает общими словами. Видел по 100 токенов: смысл разрезан пополам, «не более 15 000 рублей» осталось в одном куске, а «при командировке в страны ЕС» в другом.
Мой рабочий диапазон - 300-500 токенов с перекрытием 10-15%. Перекрытие нужно, чтобы предложение на стыке не потерялось.
По стратегии резания есть три уровня. На уровне токенов - тупо и предсказуемо, рвет предложения. Семантическая фрагментация - красиво, но дорого и капризно. Фрагментация на уровне предложений и абзацев - компромисс, который я и выбираю: семантика сохраняется, реализация простая. На Reddit практикующие инженеры в таких спорах чаще хвалят структурное резание по заголовкам, чем «умную» семантику за деньги.
Две вещи дают прирост почти бесплатно. Первая: не резать таблицы, списки условий и код, держать их целыми блоками. Вторая: добавлять в начало каждого чанка контекстный префикс с заголовком раздела. Что-то вроде «Регламент командировок, раздел 4. Суточные. ...». Модель эмбеддингов видит не безымянный абзац, а фрагмент конкретного документа. У меня такой префикс поднял попадание в топ-5 с 0.62 до 0.79.
Шаг 3. Эмбеддинги и векторная база
Для русского беру мультиязычные модели: bge-m3, e5-large, jina. Они адекватно работают на смеси русского с английскими терминами, а в технической документации этой смеси всегда много. Если бюджет позволяет, пробую коммерческие эмбеддинги и сравниваю на своих вопросах.
Железное правило: модель эмбеддингов для индекса и для запроса одна и та же. Разные модели, даже хорошие, дают несравнимые векторы, и поиск тихо деградирует. Ошибка встречается чаще, чем кажется, особенно когда индексация и рантайм живут в разных сервисах.
Хранение. Миллион чанков на 1024 измерения во float32 - около 4 ГБ только на векторы, плюс индекс. Если денег мало, есть квантование, но на старте об этом думать рано.
Из баз: pgvector, если в проекте уже есть Postgres - меньше инфраструктуры, а для десятков тысяч чанков производительности хватает с запасом. Qdrant или Weaviate, если нужен масштаб и сложные фильтры по метаданным. Chroma - для прототипа на ноутбуке. Индекс HNSW, параметры m и ef_construction подбираю по замеру задержки, а не по статьям.
Обновление индекса: скучная часть, которая решает
Про переиндексацию вспоминают, когда бот третий месяц отвечает по устаревшей версии политики возврата. Я делаю так: у каждого документа есть хеш содержимого, при изменении пересчитываются только его чанки, старые удаляются по идентификатору источника. Полная пересборка раз в месяц как страховка.
И версионирование ответов. Храните, на какой версии документа был основан ответ. Когда юрист спрашивает, почему бот сослался на старую редакцию, вы откроете лог и ответите за минуту вместо дня раскопок.
Шаг 4. Поиск: чистый вектор проигрывает гибриду
Векторный поиск хорош, когда вопрос сформулирован иначе, чем документ. Плох, когда в вопросе артикул, номер договора, фамилия или аббревиатура: там нужен точный лексический матч. Поэтому почти всегда делаю гибрид - BM25 плюс вектор, результаты сливаю через reciprocal rank fusion.
Схема, которая у меня стабильно работает: первый этап достает 30-50 кандидатов, второй - реранкер на cross-encoder, который оставляет 5-8 лучших. Реранкер смотрит на пару «запрос-фрагмент» целиком и отсекает то, что векторно похоже, но по смыслу мимо. Самый недооцененный шаг. На Reddit об этом пишут примерно то же: смена реранкера на узкой предметной области дает больше, чем переход на модель в два раза дороже.
Фильтры по метаданным обязательны. Если вопрос про 2025 год, архивные документы надо отсечь до поиска, а не надеяться, что модель разберется.
Шаг 5. Промпт: модели нужно прямо запретить выдумывать
Стандартная ошибка - положить в контекст тридцать чанков и написать «ответь на вопрос». Модель утонет в шуме и добавит от себя. Пять-восемь хорошо отранжированных фрагментов дают лучший результат, чем тридцать случайных.
В промпте у меня всегда четыре блока: роль, правила, фрагменты, вопрос. Правила короткие и жесткие: отвечай только по фрагментам, если ответа нет - скажи «в базе знаний нет информации по этому вопросу», после утверждения ставь ссылку на источник. Температуру держу в районе 0.1-0.3: для фактических ответов креативность не нужна.
Честное «не знаю» надо разрешить явно. Иначе модель достроит ответ по общим знаниям, и вы получите красиво оформленную неправду. Для внутренней базы знаний это хуже, чем отсутствие ответа.
Шаг 6. Постпроцессинг: цитаты, проверка, логи
Ответ без источника в корпоративной среде не работает. Люди проверяют. Поэтому в конце каждого утверждения - ссылка на документ и страницу. Технически несложно: храните в метаданных чанка идентификатор и номер страницы, а модель просите ссылаться на них по номерам.
Дальше проверка привязки к источникам. Простой вариант - спросить у второй модели, подтверждается ли каждое утверждение фрагментом. Дороже по токенам, зато отсекает самые неприятные галлюцинации.
И логи. Сохраняйте вопрос, найденные чанки, ответ и оценку пользователя. Через две недели у вас будет датасет из реальных провалов, и он ценнее любых теоретических рассуждений о том, какой чанк-сайз правильный.
Не каждый вопрос требует поиска
Классификация запросов экономит деньги и нервы. «Привет», «кто ты», «переведи на английский» - не повод лезть в векторную базу. Вопрос по регламенту - повод. Запрос на аналитику («сколько всего обращений за квартал») требует не поиска фрагмента, а агрегации по таблице или вызова инструмента.
Ставлю легкий роутер на входе: он размечает тип запроса и решает, идти ли в retrieval, нужен ли другой индекс или хватит самой модели. На потоке в пару тысяч запросов в день получается заметная экономия, а качество растет, потому что меньше ложных срабатываний поиска.
Как понять, что стало лучше
Без метрик вы улучшаете на ощупь. Мой минимальный набор: сотня реальных вопросов с эталонными ответами и правильными источниками. Дальше считаю recall@k (попал ли нужный чанк в топ), MRR (насколько высоко он поднялся) и faithfulness (не выдумала ли модель лишнего).
Прогонять набор нужно после каждого изменения - новый чанкер, другая модель эмбеддингов, переписанный промпт. Иначе легко откатить систему в прошлое, искренне считая, что стало лучше. Я так терял неделю.
Отдельно смотрю на провалы глазами. Треть ошибок обычно в парсинге, треть в чанкинге, остальное в промпте. Модель виновата реже всего.
Готовый роутер вместо сборки всего с нуля
Собирать конвейер руками интересно, но иногда нужно быстро проверить гипотезу или просто получить доступ к нормальным моделям без пляски с картами и VPN. Для этого есть ИИ роутер 3GPT от 3SELLER: доступ к флагманским нейросетям из России, без иностранных карт. За 149 рублей стартуете и смотрите, как разные модели ведут себя на ваших вопросах.
Внутри: Chat GPT 6 Astra, the model 5, the model 5.1, the model 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol, Nano Banana для изображений, генерация видео. Пополнение баланса российской картой, через СБП или криптой. Для RAG удобно тем, что можно быстро сравнить две-три модели на одном наборе фрагментов и выбрать ту, что меньше фантазирует именно на вашей документации.

Практический сценарий: собрали индекс, прогнали сотню вопросов через разные модели, посмотрели faithfulness. Разница между флагманами на узкой предметной области бывает заметной, и угадать ее заранее нельзя.
Получить доступ ко всем флагманским моделям нейросетей из России можно на официальном сайте 3GPT - https://3seller.com/3gpt.
ИИ агенты под конкретную задачу
Отдельная штука, которая закрывает потребность в RAG для тех, кто не хочет писать код - готовые ИИ агенты под задачи. Выбираете агента, начинаете диалог, модель меняете прямо в чате. Для внутренней базы знаний этого часто достаточно: загрузили документы, сформулировали правила, проверили на десяти вопросах.

Агенты тут - https://3seller.com/ai/agents. Если нужна своя логика, чанкинг и реранкер, это не замена конвейеру, а способ быстро проверить, стоит ли вообще огород городить.
Картинки и видео тоже часть пайплайна
В рабочих базах знаний нужны не только тексты. Схемы, скриншоты интерфейсов, фотографии продукции. Реалистичные изображения делаю через отдельный инструмент - https://3seller.com/3gpt-image. Иногда проще сгенерировать иллюстрацию к инструкции, чем искать ее по архивам.


С чего начать на этой неделе
Не начинайте с миллиона документов. Возьмите двадцать самых нужных, соберите индекс, напишите тридцать реальных вопросов с эталонными ответами. Дальше минимальная схема: чанки по 400 токенов с префиксом раздела, мультиязычный эмбеддинг, pgvector, гибридный поиск, реранкер, промпт с запретом фантазировать и обязательной ссылкой на источник.
Прогоните, посмотрите на провалы. Скорее всего, половина окажется в парсинге таблиц, а не в модели. Почините, прогоните снова. Через неделю у вас будет работающий прототип, через месяц - система, которой пользуются.
Первое действие сегодня: выгрузите двадцать документов и тридцать вопросов в таблицу. Это дешевле месяца споров о том, какую модель брать.