Когда я впервые запускал свою модель анализа отзывов, я потратил две недели на архитектуру и оптимизацию гиперпараметров. Итог был печальный: точность 67%. Я грешил на модель, на фреймворк, на железо. А потом просто потратил день на чистку и расширение датасета и получил 91%. С тех пор у меня простое правило: данными заниматься важнее, чем архитектурой. Но откуда они берутся? Как нейросеть собирает данные? Сейчас расскажу как есть.
Сперва развею иллюзию. Нейросеть не собирает данные сама, если не считать редких случаев активного обучения. Обычно это инженеры и компания, которые выстраивают целый конвейер: источники, парсинг, разметка, очистка. Модель получает на вход уже готовый датасет. Именно от того, как организован сбор, зависит, заработает модель или нет.
Что скрывается за фразой «данные для нейросети»
В любом проекте машинного обучения данных бывает четыре типа: обучающие, валидационные, тестовые и контрольные. Обучающие нужны для настройки весов, валидационные для подбора гиперпараметров, тестовые для честной проверки, контрольные для финальной оценки на совсем новых примерах. И каждый из этих массивов собирается по своим правилам.
В производстве часто про это забывают. Я видел стартапы, где тестовую выборку брали из того же источника, что и обучающую. Модель показывала чудеса на истории, но ничего не умела в реальности. Потому что данные текли отовсюду и перемешивались.
Источники данных: от логов до синтетики
Открытых датасетов сейчас очень много. ImageNet для картинок, Common Crawl для текстов, LibriSpeech для аудио. Но бизнес чаще работает со своими данными, потому что чужие не отражают специфику.
Первый и самый надёжный источник это логи и транзакции. Посмотрите на X5 Retail Group, огромный российский ретейлер. Каждый день через магазины X5 проходят миллионы покупок. Каждый чек это структурированная запись: что купили, в каком количестве, за какую цену, в каком магазине, в какое время. Из этих записей строят модели прогнозирования спроса, динамического ценообразования, рекомендации. Самый настоящий сбор данных на высоких оборотах.
Второй источник это события в приложениях и на сайтах. FriFlex разрабатывает мобильные приложения и высоконагруженные проекты заказчиков. Перед запуском они продумывают аналитику: какие действия пользователя логировать, с какими параметрами, как связать события в сессии. Без этого любая модель рекомендательной системы будет слепа. Здесь сбор данных начинается на этапе проектирования продукта, а не после релиза.
Третий источник это продукты и процессы. Австралийская компания Patties Foods производит готовую еду. Чтобы оптимизировать рецептуры и следить за пищевой ценностью, она собирает данные о составе, анализы, результаты дегустаций. Нейросети тут помогают предсказывать, как изменится вкус при замене ингредиента, или предупреждать о рисках порчи.
Четвёртый источник это публичный интернет. Краулеры обходят сайты, форумы, блоги, соцсети и сохраняют содержимое. Так строятся гигантские корпусы текстов для языковых моделей. Например, Common Crawl содержит сотни миллиардов страниц. Но использовать это без фильтрации нельзя: там и спам, и порнография, и личные данные.
Пятый источник это синтетические данные. Иногда их нужно больше, чем настоящих. Например, для обучения модели поиска дефектов на производстве вы можете собрать тысячу фото деталей, но этого мало. Вы берёте 3D-модели, настраиваете освещение, ракурсы и генерируете ещё 50 тысяч изображений. Они неотличимы от реальных, и на них модель отлично тренируется.
Краулинг и парсинг: как автоматически наполнить корпус
Автоматический сбор материалов из интернета чаще всего начинается с парсера. Парсер ходит по страницам, вытягивает HTML, удаляет разметку и оставляет чистый текст. Простая задача, пока не встретится капча или защита от ботов.
Многие компании используют головные браузеры, которые выполняют JavaScript как настоящий человек. Это медленно, но зато видно динамический контент. Ещё используют API: если сайт предоставляет интерфейс для разработчиков, то данные можно забирать легально и структурированно.
После того как данные сгружены, начинается фильтрация. Дубликаты, мусор, реклама, тексты с неправильной кодировкой, всё это убирают. Часто для очистки используют отдельные нейросети: одну для определения спама, другую для выделения доменов, третью для дедупликации векторными эмбеддингами. Здесь нейросеть уже реально участвует в сборе данных для другой нейросети.
Разметка: как превратить данные в обучающий сигнал
Сырой текст бессмыслен для обучения, пока не размечен. Для задачи классификации отзывов нужны метки «позитив», «негатив», «нейтрально». Для детекции объектов, прямоугольники вокруг предметов. Для перевода, пары предложений на разных языках.
Ручная разметка остаётся золотым стандартом, но она дорогая. На краудсорсинговых платформах разметчики получают копейки, зато качество бывает разным. Поэтому в серьёзных пайплайнах применяют сверку: один и тот же пример размечают несколько человек и меряют согласованность.
Альтернатива это слабая разметка. Вы пишете набор правил или эвристик и автоматически присваиваете метки. Например, правило «отзыв со словом «ужасно» считается негативным» даст много ложных срабатываний, но вместе с другими правилами и проверкой может работать.
Активное обучение: когда модель сама отбирает примеры
Есть техника, которая реально позволяет нейросети влиять на сбор данных. Называется active learning. Идея в том, что модель получает отобранные инженерами данные, тренируется, а затем указывает на примеры, в которых она меньше всего уверена. Для этих примеров запрашивается разметка у человека, и они добавляются в тренировочный набор.
Такой подход сокращает расходы на разметку на 50-70%, особенно в случаях с несбалансированными классами. На Reddit практикующие инженеры в r/MachineLearning подтверждают: active learning реально экономит 50-70% бюджета на разметку. Тут нейросеть не собирает данные, но она отбирает, что собирать дальше.
Как чистят данные и почему без этого никуда
Загрязнение данных это главный убийца качества. Модель на 98% точности на тренировке и 70% на тесте, типичный признак перекоса или дедупликации, которой не было.
Стандартный цикл чистки включает удаление дубликатов, выбросов, исправление ошибок в метках, нормализацию текста и приведение к нижнему регистру. Также делают лемматизацию, а в редких случаях удаляют стоп-слова. Отдельно чистят повреждённые записи. А ещё обязательна проверка на data leakage, когда в обучающий набор попадают данные из будущего.
Пример с ритейлом: X5, собирая данные о покупках, не может использовать итоги месяца для прогноза продаж на середину месяца. Это же будущее, которого в реальной жизни ещё нет. Если такие поля случайно останутся в фичах, модель будет жульничать и провалится в продакшене.
Отдельно про тексты для языковых моделей
Для больших языковых моделей сбор данных идёт по особому пути. Сначала собирают огромный корпус текстов из интернета. Потом удаляют страницы с низким качеством, всё, что содержит персональные данные, и всё, что явно сгенерировано для SEO. Потом выделяют тексты высокого качества вроде книг и статей из Википедии.
Для русскоязычных моделей добавляется работа с кодировками и кириллицей, которой в зарубежных корпусах мало. Поэтому сбор русских текстов часто становится отдельной инженерной задачей.
Ошибки, которые я вижу постоянно
Одна из самых частых это вера в то, что больше данных автоматически означает лучше. Нет. Если добавить в датасет много шума, метрики вырастут на валидации и упадут на живых данных. Поэтому все лучшие практики сводятся к тому, чтобы собрать меньше, но качественнее.
Вторая ошибка, игнорировать смещение. Если ваши данные собраны только с одного канала, например только от покупателей одного магазина X5, модель не будет работать для других регионов. FriFlex, когда разрабатывает приложения, обязательно проверяет покрытие аудитории: разные ОС, сценарии, версии приложения. Иначе аналитика будет врать.
Третья ошибка, не думать о приватности. Сбор данных о клиентах и пользователях без согласия приводит к штрафам и репутационным потерям. На Reddit то и дело всплывают истории о штрафах за сбор данных без согласия. 152-ФЗ, GDPR, все они про одно: нельзя собирать всё подряд и хранить вечно. Нужны политики, согласия и анонимизация.
Практический рецепт сбора данных для своего проекта
Начните с малого. Сформулируйте задачу и подумайте, какая информация её решает. Потом найдите один-два надёжных источника, соберите с них данные в сыром виде. Обязательно сохраняйте метаданные: дату сбора, источник, версию. Потом сделайте первичную чистку и посмотрите, чего не хватает.
Если не хватает, добавьте синтетики или наймите разметчиков на пару недель. И обязательно сделайте тестовую выборку, которую вы не будете трогать до самого конца. Это спасёт вас от самообмана.
Когда возиться с данными не нужно
Честно скажу: иногда вся эта история с краулингом и разметкой не нужна. Если вы пишете посты для блога, делаете картинки или автоматизируете ответы клиентам, вам не нужно собирать собственный датасет. Вам нужна готовая нейросеть, причём лучшая из доступных.
Но доступ из России к флагманским моделям вроде ChatGPT и Claude закрыт. Банковские карты не работают, аккаунты блокируют, а VPN то радуют, то нет. Поэтому я перешёл на сервис 3GPT от 3SELLER и не жалею.
Сервис 3GPT это роутер, который соединяет вас с последними моделями. Chat GPT 6 Astra, Claude Fable 5, Claude Fable 5.1, Claude Opus 5.5, Chat GPT 5.5, а также Chat GPT 6.1 Sol. Для генерации изображений и видео есть Nano Banana и другие. Все они живут в одном окне, без лишних переключений и платных подписок по отдельности.
Пополнить баланс можно российской картой, через СБП или криптой. Никаких иностранных карт и танцев с бубном. Стоит доступ в районе 149 рублей, я такие деньги тратил на кофе мимо кассы.
Ещё у 3GPT есть готовые ИИ-агенты. Это как заготовленные промты под типовые задачи: пересказать статью, написать письмо, сделать анализ документа, придумать идеи. Выбираете агента, общаетесь с ним, и если нужно, меняете модель прямо в чате. Удобная штука, когда времени на настройку нет.
Получить доступ можно на официальном сайте 3GPT: https://3seller.com/3gpt. Там же посмотрите агентов на странице https://3seller.com/ai/agents.
Моё личное мнение
Ручная подготовка данных похожа на уборку перед приходом гостей. Неприятно, но без неё нельзя. Чем лучше вы подготовите датасет, тем спокойнее будете спать после релиза модели. И не гонитесь за миллионами примеров, лучше сделайте десять тысяч с чистыми метками.
А когда данные и метки уже не нужны, потому что задачу решает готовая модель, просто используйте хороший инструмент. 3GPT один из лучших вариантов для России на данный момент. Проверено на себе.