Позавчера помогал знакомому выбирать модель для юридических заключений. Он открыл три вкладки, прогнал один и тот же запрос через четыре сервиса и получил четыре разных ответа. Все уверенные. Два из них с выдуманными номерами статей.
Главная проблема вопроса «какая самая точная нейросеть» сидит в самом вопросе. Точность не характеристика модели. Точность - характеристика пары «модель плюс задача». Флагман, который блестяще разбирает медицинскую статью, может уверенно наврать в расчёте скидок по оптовой накладной. И наоборот.
Тесты IQ дают цифры, но не дают ответа
Самый цитируемый замер в рунете выглядит так: the model Opus набрал 101 балл IQ и 18,5 верных ответа, ChatGPT 4 получил 85 и 13, the model Sonnet 82 и 12, Microsoft Copilot 79 и 11, Gemini 77,5 и 10,5. Человек в том же тесте набрал 70 и 9 верных ответов. Дальше идут Llama-2 с 67, ChatGPT 3,5 и Grok с 64 баллами.
Цифры красивые, спорить не с чем. Только смотреть на них в 2027 году примерно так же полезно, как на результаты ЕГЭ десятилетней давности. Набор вопросов фиксированный, выборка маленькая, модели в тесте давно не флагманы. На Reddit практикующие аналитики по этому же поводу замечали: такой замер показывает скорость решения головоломок, а не надёжность в реальной работе. За то время, пока данные гуляли по статьям, вышли the model 5, 5.1 и 5.5, Chat GPT 6 Astra, Chat GPT 5.5, Chat GPT 6.1 Sol. Сравнивать их по табличке 2024 года просто некорректно.
IQ-тест проверяет логику на коротких изолированных задачах. Реальная работа выглядит иначе: длинный контекст, противоречивые вводные, необходимость держать в голове десять условий одновременно. Модель с IQ 85, которая не теряет нить на двадцати страницах документа, полезнее гения, который сыпется на третьем абзаце. Проверено на разборе договоров аренды, где половина условий живёт в приложениях.
Точность ломается на трёх вещах
За пару лет практики я собрал список мест, где ошибаются все модели без исключения. Первое: конкретные детали. Даты, номера статей, имена, артикулы, цены. Чем специфичнее запрос, тем выше шанс получить правдоподобную выдумку. Второе: длинная арифметика. Цепочка из пяти действий с процентами и округлениями валит даже топовые модели. Спасает только пошаговый счёт. Третье: свежесть. Любая модель ограничена датой обучения, и про события последних месяцев она либо молчит, либо сочиняет.
На Хабре в разборах ошибок LLM эту тройку вспоминают почти в каждой второй статье, и вывод там совпадает с моим. Факты с деталями всегда проверяю. Арифметику прошу показать по шагам. Свежие данные либо даю в промпте сам, либо иду в режим с поиском. Модель, которая умеет сказать «не знаю, уточните», точнее той, которая отвечает на всё.
В тексте, коде и картинках лидеры разные
По моим ощущениям от ежедневной работы, на сложных аналитических текстах и разборе больших документов лучше всех держится семейство the model 5. Оно аккуратнее формулирует, меньше фантазирует в выводах и почти не сваливается в канцелярит. Chat GPT 6 Astra и 6.1 Sol сильнее там, где нужна структура: планы, инструкции, разбор кейсов, длинные цепочки рассуждений с самопроверкой. Задачи на код и рефакторинг я чаще отдаю им же. Они лучше держат контекст проекта.
Картинки это отдельная история. Тут про точность говорят в другом смысле: насколько результат совпал с тем, что вы держали в голове. Nano Banana по этому критерию меня удивил. Он хорошо понимает композицию и не разваливает лица на групповых сценах. Генерация видео шагнула дальше, чем ждёшь: пятнадцать секунд связного движения с сохранением персонажа уже реальность, а не демка.
Как проверить точность самому за десять минут
Не нужно верить ни мне, ни таблицам. Возьмите модель и прогоните пять задач с заранее известным ответом. Первая: расчёт с процентами и НДС в четыре действия. Вторая: вопрос по документу на десять страниц с зашитой в середине цифрой. Третья: просьба назвать источник утверждения. Четвёртая: заведомо ложная вводная, чтобы посмотреть, оспорит ли модель. Пятая: тот же вопрос, переформулированный через двадцать минут, чтобы поймать разброс.
Дальше считайте не правильные ответы, а ошибки. Модель, которая ошибается редко и признаёт ошибку, ценнее той, что выдаёт идеальный ответ в девяти случаях и уверенно врёт в десятом. Второй тип опаснее. Вы расслабляетесь и перестаёте проверять.
Настоящая проблема не в точности, а в доступе
Вот где большинство споров заканчивается ничем. Можно месяц выбирать между the model 5.5 и Chat GPT 6.1 Sol, а потом упереться в оплату. Иностранная карта не проходит, VPN отваливается, аккаунт блокируется на второй день, лимиты съедаются за вечер.
Я пользуюсь 3GPT от 3SELLER, и это ровно тот случай, когда сервис решает проблему, а не создаёт новую. ИИ роутер даёт прямой доступ из России к флагманским моделям. В одном окне: Chat GPT 6 Astra, the model 5, 5.1 и 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol, Nano Banana для изображений, генерация видео и десяток других. Стартовый доступ стоит 149 рублей. Пополнить баланс можно российской картой, через СБП или криптой.
Смысл не в экономии на подписках, хотя и в ней тоже. Смысл в том, что вы перестаёте выбирать вслепую. Один и тот же запрос отправляете в две-три модели и смотрите, где ответ сходится. Расхождение это и есть индикатор ненадёжного места. Там, где две сильные модели говорят одно, вероятность ошибки падает в разы. Проверять себя через другую модель, а не через собственную интуицию, - самый быстрый способ поднять точность своих результатов.
Повседневные задачи в бизнесе и работе закрываются там же: продающие тексты, лендинги, разборы договоров, ответы клиентам, таблицы, презентации. Я держу открытой вкладку и переключаю модель прямо в чате, когда вижу, что текущая поплыла.
Готовые ИИ агенты вместо пустого чата
Отдельная фишка, которая мне зашла больше, чем ожидал, это готовые ИИ агенты под конкретные задачи. Выбираете агента, начинаете с ним разговор, а модель меняете прямо в чате, не создавая новый диалог с нуля. Для рутины это удобнее, чем каждый раз писать портянку инструкций. Агент уже настроен на нужный формат и не пытается быть универсальным.
Изображения и видео: та же логика, другой инструмент
С картинками всё работает по тому же принципу. Нужен реалистичный кадр для рекламы или обложки, идёте в инструменты генерации изображений 3GPT. Пробуете один и тот же промпт в разных моделях, оставляете ту, что точнее попала в задачу. Разница между моделями тут заметнее, чем в тексте: одна идеально держит свет и фактуру кожи, другая лучше собирает композицию по референсу.
Что я бы сделал на вашем месте
Перестаньте искать одну самую точную нейросеть. Такой не существует и не появится, потому что точность всегда привязана к типу задачи. Возьмите две модели разного происхождения. Дайте им одну и ту же реальную задачу из своей работы и сравните результат на конкретных ошибках, а не на ощущениях. Дальше оставьте привычку сверять ответы между моделями там, где цена ошибки высокая.
Техническую часть вопроса проще закрыть один раз: 3GPT даёт доступ ко всем флагманам из России за 149 рублей, без иностранных карт и танцев с VPN. Остальное зависит уже не от модели, а от того, насколько аккуратно вы формулируете задачу и насколько честно проверяете ответ.



