Еще пару лет назад ИИ-агент был просто болталкой. Написал промпт, получил текст. Теперь все иначе. Агенты видят картинки, читают сканы, слушают голос, смотрят видео. Мультимодальность - это не модная фишка, а фундамент, на котором строится новое поколение цифровых сотрудников.
Я слежу за этой темой с момента появления GPT-4V. Тогда казалось, что возможность скормить нейросети скриншот - просто приятный бонус. Ошибался. Мультимодальность дала агентам то, чего им не хватало для реальной работы: глаза. И с этим зрением они начали решать задачи, которые раньше были уделом живых людей.
Что такое мультимодальность в контексте ИИ-агентов
Обычная языковая модель работает с текстом. Мультимодальная понимает и текст, и изображение, и аудио, и видео в рамках одного контекста. Для агента это принципиально. Он может проанализировать картинку, сделать выводы и сразу выдать ответ в текстовом виде. Или взять таблицу из PDF, сопоставить с отсканированным договором и предложить решение.
Возьмем реальный кейс из юридической сферы. При проверке договоров в компаниях часто используют двух агентов. Один - ассистент юриста, второй - делопроизводитель. Первый анализирует документы, второй составляет резюме и дает комментарии. Раньше для этого требовалось, чтобы документ был в текстовом виде. Сканы, фотографии, подписанные копии приходилось распознавать отдельными инструментами. Теперь агент с мультимодальной моделью сам разбирает визуальную информацию. В итоге процесс ускоряется, а головная боль с интеграциями уходит.
Компании это замечают. По данным ComNews, мультиагентные системы на базе ИИ набирают популярность в различных отраслях, хотя распространенность пока неравномерна. Многие пилоты запускаются именно там, где нужно анализировать документы с разных точек зрения: договоры, финансовые отчеты, первичку. Агенты выявляют неочевидные нюансы, риски и возможности. Параллельно они освобождают персонал от рутины - вместо контроля повторяющихся операций люди сосредотачиваются на стратегии.
Почему без мультимодальности агенты остаются ограниченными
В том же материале ComNews есть показательный момент. Разработчики одного продукта признались, что не использовали модели от Яндекса и Сбера. Причина банальная: недостаточный уровень работы с функциональными вызовами и отсутствие возможности работы с изображениями. То есть мультимодальности. Модель, которая не видит, - это агент с завязанными глазами. Он может рассуждать, но не способен проверить фактуру, увидеть подпись на документе или понять, что на схеме нарисована стрелка не туда.
Сейчас разработчики тестируют последние версии YandexGPT и GigaChat, но на момент создания продукта они не дотягивали. И это не единичный случай. Когда я общаюсь с командами, которые строят агентов, первое, что они спрашивают, - умеет ли модель принимать изображения. Потому что без этого агент беспомощен в работе с любым визуальным контентом: от скриншотов интерфейсов до медицинских снимков.
Обратная сторона медали - скепсис. Руководитель отдела анализа данных АО «Наумен» Татьяна Зобнина в интервью ComNews заявила, что мультиагентные системы не вызывают энтузиазма у тех, кто решает реальные задачи бизнеса. По ее словам, результаты скорее негативны, и преждевременно говорить о ролях сотрудников, которые можно поручить агентам. Я допускаю, что часть таких провалов - как раз из-за моделей без мультимодальности. Когда агенты работают только с текстом, они теряют огромный пласт информации. А без нее решения получаются поверхностными.
Архитектура мультиагентных систем и роль зрения
Когда агентов несколько, им приходится выстраивать коммуникацию. В описании Московского Института Технологий и Управления говорится про два основных подхода. Централизованная схема: разработчик заранее видит маршрут данных и понимает, какой компонент за что отвечает. Децентрализованная: агенты сами решают, кому передать задачу. Второй вариант гибче, но сложнее в отладке.
В обоих случаях мультимодальность сильно упрощает взаимодействие. Один агент может передать другому не просто текст, а таблицу, график или скриншот. Память и контекст становятся компактнее. Не нужно пересказывать словами, что показано на рисунке, - достаточно передать файл. Такой подход снижает количество ошибок и ускоряет цикл.
Простой пример: исследователь готовит фактуру и передает редактору таблицу со ссылками, а не многостраничный лог рассуждений. Если в таблице есть визуальные элементы, мультимодальный агент-редактор посмотрит на них и сразу поймет структуру. Текстовому агенту пришлось бы просить расшифровку. А это - лишний раунд диалога, потеря времени и риск искажения.
Как мультимодальность влияет на развитие ИИ-агентов в бизнесе
Развитие ИИ-агентов сейчас идет через расширение чувственного восприятия. Сначала они научились читать. Потом писать. Теперь - видеть и слышать. Каждый новый канал входа увеличивает количество решаемых задач и снижает порог для внедрения.
Возьмем, к примеру, обработку клиентских обращений. Агент, который видит скриншот ошибки из приложения, может дать точный ответ, не задавая лишних вопросов. Или агент в e-commerce: он анализирует фотографии товаров, сравнивает с описанием, выявляет несоответствия. Без мультимодальности такое невозможно.
SAP в своих материалах прямо называет сотрудничество между агентами стратегией, которая делает команду больше, чем сумма частей. Общаясь друг с другом, агенты действуют как человеческая коллаборация и заполняют пробелы вне своей специализации. А мультимодальность делает эту коллаборацию естественной - как будто два коллеги обмениваются файлами в общем чате.
Где тестировать мультимодальных агентов уже сейчас
Для российских команд есть хорошая новость. Сервис 3GPT от 3SELLER дает доступ к последним флагманским моделям нейросетей прямо из России. Без иностранных карт, без VPN, за 149 рублей в месяц. Это роутер к Chat GPT 6 Astra, Claude Fable 5, Claude Fable 5.1, Claude Opus 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol. Плюс Nano Banana для создания изображений и генерация видео.
Вы можете взять любую из этих моделей и проверить, как она справляется с задачами вашего агента: послать ей сканы, фотографии, голосовые файлы, убедиться, что мультимодальность действительно ускоряет работу.
Например, я недавно тестировал обработку фотографий документов. Раньше приходилось использовать отдельный OCR-сервис, потом текст склеивать в промпт. Сейчас просто загружаю изображение прямо в чат - модель распознает текст на лету и сразу отвечает. Для агента это означает, что цикл «получить файл - понять содержимое - выдать результат» занимает секунды.
Готовые ИИ-агенты для бизнеса
Кроме доступа к моделям, у 3SELLER есть своя платформа с готовыми ИИ-агентами под разные задачи - https://3seller.com/ai/agents. Там можно выбрать агента под конкретный сценарий и начать с ним общаться. Модель агента меняется прямо в чате, что удобно для сравнения.
Вот фрагмент интерфейса:
Такие агенты уже поддерживают мультимодальные модели. Вы можете скинуть агенту картинку, видео или аудиофайл, и он отработает в контексте своей роли. Полезно для бизнеса: не надо ничего программировать, просто выбираете агента и работаете.
Практические шаги для внедрения мультимодальных агентов
Мультимодальность - не абстрактная теория, а конкретный инструмент, который влияет на развитие ИИ-агентов уже сегодня. Если вы хотите попробовать, я бы советовал начинать с трех шагов.
Во-первых, найдите задачу, где нужна работа с визуальными данными: проверка чеков, распознавание документов, анализ скриншотов. Берите один процесс и тестируйте. Во-вторых, используйте мультимодальные модели через 3GPT - это быстрый способ получить доступ к Chat GPT 6, Claude Fable 5 и другим без танцев с бубном. В-третьих, смотрите на архитектуру. Определите, кто из агентов за что отвечает, как они передают друг другу файлы и изображения.
Скептики скажут, что мультиагентные системы не работают. Я отвечу: работают, если у агентов есть глаза. Без мультимодальности агент остается слепым исполнителем. С ней - становится членом команды. Попробуйте сами - благо, порог входа сейчас минимальный.
Кстати, для генерации изображений и видео тоже пригодится 3GPT. Nano Banana справляется с реалистичными картинками, а генерация видео уже доступна. Все это расширяет возможности агента: он может не только анализировать визуал, но и создавать его.
Получить доступ можно на официальном сайте - https://3seller.com/3gpt. Пополнить баланс - российской картой, через СБП или криптой. Без лишних сложностей.