Представь, что нужно доверить нейросети небольшую торговую точку. Пусть это будет вендинговый автомат с чипсами и газировкой. Надо вовремя пополнять запасы, менять цены, платить аренду, не прогореть. Звучит просто, но для человека - да, а для большинства современных ИИ - почти невыполнимая задача, если растянуть это на месяц, квартал или год.
Именно такую проверку придумали авторы Vending-Bench. Их агентный бенчмарк оценивает, насколько языковая модель способна управлять симулированным вендинговым бизнесом в течение множества последовательных раундов. Никаких вопросов на эрудицию, никакого кода. Только операционная рутина с десятками решений подряд.
Vending-Bench - это не про автомат с газировкой
Создатели из Andon Labs взяли простую, но коварную идею. Модель становится оператором вендингового автомата. Ей нужно отслеживать остатки товара, делать заказы, устанавливать цены и покрывать ежедневные сборы. Каждое действие по отдельности элементарно для любой приличной нейросети. Но вместе, на длинной дистанции, эти задачи вскрывают главную слабость современных агентов - потерю последовательности.
Модель может отлично справляться с одним запросом, а потом начинает противоречить сама себе. Сегодня она ставит цену 100 рублей, завтра забывает и продает в убыток. Послезавтра вообще забывает, что у нее кончилась кола. Именно отсутствие долгосрочной связности и диагностирует Vending-Bench.
Как устроен тест на практике
Как указано в препринте Акселя Баклунда и Лукаса Петерссона на arXiv (2502.15840), бенчмарк состоит из ряда раундов. В каждом раунде агент получает состояние бизнеса и должен принять решение. Критерий успеха - итоговый денежный поток и эффективность управления, а не просто правильные ответы на вопросы.
Индивидуально задачи выглядят смешно. Пополнить инвентарь? Легко. Поднять цену? Тоже несложно. Заплатить аренду? Тривиально. Но когда модель делает это день за днем, накапливаются ошибки. Забыла заказать пополнение - потеряла продажи. Подняла цену - упал спрос. Не учла сезонность - осталась с неликвидом.
Механика очень похожа на реальный бизнес, где важна не одна гениальная идея, а сотни мелких действий, выполненных стабильно.
Vending-Bench 2: целый год и никакого потолка
Версия Vending-Bench 2 ужесточает условия. Модель должна управлять бизнесом в течение полного года. Оценка простая - сколько денег осталось на банковском счете в конце. И никакого фиксированного максимума. В классических тестах есть 100% правильных ответов, и лучшие модели упираются в потолок. Здесь потолка нет. Суперинтеллект теоретически может зарабатывать почти бесконечно.
Такой дизайн заставляет модели не просто решать головоломки, а выстраивать стратегию роста. Нужно инвестировать в ассортимент, искать баланс между наценкой и оборотом, избегать кассовых разрывов.
Vending-Bench Arena: когда агенты конкурируют
Особенно интересна арена - мультиагентная версия бенчмарка, где несколько ИИ одновременно управляют своими автоматами в одном месте. Начинаются ценовые войны, демпинг, хитрые стратегии. Агенты могут вступать в коллаборацию, торговать друг с другом, но выигрывает тот, у кого больше денег на счету.
Такой режим - уже не просто тест на стабильность, а проверка способности к конкуренции и взаимодействию. Для бизнес-приложений, где агенты будут торговаться, согласовывать цены или управлять цепочками поставок, арена - хороший индикатор.
Почему это важно для реальных задач
Стандартные бенчмарки вроде MMLU или HumanEval говорят о знаниях и кодинге. Но бизнес-задачи требуют другого: удержать контекст на протяжении длинных операционных циклов. К примеру, языковая модель может блестяще писать код, но на 30-й день управления складом забыть, что партия товара уже оплачена, и заказать ее повторно. Vending-Bench как раз показывает, насколько агент способен не потерять нить.
Результаты этих тестов - не приговор. Успех в вендинговой симуляции не гарантирует успех в конкретном бизнес-процессе. У каждого проекта своя структура, свои данные и свои метрики. Но Vending-Bench дает полезный сигнал: если модель разваливается на простой задаче про колу и чипсы, доверять ей планирование поставок на заводе как-то рискованно.
Где тестировать современные модели на таких задачах
Чтобы попробовать, как разные модели справляются с длинными операционными сценариями, нужен доступ к самым свежим нейросетям. В России с этим вечно были проблемы: то карта не проходит, то аккаунт блокируют. Решение уже есть - сервис 3GPT от 3SELLER. Он работает как ИИ-роутер: дает прямой доступ к последним флагманским моделям без иностранных карт и лишних танцев с бубном.
Chat GPT 6 Astra, Claude Fable 5 и 5.1, Claude Opus 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol, Nano Banana для изображений, генерация видео. Все это доступно из России всего за 149 рублей в месяц. Пополнить баланс можно российской картой, через СБП или криптой. Никаких зарубежных платежек.
Понятно, что самостоятельно гонять модели на Vending-Bench - задача для исследователя. А вот использовать сильные нейросети для повседневной бизнес-рутины - уже сейчас. Пишете продающие тексты? Делаете сайты? Генерируете реалистичные изображения или видео? Всё это 3GPT умеет без нервов. Создавайте контент, обрабатывайте картинки, генерируйте голос - просто выберите модель и работайте.
Готовые ИИ-агенты под ваши задачи
Но кроме доступа к моделям у 3GPT есть фишка, которую мало где встретишь, - готовые ИИ-агенты. В отличие от обычного чата, здесь настроенные сценарии под конкретные задачи. Выбираете агента, начинаете общаться, а модель внутри агента можно менять прямо в чате. Например, надоело, что один агент тупит - переключили на другую модель, и он продолжил работу.
Каталог агентов доступен на странице https://3seller.com/ai/agents. Подобрали агента, поставили задачу, и он сам ведет процесс. Это как раз тот сценарий, где длинные горизонты решают: агент не забывает, что нужно сделать через неделю, потому что вы задали ему жесткий контекст.
Получить доступ ко всем флагманским моделям нейросетей из России можно на официальном сайте 3GPT - https://3seller.com/3gpt.
Не верьте цифрам бенчмарков, проверяйте на своих задачах
Vending-Bench - отличный инструмент для исследователей. Он показывает, что высокие баллы в академических тестах не гарантируют стабильность в операционных задачах. Но для практика важнее другое. Возьмите свою рабочую задачу, прогоните ее через несколько моделей на 3GPT и посмотрите, какая выдает вменяемый результат на дистанции. Живой прогон даст больше, чем изучение сотен графиков.
Технологии движутся так быстро, что вчерашние лидеры бенчмарков сегодня уступают новым моделям. Поэтому выбирайте не по рекламе, а по делу. Пробуйте, сравнивайте, внедряйте то, что работает. А Vending-Bench пусть останется полезным напоминанием: даже простая симуляция бизнеса - это серьезная проверка для любого ИИ.
Заходите на 3GPT, смотрите на флагманы, запускайте агентов. И помните: лучший бенчмарк - это ваша реальная задача.