Двадцать четыре гигабайта против восьмидесяти. Вот и весь разговор, который обычно начинается со слов «у меня 4090, почему модель не влезает». Влезает. Только не та модель, не с тем контекстом и не с той скоростью, на которую вы рассчитывали.
Я видел десятки таких конфигураций. Карту покупают по числу терафлопсов, потом запускают 70B в fp16, ловят out of memory и уходят на форум с вердиктом «ИИ на домашнем железе не работает». Работает. Просто GPU под нейросети выбирают по другой формуле, чем GPU под игры: сначала считают гигабайты, потом все остальное.
Сначала разделите две разные задачи: обучение и инференс
Обучение и запуск модели - два разных вида спорта, и железо под них нужно разное. При обучении вы гоняете градиенты туда-сюда, и узкое место - пропускная способность памяти плюс скорость обмена между картами. При инференсе вы читаете веса из памяти и умножаете их на вектор. Узкое место - объем VRAM и та же пропускная способность, но нагрузка в разы меньше.
Девять из десяти тех, кто спрашивает про видеокарту для ИИ, на самом деле хотят инференс: локальный чат, генерацию картинок, обработку документов, RAG по своей базе. Обучать модель с нуля дома не будет почти никто. А те, кто будет, такие статьи уже не читают - они смотрят на цену за час в облаке.
VRAM решает больше, чем любые TFLOPS
Считайте на пальцах. Восьмимиллиардная модель в fp16 занимает примерно 16 ГБ только под веса. Плюс KV-кэш на контекст, плюс активации, плюс запас под батч. Итого на 8B в половинной точности нужно 20-24 ГБ, а не 8. В 4-битном кванте те же веса сжимаются до 5-6 ГБ, и восьмигигабайтная карта внезапно начинает дышать. До первого длинного контекста.
Классическая ошибка: взять 4060 Ti на 16 ГБ, загрузить 8B в fp16 и увидеть 15.9 ГБ занятой памяти еще до первого вопроса. В обсуждениях на Reddit в r/LocalLLaMA про это пишут почти в каждой ветке про OOM: люди считают память под веса и забывают про KV-кэш, а он на контексте 32k съедает еще несколько гигабайт сверху.
С 70B все жестче. Четырехбитный квант - это около 40 ГБ весов. Плюс кэш. Значит 48 ГБ минимум, а по-хорошему две карты по 48 или одна на 80. На 24 ГБ вы запустите 70B только с частичной выгрузкой в оперативку, и получите те самые три токена в секунду, с которых мы начали.
Есть грубая формула, которой я пользуюсь прикидочно: объем весов = число параметров × байт на параметр. fp16 - 2 байта, int8 - 1 байт, 4-бит - 0.5 байта. К этому добавьте 15-30% сверху на кэш и служебное. Если результат больше вашей VRAM, вы уже проиграли, остальные характеристики не спасут.
Пропускная способность памяти важнее частоты ядра
При генерации токена карта читает веса целиком, каждый шаг. Поэтому скорость вывода почти линейно зависит от того, как быстро память отдает данные. RTX 4090 выдает около 1008 ГБ/с. H100 SXM - примерно 3.35 ТБ/с. Разница в три раза по железу превращается в разницу в разы по токенам в секунду на больших моделях.
Отсюда неочевидный вывод: старая карта с широкой шиной часто обгоняет новую с узкой. Поэтому 3090 на 24 ГБ GDDR6X до сих пор держится в домашних сборках и стоит своих денег на вторичке. Не потому что она новая, а потому что 936 ГБ/с и 24 гигабайта объема.
CUDA: скучная правда, которая экономит недели нервов
Экосистема важнее бенчмарков. PyTorch, bitsandbytes, flash-attention, vLLM, llama.cpp с ускорением - все это заточено под CUDA и собирается под нее из коробки. С AMD через ROCm все работает, но каждый второй эксперимент заканчивается сборкой колес из исходников и чтением issues на GitHub.
AMD Radeon AI PRO R9700 AI TOP на 32 ГБ GDDR6 - интересная карта на бумаге: 644 ГБ/с, 128 матричных ядер, FP16 около 191 TFLOPS, FP8 около 383 TFLOPS, TDP 300 Вт. Для инференса и дообучения LLM она годится, если вы готовы жить в мире ROCm и проверять поддержку конкретных библиотек до покупки, а не после. Для большинства практических задач проще взять NVIDIA и не думать.
Что реально брать домой: по объемам памяти
Восемь гигабайт. Уровень «попробовать». Семерки в 4-битном кванте, генерация картинок в SDXL, озвучка. Для чата с моделью на 7-8B хватает, для работы с документами на 32k контекста уже нет. Как первый GPU для знакомства с темой - нормально, как рабочая лошадка - нет.
Шестнадцать гигабайт. Тут живут RTX 4060 Ti 16GB и свежее поколение с тем же объемом. Комфортный минимум для локального ассистента: 8B в fp16 влезает впритык, 13-14B в 4-битном кванте идет бодро, контекст на 16-32k переживает. Если бюджет ограничен, цельтесь сюда, а не в 8 ГБ.
Двадцать четыре гигабайта. Золотая середина для энтузиаста. 3090 или 4090 дают вам 8B в fp16 с длинным контекстом, 30B в кванте, нормальную работу с изображениями и видео. На такой карте уже можно собрать полезный личный пайплайн, а не демку на пять минут. 4090 вдобавок заметно быстрее по памяти, но стоит существенно дороже.
Тридцать два гигабайта. Здесь начинается профессиональный сегмент. NVIDIA RTX PRO 4500 Blackwell на 32 ГБ GDDR7 и упомянутая AMD Radeon AI PRO R9700 - обе позиционируются под инференс и обучение LLM. Прирост объема с 24 до 32 ГБ выглядит скромно, но именно он отделяет «модель влезла» от «модель влезла с контекстом и батчем».
Сорок восемь и восемьдесят. L40S, A40, A100, H100. Это уже не домашние карты, это серверные решения, и разговор про них имеет смысл только в контексте стойки, аренды или серьезной студии.
H100: NVL против SXM, и почему это не мелочь
У H100 два форм-фактора, и разница между ними не косметическая. NVL рассчитан примерно на 350 Вт, SXM - на 700 Вт. Первый встает в стандартный сервер и дата-центр, второй нужен для крупномасштабных нагрузок HPC и ИИ, где под него строят отдельную инфраструктуру с охлаждением.
По скорости H100 примерно в четыре раза быстрее A100 на обучении, и во многом это заслуга Transformer Engine - движка, который есть и в L40S. Он подбирает точность вычислений на лету и сокращает объем обрабатываемых данных без потери качества. Для трансформеров, то есть для всего современного ИИ, это дает больше, чем прибавка в сырых терафлопсах.
Если вы берете H100 в аренду, смотрите не только на цену за час, но и на форм-фактор. NVL дешевле в эксплуатации и проще вписывается в обычную стойку. SXM даст максимум, но инфраструктура под него стоит денег.
A40 и L40S: где прячется подвох
Tesla A40 - рабочая лошадка для интенсивных вычислений, но по пропускной способности TF32 она примерно на 20% уступает L40S. Тензорные ядра третьего поколения с TF32 работают честно, просто медленнее. Для инференса у A40 есть Structural sparsity - разреженность данных, которая поднимает производительность на нейросетевых алгоритмах без потери точности вывода.
L40S универсальнее: и обучение, и инференс, и графика. A40 логично брать под конкретную задачу, где вы уже знаете профиль нагрузки и упираетесь в бюджет. Разница в 20% по TF32 на длинной дистанции превращается в ощутимую разницу в счетах за аренду, так что считать надо под свой сценарий, а не по общей табличке.
Отдельно про точность. H100 и L40S работают с FP64, FP32, FP16 и FP8. Чем ниже разрядность, тем выше скорость и тем важнее, чтобы модель пережила квантование без деградации. На практике FP8 на H100 дает приличную экономию при почти незаметной потере качества, а вот FP8 на старых картах без нативной поддержки часто оказывается медленнее FP16.
Чего точно не делать
Не собирайте ферму из игровых карт для обучения. NVLink в потребительском сегменте фактически умер, обмен идет через PCIe, и на четырех 4090 обучение большой модели идет медленнее, чем на двух A100, хотя по деньгам выходит похоже. Плюс охлаждение, плюс блок питания на полтора киловатта, плюс шум.
Не покупайте карту без понимания, какой софт вы будете на ней запускать. Карта с 32 ГБ, под которую не собирается нужная библиотека, хуже карты с 16 ГБ, которая работает из коробки. Проверяйте совместимость до оплаты.
Не игнорируйте CPU. Он не заменит GPU в матричных умножениях, но последовательные вычисления, рекуррентные сети и мелкие задачи вроде линейной регрессии или наивного Байеса спокойно уходят на процессор. Иногда узкое место в пайплайне - не видеокарта, а подготовка данных на одном ядре.
Аренда или покупка: считаем на салфетке
H100 в облаке стоит порядка двух-трех долларов за час. Сто часов экспериментов - триста долларов. Своя 4090 за две тысячи плюс электричество плюс ваше время на сборку и отладку окупается только при регулярной круглосуточной загрузке. Для разовых проектов, обучения одной модели или теста гипотезы аренда почти всегда дешевле.
Домашняя карта имеет смысл, когда вы работаете с данными постоянно и не хотите отправлять их наружу. Тогда 24 ГБ за разумные деньги - лучший компромисс между приватностью, скоростью и бюджетом.
Если видеокарты нет вообще, а работать надо сегодня
Вот сценарий, который я вижу чаще остальных. Человеку нужен результат, а не железо. Написать продающий текст, собрать лендинг, сделать реалистичную картинку, сгенерировать видео, озвучить ролик. Покупать под это GPU с 24 ГБ - стрелять из пушки по воробьям.
Для таких задач есть 3GPT от 3SELLER - ИИ-роутер, который дает прямой доступ из России к флагманским моделям без иностранных карт и без танцев с VPN. Chat GPT 6 Astra, the model 5, the model 5.1, the model 5.5, Chat GPT 5.5, Chat GPT 6.1 Sol, Nano Banana для изображений, генерация видео. Все в одном окне, от 149 рублей.
Пополнить баланс можно российской картой, через СБП или криптой. Никаких посредников с наценкой в три раза и никаких «подождите, аккаунт заблокировали».
Для повседневных задач в бизнесе этого хватает с запасом: тексты, сайты, обработка изображений, видеоролики, синтез голоса. Вы получаете результат, а вопрос «какие видеокарты лучше работают с ИИ» перестает быть вашей проблемой, потому что вычисления идут не у вас на столе.
Отдельная фишка - готовые ИИ-агенты под конкретные задачи. Выбираете агента, начинаете диалог, а модель меняете прямо в чате, если текущая не тянет. Удобно, когда нужен не универсальный чат, а узкий исполнитель: копирайтер, аналитик, помощник по документам.
Доступ ко всем флагманским моделям нейросетей из России открывается на официальном сайте: https://3seller.com/3gpt.
Генерация изображений: где видеокарта нужна по-настоящему
Единственная область, где домашний GPU все еще дает ощутимое преимущество, - это тяжелая генерация изображений и видео. Локальный SDXL или Flux на 24 ГБ работают быстрее и гибче, чем любой веб-сервис, особенно когда вы гоняете сотни итераций с ControlNet и своими LoRA.
Но если вам нужны реалистичные фотографии здесь и сейчас, без настройки пайплайнов, есть 3GPT Image - тот же доступ к сильным моделям генерации, только без требований к вашему железу. Открыли, описали, получили.
Как я бы распределил бюджет под конкретные задачи
Локальный чат и работа с документами, бюджет до сотни тысяч рублей. 16 ГБ NVIDIA, 8-14B в кванте, llama.cpp или Ollama. Дальше апгрейд до 24 ГБ, когда упретесь в контекст.
Генерация изображений и видео как хобби. 24 ГБ обязательно, иначе вы будете постоянно резать разрешение и батч. 3090 или 4090, плюс нормальное охлаждение и блок питания от 850 Вт.
Дообучение моделей и инференс под клиентов. Смотрите в сторону 32 ГБ профессионального сегмента или сразу аренды. RTX PRO 4500 Blackwell на 32 ГБ GDDR7 и Radeon AI PRO R9700 на 32 ГБ GDDR6 - разумная точка входа, но считайте стоимость часа и сравнивайте с облаком.
Обучение с нуля и большие языковые модели. Только аренда или кластер. H100 NVL в стандартной стойке, SXM под максимум, A100 как бюджетный вариант. Дома это не собирается, как бы ни хотелось.
Один совет, если читать некогда
Берите NVIDIA, берите максимум VRAM, который тянет бюджет, и не гонитесь за терафлопсами. 24 ГБ сегодня закрывают почти все домашние сценарии, 16 ГБ - разумный минимум, 8 ГБ - только для экспериментов.
А если цель - работать с ИИ, а не обслуживать железо, начните с 3GPT. За 149 рублей вы получаете доступ к моделям, для которых иначе нужна карта за несколько тысяч долларов. Железо можно докупить позже. Результат нужен сейчас.