Как выбрать GPU для нейросети: H100, H200, B200, A100

Если модель не помещается в память одной GPU, её приходится шардировать между несколькими картами — это добавляет сложность и снижает эффективность. Поэтому первый вопрос при выборе GPU — не «какая быстрее», а «сколько памяти нужно моей задаче».

• A100 (80 ГБ, HBM2e) — самый доступный вариант линейки. Хватает для inference, компьютерного зрения и дообучения моделей среднего размера (обычно до 13–34B параметров в зависимости от метода).
• H100 (80 ГБ, HBM3) — тот же объём памяти, что у A100, но новее архитектура (Hopper) с FP8 и Transformer Engine: заметно быстрее на обучении и дообучении LLM. Стандартный выбор для fine-tuning.
• H200 (141 ГБ, HBM3e) — та же Hopper-архитектура, что у H100, но в 1,75 раза больше памяти. Нужна, когда модель или контекст не помещаются в 80 ГБ: большие LLM, длинный контекст, обучение без агрессивного шардирования.
• B200 (180 ГБ, HBM3e) — архитектура Blackwell, следующее поколение после Hopper. Для самых требовательных задач обучения и высоконагруженного inference, где важны и память, и пропускная способность.

Отдельный фактор — задача. Для дообучения на своих данных обычно достаточно одной GPU с 80 ГБ (H100). Для обучения модели с нуля или работы с моделями 70B+ понадобится либо GPU с большей памятью (H200, B200), либо несколько GPU одновременно.

Точную конфигурацию — число GPU, память, хранилище — мы подбираем под конкретную модель и объём данных при заявке: единого ответа «берите вот эту карту» без деталей задачи не существует.