Как проверить модель перед арендой GPU-сервера

Подготовьте воспроизводимый набор

Возьмите обезличенные примеры своей нагрузки: короткие и длинные запросы, характерные размеры изображений или фрагмент обучающего датасета. Сохраните ревизию модели, параметры генерации и версии зависимостей. Определите, какие результаты считаются корректными. Возможность тестового доступа и его условия сначала согласуйте с поставщиком.

Проверьте запуск и память

Запустите модель в согласованном окружении. Убедитесь, что нужные операции выполняются на ускорителе, проверьте журнал ошибок и использование памяти. Затем увеличьте длину контекста и параллельность до рабочих значений. Успешный одиночный запрос не доказывает работоспособность под нагрузкой.

Измерьте полезную производительность

Для инференса фиксируйте время до первого токена, задержку между токенами, общую задержку, число успешных запросов и ошибки. Запишите медиану и p95, размеры входов и ответов. Не сравнивайте результаты, полученные с разной точностью весов или разной длиной ответов, без явного пояснения.

Проверьте длительную работу

Повторите тест после прогрева и проведите длительный прогон. Отметьте стабильность памяти, восстановление после ошибки и поведение при пике запросов. Для обучения проверьте сохранение и восстановление контрольных точек. Согласуйте длительность испытания под характер своей нагрузки.

Зафиксируйте результат

Сохраните конфигурацию сервера, версии ПО, команды запуска и измерения. Отдельно перечислите неподдерживаемые функции и необходимые доработки. Решение об аренде принимайте по результату своего сценария и полным условиям предложения, а не по паспортным FLOPS.