AI GPU Infrastructure Sizing Calculator v1.9.0

NVIDIA 공식 벤치마크 + MLCommons 표준 기반 🏆

이 계산기는 NVIDIA 공식 벤치마크 (NIM Benchmarking, NIM-LLM, NIM-VLM, GenAI-Perf, NeMo Framework, Training, Conversational AI, AI Inference, 🥇 MLPerf™ v5.1)와 🏆 MLCommons Inference 표준, MLCommons 학습 표준을 적용합니다. 📚 상세: Megatron Bridge

NIM 실측 처리량 Triton GenAI-Perf 측정 MLCommons 표준 준수 MLPerf™ v5.1 Certified GPT/BERT 학습 실측 Mixed Precision 2x 가속

워크로드 타입 선택

모델 학습 파라미터

모델 선택 (선택 사항)

🆕 LLaMA 4, Qwen3 업데이트 (2026-02-02) | 모델을 선택하면 자동으로 파라미터가 설정됩니다

모델 크기 (파라미터 수)

또는 위에서 모델을 선택하세요

GPU 타입

배치 사이즈 (Batch Size)

일반적으로 8~128 범위

학습 정밀도 (Precision)

데이터셋 크기 (토큰 수)

Epoch 수

일반적으로 1~5 epoch

목표 학습 시간

병렬화 효율 (%)

일반적으로 75~90%

모델 추론 파라미터

모델 선택 (선택 사항)

🆕 LLaMA 4 추가 (2026-02-02) | 모델을 선택하면 자동으로 파라미터가 설정됩니다

모델 크기 (파라미터 수)

또는 위에서 모델을 선택하세요

GPU 타입

추론 정밀도 (Precision)

💡 FP4: B200에서 최대 10배 성능 향상 (대형 모델) | FP8: H100/H200에서 3~10배 향상

예상 QPS (Queries Per Second)

피크 시간대 기준 권장

평균 입력 토큰 수

평균 출력 토큰 수

목표 레이턴시 (ms)

실시간 서비스: 100~500ms 권장

고가용성 복제 계수

VLM 추론 파라미터

Vision-Language Models (VLM)

이미지와 텍스트를 함께 처리하는 멀티모달 AI 모델입니다. 이미지 Q&A, 이미지 설명 생성, 차트/다이어그램 이해 등에 사용됩니다.

출처: NVIDIA NIM VLM Benchmarking

VLM 모델 선택

Llama 4 Scout: 공식 벤치마크 데이터 보유

GPU 타입

VLM은 대용량 메모리 GPU 권장

입력 시퀀스 길이 (ISL)

이미지 + 텍스트 프롬프트 (기본: 2500 토큰)

출력 시퀀스 길이 (OSL)

생성할 응답 길이 (기본: 300 토큰)

추론 정밀도

BF16: 안정성 우수, FP8: 성능 우수

Tensor Parallelism (TP)

TP8: 최고 처리량, 대규모 배포 권장

목표 처리량 (Throughput)

초당 요청 수 (req/s)

가용성 / 이중화

프로덕션 환경은 2x 이상 권장

AI GPU Infrastructure Sizing Calculator

NVIDIA 공식 벤치마크 + MLCommons 표준 기반 🏆

워크로드 타입 선택

모델 학습 (Training)

모델 추론 (Inference)

VLM 추론 (Vision-Language)

모델 학습 파라미터

모델 추론 파라미터

VLM 추론 파라미터

Vision-Language Models (VLM)

상세 사이징 리포트

리소스 분석 차트

추가 권장사항