생성형 AI 도입이 늘면서 보안·규제 이슈로 클라우드 대신 온프레미스에 AI 인프라를 구축하려는 기업이 많아졌습니다. 이번 글에서는 온프레미스 GPU 클러스터를 쿠버네티스로 오케스트레이션할 때 고려해야 할 핵심 포인트를 정리합니다.

왜 온프레미스인가

금융권을 비롯한 규제 산업에서는 내부 데이터가 외부로 유출되지 않아야 한다는 요구가 강합니다. 이 때문에 GPU 클러스터를 자체 데이터센터에 두고, 생성형 AI 모델 서빙이나 파인튜닝 같은 워크로드를 내부망 안에서만 처리하는 구조를 선택하는 경우가 늘고 있습니다.

핵심 구성 요소

1. GPU 하드웨어 계층 고성능 GPU 서버(예: 대규모 GPU 클러스터)를 기반으로, 노드 간 GPU 자원을 공유·분배할 수 있는 구조가 필요합니다.

2. 컨테이너 오케스트레이션 (쿠버네티스) GPU 워크로드를 쿠버네티스로 스케줄링하려면 다음이 필요합니다.

• NVIDIA Device Plugin (GPU를 쿠버네티스 리소스로 노출)

• GPU 노드 라벨링 및 taint/toleration으로 GPU 전용 노드 분리

• 워크로드 특성에 따른 리소스 요청/제한 설정 (GPU는 CPU처럼 분할 스케줄링이 자유롭지 않음)

3. 모니터링 GPU 사용률, 메모리, 온도까지 포함한 모니터링이 필요합니다. Prometheus + DCGM Exporter 조합으로 GPU 메트릭을 수집하고, Grafana로 시각화하는 구성이 일반적입니다.

4. 스토리지 모델 가중치, 학습 데이터셋은 용량이 크고 I/O가 집중되므로, 일반 애플리케이션용 스토리지와 분리해서 설계하는 것이 좋습니다.

흔히 겪는 어려움

• GPU 리소스 파편화: 작은 단위 워크로드가 GPU 하나를 통째로 점유하면서 자원 활용률이 떨어지는 문제. MIG(Multi-Instance GPU)나 시간 분할 스케줄링 검토가 필요합니다.

• 드라이버/CUDA 버전 불일치: 노드마다 드라이버 버전이 다르면 워크로드가 특정 노드에서만 동작하는 문제가 생깁니다. 노드 이미지 표준화가 중요합니다.

• 네트워크 병목: 분산 학습이나 대형 모델 서빙에서는 노드 간 네트워크 대역폭이 GPU 성능만큼 중요해집니다.

도입 전 체크리스트

1. 워크로드가 학습(training)인지 추론(inference) 중심인지에 따라 아키텍처가 달라짐

2. GPU 노드와 일반 워크로드 노드를 분리할지 여부

3. 온프레미스와 클라우드를 혼합(하이브리드) 운영할 가능성이 있는지

4. 데이터 거버넌스·감사 요구사항(예: ISMS-P 등 인증)과의 연계

정리

온프레미스 AI 인프라는 하드웨어 투자 비용이 크지만, 데이터 통제권과 보안 측면에서 장점이 명확합니다. 다만 GPU 특유의 리소스 관리 이슈와 쿠버네티스 표준 운영 방식이 다른 지점들이 많기 때문에, 일반 애플리케이션 클러스터 운영 경험만으로는 부족할 수 있습니다. 초기 설계 단계에서 GPU 스케줄링 전략과 모니터링 체계를 먼저 정하고 시작하는 것을 권합니다.