한눈에 보는 핵심 인사이트 AI 서비스가 운영 단계에 들어서면서 AI 워크로드를 어디에서 실행할지가 비용과 프로젝트 일정에 직접 영향을 주고 있습니다. 상시 실행되는 추론이 늘면서 비용을 예측하기 어려워졌고, 규제 데이터를 다루는 AI 프로젝트는 데이터 위치 문제로 지연되기 쉽습니다. 학습, 추론, RAG는 자원을 쓰는 방식과 다루는 데이터가 달라 하나의 환경만으로는 비용과 규제 요건을 함께 맞추기 어렵습니다. 최근에는 AWS AI Factories처럼 데이터 위치 요건을 지키면서 클라우드의 AI 기술을 활용하는 방식까지 등장해 선택지가 넓어졌습니다. 이제 워크로드 특성에 따라 실행 환경을 고르고, 나뉜 환경을 같은 보안·비용 기준으로 관리하는 체계가 필요합니다.

 

넓어지는 AI 실행 환경의 선택지

 

그동안 기업은 클라우드의 AI 기술을 쓰려면 데이터를 클라우드로 옮겨야 했고, 데이터를 내부에 두려면 인프라를 직접 조달하고 운영해야 했습니다. 최근에는 이 두 가지 요구를 함께 충족하려는 방식이 나오고 있습니다.

2025년 12월 AWS가 발표한 ‘AWS AI Factories’가 대표적입니다. 고객이 데이터센터 공간과 전력을 제공하면, AWS가 AI 컴퓨팅과 네트워크, 스토리지에 Amazon Bedrock, Amazon SageMaker 같은 AI 서비스를 결합한 인프라를 배포하고 관리합니다. 기업은 데이터가 저장되는 위치와 접근 권한을 직접 통제하면서 클라우드의 AI 기술을 활용하고, 인프라를 조달하고 구축·최적화하는 복잡성도 줄일 수 있습니다. 탄력적인 확장이 필요한 워크로드는 AWS 리전에서, 데이터 위치 요건이 엄격한 워크로드는 고객 데이터센터의 AI Factories에서 운영하는 식입니다. 같은 AWS 기반 위에서 실행 위치를 나눌 수 있게 된 것입니다.

 

AI 인프라 선택을 바꾸는 추론 비용과 데이터 규제

 

 

실행 환경을 신중하게 골라야 하는 배경에는 비용과 규제가 있습니다. 클라우데라가 2026년 6월 9개국 기업의 아키텍트와 인프라 책임자 1,500명을 조사한 결과, 84%가 AI 워크로드 때문에 인프라 비용이 늘었다고 답했습니다. 가트너는 2026년 전 세계 AI 최적화 IaaS 지출이 전년보다 96% 늘어난 약 423억 달러에 이르고, 이 가운데 추론 지출(233억 달러)이 학습 지출(190억 달러)을 넘어설 것으로 전망했습니다.

규제는 프로젝트 속도를 늦춥니다. 같은 조사에서 응답자의 95%는 지난 1년간 거버넌스·컴플라이언스·규제 문제로 AI 프로젝트를 지연하거나 취소한 경험이 있었습니다. 고객 상담 기록이나 계약서를 RAG로 연결하려면, 데이터가 어느 환경에서 처리되고 누가 접근하는지에 대한 보안·법무 검토가 먼저 필요합니다.

 

워크로드 유형에 따라 달라지는 실행 환경

 

가트너는 2026년 6월 발표에서 AI 클라우드 시장의 주요 결정 요인으로 데이터 주권, 성능, 인프라 전문화를 꼽았습니다. 그리고 기업 클라우드 전략이 중앙 집중형 글로벌 모델에서 지역화된 하이브리드 아키텍처로 옮겨 가야 한다고 제시했습니다. 워크로드마다 알맞은 실행 환경을 따져야 한다는 뜻입니다.

대규모 GPU를 일정 기간 집중적으로 쓰는 학습과 파인튜닝에는 필요한 만큼 자원을 확보하고 반납할 수 있는 클라우드의 탄력성이 유리합니다. AWS는 NVIDIA GPU 기반 인스턴스와 학습용 AWS Trainium을 제공하고, Amazon EC2 Capacity Blocks for ML로 필요한 기간만큼 GPU를 예약할 수 있습니다. 상시 실행되는 추론은 초기에 탄력적으로 시작해 사용 패턴을 확인하는 것이 좋습니다. 사용량이 안정되면 추론용 AWS Inferentia처럼 워크로드에 맞는 칩과 인스턴스로 구성을 조정하는 방식이 효과적입니다.

사내 문서와 데이터베이스를 실시간으로 참조하는 RAG는 데이터가 저장된 곳 가까이에 둘수록 성능과 접근 권한을 관리하기 쉽습니다. 개인정보나 규제 대상 데이터가 포함된다면 데이터 주권 요건부터 확인해야 합니다. 데이터를 외부로 옮기기 어렵다면 AWS AI Factories에서 Amazon Bedrock을 활용해, 프롬프트와 응답을 주권 경계 안에 둔 채 추론을 실행할 수 있습니다.

 

환경이 늘어날수록 중요해지는 통합 운영 체계

 

워크로드를 여러 환경에 나누면 관리할 대상도 늘어납니다. 같은 조사에서 응답자의 97%는 최소 월 1회 이상 데이터를 다른 환경으로 옮긴다고 답했습니다. 환경마다 접근 권한과 로그 기준이 다르면 데이터가 이동할 때마다 보안 공백이 생깁니다. GPU 비용이 환경별로 흩어져 있으면 어떤 서비스가 비용을 키우는지 파악하기도 어렵습니다.

출발점은 운영 중이거나 계획 중인 AI 워크로드를 유형, 데이터 민감도, 사용량 패턴별로 정리하는 일입니다. 그 위에 환경과 관계없이 같은 권한·감사 정책을 적용하고 Amazon EKS 같은 컨테이너 기반 표준 실행 환경을 갖춰 두면, 사용량이 바뀌었을 때 배치를 다시 조정하기도 수월합니다. AWS AI Factories도 AWS 리전과 연결해 대부분의 AWS 서비스를 함께 쓸 수 있고, 관리자가 사용할 계정을 지정하는 구조입니다. 덕분에 클라우드와 고객 데이터센터를 하나의 관리 체계로 운영하기가 수월해집니다.

 

워크로드 진단부터 운영까지 이어지는 SK AX AI Infra

 

 

SK AX는 AWS 기반 AI 플랫폼 구축과 운영 경험을 바탕으로 이 과정을 함께 설계합니다. SK AX의 AI Infra는 AI 서비스에 필요한 인프라의 설계, 구축, 운영을 End-to-End로 지원합니다. 학습, 추론, RAG, 데이터 처리 등 워크로드별 성능 요구사항과 데이터 흐름을 분석해 GPU·스토리지·네트워크 자원을 설계합니다. 또한 온프레미스·프라이빗 클라우드·퍼블릭 클라우드·하이브리드 가운데 조직의 보안 요구사항과 규제 환경, 예산에 맞는 구성을 제안합니다. PoC로 실제 성능을 먼저 검증한 뒤 단계별 운영 전환을 돕습니다. 여기에 Kubernetes 기반 표준 실행 환경과 접근 제어·감사 체계, GPU 등 고비용 자원의 활용 현황 분석을 함께 제공해, 여러 환경을 하나의 기준으로 관리할 수 있도록 합니다.

 

[FAQ]

 

Q1. AI 워크로드는 클라우드와 온프레미스 중 어디에서 운영하는 것이 좋나요?

워크로드의 특성과 다루는 데이터에 따라 다릅니다. 대규모 GPU를 일정 기간 쓰는 학습에는 퍼블릭 클라우드의 탄력성이 유리하고, 사내 데이터를 참조하는 RAG나 규제 대상 데이터를 다루는 업무는 데이터 위치 요건부터 따져야 합니다. SK AX AI Infra는 워크로드별 성능 요구사항과 데이터 흐름을 분석한 뒤, 보안·규제·예산 조건에 맞는 배포 구성을 제안합니다.

 

Q2. 데이터를 외부로 옮기기 어려운 기업도 클라우드의 AI 서비스를 쓸 수 있나요?

가능합니다. AWS AI Factories는 고객 데이터센터에 AI 컴퓨팅, 네트워크, 스토리지와 Amazon Bedrock, Amazon SageMaker 같은 AI 서비스를 결합해 AWS가 배포·관리하는 방식입니다. 이를 통해 데이터 위치와 접근 권한을 직접 통제하면서 AWS의 AI 기술을 활용할 수 있습니다. 어떤 워크로드를 내부에 둘지는 데이터 민감도와 사용 패턴을 먼저 정리한 뒤 판단하는 것이 좋으며, SK AX는 이 진단부터 실행 환경 설계까지 함께 지원합니다.

 

Q3. SK AX AI Infra는 어떤 기업에 도움이 되나요?

데이터 위치나 규제 요건 때문에 실행 환경을 나눠야 하거나, AI 워크로드가 여러 환경에 흩어져 관리 부담이 커진 기업에 적합합니다. 워크로드에 맞는 실행 환경을 설계·구축하고, 접근 제어·감사 체계와 24/7 통합 관제로 여러 환경을 하나의 기준으로 운영하도록 지원합니다.

 

---

 

AX 컨설팅부터 비즈니스 모델 발굴까지
Global Top 10 AX Service Company｜SK AX

#AI워크로드, #AI인프라전략, #AI추론비용, #데이터주권, #하이브리드클라우드, #AWSAIFactories, #AmazonBedrock, #AWSTrainium, #AWSInferentia, #RAG, #GPU비용최적화, #온프레미스AI, #클라우드거버넌스, #AIInfra, #SKAX