8개의 AMD 인스팅트 MI300X 가속기 탑재한 파워엣지 서버 XE9680
생성형 AI 위한 델과 AMD의 검증 설계로 오픈소스 LLM에 대한 폭넓은 지원 나서
[보안뉴스 엄호식 기자] 델 테크놀로지스(Dell Technologies)가 AMD와 협력해 ‘델 생성형 AI 솔루션(Dell Generative AI Solutions)’ 포트폴리오를 강화한다. 델은 이를 통해 개방형 생태계를 구축하고 프로세서의 다양성을 넓혀, 각 기업이 보유한 고유 데이터에 AI를 적용할 때 맞춤형 솔루션으로 더 간편하고 신뢰할 수 있는 AI 전략을 구현할 수 있도록 지원한다.
‘델 파워엣지 XE9680(Dell PowerEdge XE9680)’ 서버는 곧 출시 예정인 ‘AMD 인스팅트 MI300X(AMD Instinct™ MI300X)’ 가속기를 지원하며 AI 성능에 대한 폭넓은 선택지를 제공할 예정이다. MI300X 가속기를 탑재한 파워엣지 XE9680 서버는 데이터의 가치를 발굴하고 맞춤형 대형 언어 모델(LLM)들로 비즈니스를 차별화하기 위한 고성능 기능을 지원한다. 여덟 개의 MI300X GPU와 GPU 당 192GB의 5.3 TB/s 고대역 메모리(HBM3)를 탑재하며, 서버 당 1.5 TB의 일관된 HBM3 용량 및 21 페타플롭의 FP16 성능을 통해 기업들이 더 큰 규모의 모델을 학습하고, 데이터 센터의 상면은 더 적게 차지해서, TCO를 낮추고 경쟁 우위를 확보할 수 있도록 돕는다.
AMD MI300X 인스팅트 가속기 지원과 더불어 델은 ‘생성형 AI 솔루션’의 다음 단계로서 ‘생성형 AI를 위한 델과 AMD의 검증 설계(Dell Validated Design for Generative AI with AMD)’를 선보인다. 이를 사용해 기업에서는 신뢰할 수 있는 생성형 AI를 손쉽게 구축할 수 있다.
‘생성형 AI를 위한 델과 AMD의 검증 설계’는 내년에 출시 예정인 AMD ROCm™ 기반의 AI 프레임워크를 지원함으로써 델의 생성형 AI 솔루션 생태계를 확장하고 여러 오픈소스 LLM들을 함께 지원할 예정이다.
AMD ROCm™은 AMD 인스팅트 가속기를 위한 드라이버, 개발 툴킷 및 API의 오픈소스 스택이다. 생성형 AI를 위한 델 검증 설계는 고객이 통합, 성능, 사이징 등의 작업 시 추측에 의존하지 않고 필요한 조건을 충분히 만족시키는 신뢰성 있는 생성형 AI 플랫폼을 간편하게 구축할 수 있도록 돕는다. ROCm에 최적화된 파이토치(PyTorch), 텐서플로(TensorFlow), ONNX-RT), 잭스(JAX), 트리톤(Triton)과 같은 오픈소스 AI/ML 프레임워크를 통해 간편하게 LLM을 활용할 수 있다.
파워엣지 XE9680에 포함된 델 오픈 매니지 엔터프라이즈(Dell Open Manage Enterprise) 소프트웨어는 생성형 AI 인프라 구축을 단순화하고 가속화하며, 클라우드IQ(CloudIQ) AI옵스 소프트웨어는 지능적인 자동화를 제공한다. 또한 통합형 사이버 복구 및 광범위한 제로 트러스트 구현을 통해 안전성을 보장한다.
8개의 AMD 인스팅트 MI300X 가속기를 탑재한 ‘델 파워엣지 XE9680’은 델 파워스위치 Z9664F-ON(Dell PowerSwitch Z9664F-ON)가 탑재된 ‘델 검증 GPU 패브릭(Dell validated GPU fabric)을 통해 이더넷(Ethernet) 기반 AI 패브릭으로 연결되는 MI300X GPU 클러스터를 지원한다. 이 클러스터를 아우르는 xGMI(Global Memory Interconnect) 기술을 통해 분산된 생성형 AI의 훈련 및 추론을 선형적으로 확장하고, 낮은 지연시간을 보장한다.
AMD 인스팅트 MI300X 가속기가 탑재된 델 파워엣지 XE9680 및 생성형 AI를 위한 델과 AMD의 검증 설계는 2024년 상반기 중 출시될 예정이다.
김경진 한국 델 테크놀로지스 총괄사장은 “생성형 AI는 최근 수십년을 통틀어 가장 효과적인 혁신의 가속 페달로 작용할 것”이라고 전망하며, “이 기술을 활용하는 데 있어 누가 더 프로세스를 간소화하고 비용을 절감할 수 있는지가 새로운 디지털 시대의 경쟁 우위를 결정하게 되는 만큼 델은 개방형 생태계를 통해 고객들에게 다양한 선택의 폭을 제공하는데 앞장설 계획”이라고 말했다.
[엄호식 기자(eomhs@boannews.com)]
생성형 AI 위한 델과 AMD의 검증 설계로 오픈소스 LLM에 대한 폭넓은 지원 나서
[보안뉴스 엄호식 기자] 델 테크놀로지스(Dell Technologies)가 AMD와 협력해 ‘델 생성형 AI 솔루션(Dell Generative AI Solutions)’ 포트폴리오를 강화한다. 델은 이를 통해 개방형 생태계를 구축하고 프로세서의 다양성을 넓혀, 각 기업이 보유한 고유 데이터에 AI를 적용할 때 맞춤형 솔루션으로 더 간편하고 신뢰할 수 있는 AI 전략을 구현할 수 있도록 지원한다.
▲델 테크놀로지스의 파워엣지 서버 XE9680[사진=델 테크놀로지스]
‘델 파워엣지 XE9680(Dell PowerEdge XE9680)’ 서버는 곧 출시 예정인 ‘AMD 인스팅트 MI300X(AMD Instinct™ MI300X)’ 가속기를 지원하며 AI 성능에 대한 폭넓은 선택지를 제공할 예정이다. MI300X 가속기를 탑재한 파워엣지 XE9680 서버는 데이터의 가치를 발굴하고 맞춤형 대형 언어 모델(LLM)들로 비즈니스를 차별화하기 위한 고성능 기능을 지원한다. 여덟 개의 MI300X GPU와 GPU 당 192GB의 5.3 TB/s 고대역 메모리(HBM3)를 탑재하며, 서버 당 1.5 TB의 일관된 HBM3 용량 및 21 페타플롭의 FP16 성능을 통해 기업들이 더 큰 규모의 모델을 학습하고, 데이터 센터의 상면은 더 적게 차지해서, TCO를 낮추고 경쟁 우위를 확보할 수 있도록 돕는다.
AMD MI300X 인스팅트 가속기 지원과 더불어 델은 ‘생성형 AI 솔루션’의 다음 단계로서 ‘생성형 AI를 위한 델과 AMD의 검증 설계(Dell Validated Design for Generative AI with AMD)’를 선보인다. 이를 사용해 기업에서는 신뢰할 수 있는 생성형 AI를 손쉽게 구축할 수 있다.
‘생성형 AI를 위한 델과 AMD의 검증 설계’는 내년에 출시 예정인 AMD ROCm™ 기반의 AI 프레임워크를 지원함으로써 델의 생성형 AI 솔루션 생태계를 확장하고 여러 오픈소스 LLM들을 함께 지원할 예정이다.
AMD ROCm™은 AMD 인스팅트 가속기를 위한 드라이버, 개발 툴킷 및 API의 오픈소스 스택이다. 생성형 AI를 위한 델 검증 설계는 고객이 통합, 성능, 사이징 등의 작업 시 추측에 의존하지 않고 필요한 조건을 충분히 만족시키는 신뢰성 있는 생성형 AI 플랫폼을 간편하게 구축할 수 있도록 돕는다. ROCm에 최적화된 파이토치(PyTorch), 텐서플로(TensorFlow), ONNX-RT), 잭스(JAX), 트리톤(Triton)과 같은 오픈소스 AI/ML 프레임워크를 통해 간편하게 LLM을 활용할 수 있다.
파워엣지 XE9680에 포함된 델 오픈 매니지 엔터프라이즈(Dell Open Manage Enterprise) 소프트웨어는 생성형 AI 인프라 구축을 단순화하고 가속화하며, 클라우드IQ(CloudIQ) AI옵스 소프트웨어는 지능적인 자동화를 제공한다. 또한 통합형 사이버 복구 및 광범위한 제로 트러스트 구현을 통해 안전성을 보장한다.
8개의 AMD 인스팅트 MI300X 가속기를 탑재한 ‘델 파워엣지 XE9680’은 델 파워스위치 Z9664F-ON(Dell PowerSwitch Z9664F-ON)가 탑재된 ‘델 검증 GPU 패브릭(Dell validated GPU fabric)을 통해 이더넷(Ethernet) 기반 AI 패브릭으로 연결되는 MI300X GPU 클러스터를 지원한다. 이 클러스터를 아우르는 xGMI(Global Memory Interconnect) 기술을 통해 분산된 생성형 AI의 훈련 및 추론을 선형적으로 확장하고, 낮은 지연시간을 보장한다.
AMD 인스팅트 MI300X 가속기가 탑재된 델 파워엣지 XE9680 및 생성형 AI를 위한 델과 AMD의 검증 설계는 2024년 상반기 중 출시될 예정이다.
김경진 한국 델 테크놀로지스 총괄사장은 “생성형 AI는 최근 수십년을 통틀어 가장 효과적인 혁신의 가속 페달로 작용할 것”이라고 전망하며, “이 기술을 활용하는 데 있어 누가 더 프로세스를 간소화하고 비용을 절감할 수 있는지가 새로운 디지털 시대의 경쟁 우위를 결정하게 되는 만큼 델은 개방형 생태계를 통해 고객들에게 다양한 선택의 폭을 제공하는데 앞장설 계획”이라고 말했다.
[엄호식 기자(eomhs@boannews.com)]
<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>
엄호식기자 기사보기
[2024-04-24] 
_m.jpg)
.jpg)
.jpg)
.jpg)
