개발 IT 게시판

엔비디아의 DGX Spark AI 미니 PC는 올해 CES에서 첫선을 보이며 5월 출시 예정이었지만, 이후 출시가 지연되었습니다 . 출시를 막았던 여러 가지 문제들이 해결된 것으로 보입니다. 엔비디아는 DGX Spark 시스템을 10 월 15일부터 엔비디아 자체 제품뿐 아니라 델 , 에이수스, MSI, HP 등 파트너사에서도 구매할 수 있다고 발표했습니다.

다시 한번 말씀드리자면, DGX Spark는 로컬 AI 추론 및 개발 요구에 맞춰 맞춤 제작된 Grace Blackwell GB10 기반 미니 PC 플랫폼입니다 . 오늘날 최첨단 AI 모델에서 추론을 실행하려면 RTX 5090이 제공하는 32GB보다 훨씬 더 많은 GPU 로컬 메모리가 필요합니다. (RTX Pro 6000 Blackwell은 최대 96GB의 GPU 로컬 메모리를 제공하지만, 호스트 서버나 워크스테이션 비용을 제외하면 8,000달러가 넘는 제품입니다.)

DGX Spark(이전 명칭: Project DIGITS)에는 20Arm 코어 Nvidia Grace CPU와 Blackwell GPU가 공유하는 128GB LPDDR5X 메모리의 통합적이고 일관된 풀이 포함되어 있으며, 최대 1페타플롭의 AI 추론 성능을 제공한다고 합니다(모델이 희소성을 갖춘 FP4 양자화로 축소되었다고 가정).

DGX Spark 1대가 최대 2,000억 개의 매개변수 모델을 로컬에서 지원한다고 회사 측은 밝혔습니다(FP4 양자화 가정). Spark 1대로는 부족할 경우, 내장된 Nvidia ConnectX 7 NIC를 사용하여 두 대를 연결하여 메모리와 컴퓨팅 리소스를 두 배로 늘릴 수 있습니다.

DGX Spark는 엔비디아의 자체 DGX OS(우분투 포크)를 실행하며 AI 개발자에게 매우 중요한 CUDA 소프트웨어 스택을 지원합니다. 휴대용 기기처럼 다양한 기기에서 (고가의) 게임용 칩으로 틈새시장을 개척한 Strix Halo와는 달리, DGX Spark는 Arm 및 Linux 기반이라는 특성 때문에 턴키 방식의 게임 플랫폼으로서는 매력이 떨어집니다. 하지만 호기심 많은 마니아라면 약간의 노력만 기울이면 원하는 게임을 즐길 수 있을 것입니다.

지금까지 AMD Ryzen AI Max+ 395 SoC (일명 Strix Halo) 를 기반으로 제작된 미니 PC와 노트북은 "상대적으로 합리적인 가격의 칩에 방대한 메모리 풀과 합리적인 추론 성능을 위한 충분한 컴퓨팅 성능"이라는 시장을 독점해 왔습니다. Strix Halo는 최대 112GB의 GPU 메모리(최대 128GB 내장 RAM)를 지원합니다. 하지만 이러한 시스템은 널리 사용되는 CUDA 스택을 기본적으로 지원하지 않아 AI 프로젝트를 시작하고 실행하려는 개발자와 마니아들에게 어려움을 겪습니다.

Nvidia는 Anaconda, Cadence, ComfyUI, Docker, Google , Hugging Face, JetBrains, LM Studio, Meta, Microsoft , Ollama, Roboflow 등 다양한 소프트웨어 파트너와 협력하여 자사 도구가 DGX Spark에서 원활하게 작동하도록 보장하고 있다고 밝혔습니다 . 따라서 로컬에서 실행하려는 LLM이 있는 경우 DGX Spark가 견고한 기반이 될 가능성이 높습니다.