ON DATA

실측 노트를 시작합니다 — DGX Spark 1대에 27B LLM을 올려 잰 기록

안녕하세요, ON DATA를 운영하는 최승옥입니다. 고객사 내부에 DGX Spark를 설치·대여하는 일을 하고 있습니다.

“이 장비로 무엇이 어느 정도 되나요?”라는 질문에 사양표 대신 기록으로 답하고 싶어서, 보유 장비로 직접 잰 결과를 ‘실측 노트’로 쌓기 시작했습니다. 원칙은 세 가지입니다. 직접 잰 것만 쓰고, 측정 조건을 표로 공개하고, 실패와 한계도 같은 글에 적습니다.

첫 노트는 DGX Spark 1대에 27B 모델(nvidia/Qwen3.8-27B-NVFP4)을 SGLang 0.5.19로 올려, 추측 디코딩(DFlash2) 사용 여부에 따른 출력 처리량을 조건마다 3회씩 잰 기록입니다. 짧은 고정 입력에서 나온 값이라 긴 문서 입력과 답변 품질은 다루지 않았고, 그 점도 글에 적었습니다.

글: https://ondatagpu.com/notes/dgx-spark-27b-llm?utm_source=disquiet&utm_medium=community&utm_campaign=notes&utm_content=dgx-spark-27b-llm

다음 노트는 사내 문서 RAG를 DGX Spark 1대로 실행한 기록입니다. 재 봤으면 하는 조건이 있으면 댓글로 남겨 주세요.