뒤로
H-MAS 개발 노트 Iteration 45 (10/18~10/24)를 올렸습니다.
이번 주는 직접 측정해 보고 결정한 일이 많았습니다.
- GPU 성능 분석은 서비스를 멈추지 않는 범위에서만 하기로 했습니다
- 런타임을 vLLM 하나로 통일하고, SGLang을 새로 도입하기로 했습니다
- 추론 가속 기법(Speculative Decoding)은 측정해 보니 효과가 기대보다 작아 기본 기능에서 뺐습니다
- 설정을 바꿨는데 몇 초 뒤 원래대로 돌아가던 버그를 고쳤습니다
HMAS
고비용 GPU 인프라를 하드웨어 기반으로 최적화하여 AI 서빙 비용을 절감하는 플랫폼
1
댓글
로그인 후 댓글을 남길 수 있습니다.
추론 가속 기법을 측정한 뒤 기본 기능에서 뺀 결정이 인상적입니다. 평균 지연뿐 아니라 요청 길이별 지연과 GPU 메모리 여유도 함께 비교하면, 특정 조건에서만 다시 켤 기준을 정하기 좋겠어요.
좋은 의견 감사합니다! 이번에는 5가지 구성을 비교했었는데, 제가 갖고 있는 GPU에서는 가장 좋은 구성도 토큰 간 지연이 최대 24% 개선돼 기준(30%)에 못 미쳤고, 일부 구성은 오히려 최대 77% 느려졌습니다. 그래서 기본 기능에서는 빼고, 필요한 분은 고급 설정으로 직접 켤 수 있게 문서로만 남겼어요. 말씀하신 요청 길이별 지연과 GPU 메모리 여유를 함께 보면 "이런 조건에서는 켜도 된다"는 기준을 만들 수 있겠네요. 다음에 다시 측정할 때 참고하겠습니다!