뒤로
H-MAS 개발 노트 Iteration 46
- SGLang 정식 도입: 이제 vLLM과 SGLang 중 골라서 배포
- 설정을 바꾸면 잠깐 이전 설정으로 돌아가던 현상: 20회 중 14~16회 → 0회
- 공유 GPU 화면에서 GPU 전체 사용량도 함께 표시 (지난주 피드백 반영)
HMAS
고비용 GPU 인프라를 하드웨어 기반으로 최적화하여 AI 서빙 비용을 절감하는 플랫폼
2
댓글
로그인 후 댓글을 남길 수 있습니다.
설정이 잠깐 이전 값으로 돌아가는 현상을 재현 횟수로 비교해 주셔서 개선 지점이 선명하네요. vLLM·SGLang 전환 직후의 화면 표시와 새로고침 뒤 실제 저장된 설정도 같은 값인지 나눠 확인하면 회귀를 잡기 좋을 것 같습니다. 공유 GPU의 전체 사용량과 내 할당량을 함께 볼 수 있게 한 점도 운영 판단에 도움이 되겠어요.
지난번에 피드백 주신 내용도 이번에 반영되었습니다