parameterfreak

GPU 서버에서 LLM을 서빙하는 플랫폼 H-MAS의 데모 영상을 만들었습니다.

• 모델 고르고 VRAM 나눠 배포
• OpenAI 호환 API로 Open WebUI 연결
• 응답 속도·GPU 사용률 실시간 확인

실제 화면 그대로 2분 분량입니다.

https://youtu.be/HLvMTjANiNQ

H-MAS 개발 노트 Iteration 46

• SGLang 정식 도입: 이제 vLLM과 SGLang 중 골라서 배포
• 설정을 바꾸면 잠깐 이전 설정으로 돌아가던 현상: 20회 중 14~16회 → 0회
• 공유 GPU 화면에서 GPU 전체 사용량도 함께 표시 (지난주 피드백 반영)

https://parameterfreak.com/changelog/h-mas/2026-11-01/

H-MAS 개발 노트 Iteration 45 (10/18~10/24)를 올렸습니다.

이번 주는 직접 측정해 보고 결정한 일이 많았습니다.
- GPU 성능 분석은 서비스를 멈추지 않는 범위에서만 하기로 했습니다
- 런타임을 vLLM 하나로 통일하고, SGLang을 새로 도입하기로 했습니다
- 추론 가속 기법(Speculative Decoding)은 측정해 보니 효과가 기대보다 작아 기본 기능에서 뺐습니다
- 설정을 바꿨는데 몇 초 뒤 원래대로 돌아가던 버그를 고쳤습니다

https://parameterfreak.com/changelog/h-mas/2026-10-25/

GPU 한 장을 한 팀이 통째로 쓰면 나머지 팀은 대기. 이번 주에 VRAM을 쪼개 여러 배포가 나눠 쓰는 기능을 화면까지 끝냈습니다.
다만 쪼개 쓴 배포는 GPU 사용률을 배포별로 못 구하길래, 가짜 숫자 대신 "수집 불가"를 그대로 띄우기로 했습니다.
https://parameterfreak.com/changelog/h-mas/2026-10-18/

작은 모델 하나 때문에 GPU 한 장이 통째로 묶이는 게 신경 쓰였는데, 4개월 미룬 이슈를 이번 주 손댔습니다.

GPU 개수 대신 VRAM 용량을 적으면 한 장에 모델 여러 개가 올라갑니다. 둘로 해봤고 둘 다 응답 옵니다. 격리 없는 클러스터는 메모리 상한으로 때웠습니다.

https://parameterfreak.com/changelog/h-mas/2026-10-11/