뒤로
GPU 서버에서 LLM을 서빙하는 플랫폼 H-MAS의 데모 영상을 만들었습니다.
- 모델 고르고 VRAM 나눠 배포
- OpenAI 호환 API로 Open WebUI 연결
- 응답 속도·GPU 사용률 실시간 확인
실제 화면 그대로 2분 분량입니다.
HMAS
고비용 GPU 인프라를 하드웨어 기반으로 최적화하여 AI 서빙 비용을 절감하는 플랫폼
0
댓글
로그인 후 댓글을 남길 수 있습니다.
아직 댓글이 없습니다.