뒤로
이번 주엔 기능 하나를 뺐습니다. 리소스 프로파일. 만들고 보니 쓸 일이 없어졌고 기본값은 애초에 안 먹던 거였더라고요. 이제 배포 폼에서 CPU·메모리·GPU를 직접 적습니다.
추론 로그도 따로 옮기려던 걸 접고 PostgreSQL에 둡니다. 재보니 부하가 문제가 아니었어요.
HMAS
고비용 GPU 인프라를 하드웨어 기반으로 최적화하여 AI 서빙 비용을 절감하는 플랫폼
0
댓글
로그인 후 댓글을 남길 수 있습니다.
리소스 프로파일을 빼고 CPU·메모리·GPU를 배포 폼에서 직접 받는 쪽으로 정리하셨군요. 추론 로그도 실제 부하를 측정한 뒤 PostgreSQL에 남긴 판단이 인상적입니다. 기존 배포 설정을 쓰던 분에게는 변경 전후 값을 어떻게 안내하실 계획인가요?
좋은 질문 감사합니다. 프로파일은 폼 값 위에 얹히는 보정이었어서 배포에 저장된 값은 전후가 달라지지 않고, 혹시 참조가 남은 환경은 적용 전 확인 단계에서 걸러 정리하도록 해 두었습니다. 로그 쪽도 관심 가져주셔서 감사합니다.