댓글 남겨주셔서 정말 감사합니다! Orke 담당하고 계시군요, 개발자용 AI 작업 공간이라니 저희랑 고민하는 지점이 많이 겹칠 것 같아요 :) 말씀하신 방식, 사실 지난주에 거의 그대로 해봤습니다. 같은 소형 모델을 1. 전용 GPU 2. VRAM 절반 분할 + 옆 배포는 쉬는 상태 3. 분할 + 옆 배포에 동시성 8로 계속 부하, 이렇게 세 조건으로 같은 워크로드를 돌려봤어요. 3번에서는 토큰 간 지연이 약 2배, 처리량은 딱 절반이 나왔습니다. 격리 계층이 VRAM만 나누고 연산 시간은 시분할이라 어느 정도 예상한 결과였고요. 오히려 재미있었던 건 2번이었는데, 옆 배포가 놀고 있는데도 처리량이 15~24% 빠지더라고요. 그래서 측정값을 전용 / 분할-유휴 / 분할-부하 세 가지로 나눠서 기록하고, 분할-부하 값은 기준값으로는 안 쓰기로 했습니다. OOM·재시작 쪽은 말씀 덕분에 다시 보게 된 부분이 있어요. 분할 크기를 가중치 기준으로만 잡으면 KV 캐시가 0이 되는데, 이때 깔끔하게 OOM으로 죽는 게 아니라 기동 단계에서 무한 대기에 빠져서 probe 재시작만 반복되더라고요. 그래서 OOM 카운트보다는 재시작 횟수랑 분할 크기를 측정 키에 같이 넣는 쪽으로 정리하고 있습니다. p95도 수집 중이라 정리해서 공개할 때 같이 올릴게요. 두 번째 제안도 딱 제가 다음에 하려던 거라 반가웠습니다. 지금은 배포 화면 GPU 카드가 "수집 불가"만 보여주는데, 그 배포가 올라간 GPU 장치 전체 값(옆 배포 포함)을 같이 보여주는 방향으로 잡고 있어요. 이런 피드백 주시는 분이 있으니 정리할 맛이 나네요. 다음에도 편하게 의견 주세요! :-)