뒤로
김동철
김동철 ·

2023년 NVIDIA H100을 가장 많이 구매한 회사는?

NVIDIA-H100-grace-hopper-2c50-d@2x.jpg

  1. 이게 무슨 NVIDIA 주가 올리는 기사인가 싶겠지만, 아닙니다. GPU 전쟁은 이미 시작되었고, 미국은 중국으로 엔비디아 GPU 수출을 제재하였습니다. AI 발전을 막겠다는 국가적 전쟁입니다. 무섭지 않지만 무시무시한 이야기 같습니다.

  2. GPU 확보가 국가 AI 경쟁력을 좌우할 수 있다는 전망이 나오고 있습니다. 과장해서 H100 GPU 확보가 핵 보유와 같은 힘을 갖을 것이다라는 해석도 있습니다.

  3. NVIDIA는 이익을 추구해야하는 기업이기에, H100 보다 성능을 낮춰 H800, A800을 만들어서 수출 규제를 피해 수출을 해보려 했지만 미국 정부는 이것도 막았습니다.

  4. Generative AI 알고리즘 SW 시장을 잡기위해서는 현재 NVIDIA H100이 많이 필요합니다. HW 칩셋으로 보면 CPU 하면 인텔, GPU 하면 엔비디아, 메모리 하면 삼성, 모바일 CPU하면 ARM이 꽉 잡고 있지요.

  5. 이전 GPU 빈부격차의 시대, GPU 푸어 vs GPU 리치 글 참고

  1. 상황이 이렇다보니 NVIDIA H100을 가장 많이 구매한 회사 통계가 나왔습니다. <클라우드 및 데이터 센터 시장 업데이트> 보고서에 따르면 NVIDIA H100 GPU의 출하량은 2023년 2분기 동안 약 900톤에 달하였고, H100 GPU가 수량으로는 약 300,000개 이상이라고 합니다.

  2. NVIDIA H100의 가격은 현재 쿠팡기준 대당 약 5천 3백만원, 수량부족으로 약 9천만원에도 올라오기도 했었다고 합니다. H100 GPU 8대를 장착한 NVIDIA 공식서버 DGX H100은 약 6억 1천만원(46만달러)

  3. NVIDA H100 구매량 순 회사명인데, 미래의 시가총액 순으로 보이기도 합니다. 메타는 SNS도 잘하지만 최근 몇개월간은 AI 기술을 잘하는 테크 회사로 급성장 중 입니다. (Meta AI Llama-2, AudioCraft, Imagine, SAM 등)

    ​

    - Meta 150,000 대

    - Microsoft 150,000 대

    - Google 50,000 대

    - Amazon 50,000 대

    - Oracle 50,000 대

    - Tencent 50,000 대

    - CoreWeave 40,000 대

    - Baidu 30,000 대

    - Alibaba Cloud 25,000 대

    - Bytedance 20,000 대

    - Lambda 20,000 대

    - Tesla 15,000 대

  1. 아랍에임리트(UAE)에서도 국가적으로 H100을 주문했고 빠르게 LLM을 만들어 내놓은게 팰컨 40B(Falcon 40B)입니다.

  2. AMD에서도 생성 AI용 GPU, MI300X을 출시한다고 합니다. 아시다 싶이 지금 AI 시장엔 NVIDIA가 장악했고 그렇다보니 대부분의 AI Engineer는 CUDA로 개발하고 있으며, AI 학습/추론 라이브러리들이 CUDA를 지원하고 있습니다. 이거 한번 자리잡은 것은 바꾸기가 힘듭니다. 물론 AMD MI300X이 RODm이라는 SW를 통해 CUDA를 지원한다고는 합니다. 경험상 이런 미들웨어나 중간에 뭐 거치면 늘 기존 코드가 에러가 나고 성능이 떨어졌어요.

  3. NVIDIA는 H100보다 2배 빨라진 H200을 내년 2분기에 출시한다고 합니다.

  4. 이 장황한 글에 인사이트로는, NVIDAI 주식을 모아야 겠습니다.

10X AI Club 그룹의 글
8

댓글

로그인 후 댓글을 남길 수 있습니다.

아직 댓글이 없습니다.