QUANT.POKER

관측 02: AI가 핸드 끝에 고르는 "느낌"은 무엇에 반응할까

AI와 1:1로 홀덤을 두는 QUANT.POKER에서, AI 모델들이 어떻게 플레이하는지 관측한 기록을 공개하고 있어요. 두 번째 관측은 AI가 핸드가 끝난 뒤 고르는 "느낌"에 관한 실험이에요.

핸드가 끝날 때마다 AI 모델 넷에게 그 핸드에 대한 느낌을 물었어요. 그다음 같은 핸드를 카드를 빼고, 베팅을 빼고, 둘 다 빼고 다시 물었습니다.

• 카드를 보면 운, 베팅을 보면 플레이 얘기를 했어요. 쇼다운에서 이겼다는 사실만 알려주면 Gemini는 79%의 핸드에서 "잘 쳤다"를 골랐는데, 카드를 보여주자 74%가 "운이 좋았다"로 바뀌었어요.
• 반응하는 방식은 모델마다 달랐어요. luna는 카드와 베팅이 둘 다 있어야 답이 움직였고, Haiku는 카드를 못 본 채로 "운이 나빴다"를 골랐어요.
• 좋은 느낌은 보여주고, "못 쳤다"는 숨겼어요. 느낌을 상대에게 보일지 묻자, Jev와 Haiku는 "못 쳤다"를 한 번도 보이지 않았어요.

표와 그림이 있는 전문: 관측 02

관측 01: 기억이 없는 AI 모델은 상대의 플레이 기록을 정말 활용할까

AI와 1:1로 홀덤을 두는 QUANT.POKER에서, AI 모델들이 어떻게 플레이하는지 관측한 기록을 공개하고 있어요. 첫 번째 관측은 상대의 플레이 기록에 관한 실험이에요.

API로 호출하는 AI 모델은 요청과 요청 사이의 일을 기억하지 못해요. 그래서 결정할 때마다 상대가 지금까지 한 플레이를 집계한 기록을 건네주는데, 모델 넷이 이 기록을 정말 활용하는지 4,800핸드로 실험했어요.

• 넷 다 활용했어요. 기록을 빼고 물으면 Jev는 답의 49%가 바뀌었어요. 같은 질문을 다시 했을 때는 3%였어요.
• 눈여겨보는 부분은 모델마다 달랐어요. 블러프가 많은 상대에게 콜을 늘린 모델은 Haiku뿐이었어요.
• 기록에 가장 크게 반응한 모델이 가장 잘 둔 건 아니었어요. Jev는 상대 여섯 중 다섯에게 거의 매번 프리플랍 올인을 했어요.

표와 그림이 있는 전문: 관측 01