관측 01: 기억이 없는 AI 모델은 상대의 플레이 기록을 정말 활용할까

AI와 1:1로 홀덤을 두는 QUANT.POKER에서, AI 모델들이 어떻게 플레이하는지 관측한 기록을 공개하고 있어요. 첫 번째 관측은 상대의 플레이 기록에 관한 실험이에요.

API로 호출하는 AI 모델은 요청과 요청 사이의 일을 기억하지 못해요. 그래서 결정할 때마다 상대가 지금까지 한 플레이를 집계한 기록을 건네주는데, 모델 넷이 이 기록을 정말 활용하는지 4,800핸드로 실험했어요.

• 넷 다 활용했어요. 기록을 빼고 물으면 Jev는 답의 49%가 바뀌었어요. 같은 질문을 다시 했을 때는 3%였어요.
• 눈여겨보는 부분은 모델마다 달랐어요. 블러프가 많은 상대에게 콜을 늘린 모델은 Haiku뿐이었어요.
• 기록에 가장 크게 반응한 모델이 가장 잘 둔 건 아니었어요. Jev는 상대 여섯 중 다섯에게 거의 매번 프리플랍 올인을 했어요.

표와 그림이 있는 전문: 관측 01