뒤로
백승윤
·
Gemini Pro. GPT-3.5-turbo보다도 별로임!
논문 저자가 재실험을 하고 있다고 하네요. 댓글 참고 부탁드립니다!!
이틀 전에, CMU에서 아카이브 페이퍼가 하나 올라왔는데요. 유명한 10개 데이터셋에 대해서 Gemini Pro, GPT-3.5-turbo, GPT-4를 비교해봤고 그 결과...
GPT-3.5-turbo 보다도 모든 데이터셋 성능에서 밀리네요. Gemini Pro 쓸 이유가 없겠는데요? OpenAI는 신인 것 같습니다. 그럼 20000.
#짧스콰이엇 처럼 적어보았습니다 ^^
늠름(LLM)한 엔지니어
그룹의 글
15
댓글
로그인 후 댓글을 남길 수 있습니다.
헉 ㅋㅋ 테크니컬 리포트는 사실이 아니었던건가요
엇, 구글에서 리포트 제출했었나요? 링크 공유해주시면 감사하겠습니다!
https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf 여기 있는데 편협한 리포트로 알려졌습니다.
애초에 영상도 편집한 영상으로 알려져서 그때부터 신뢰가 ㅎㅎ..
그러게요 거짓으로 판명나서 조금 당황스럽네요...ㅠ
페이퍼 한번 봤는데 결과값이 좀 많이 다르네요..? 오 이거 두 논문 중 하나는 문제가 될 수도 있겠는데요.
매수하지 않은 제 자신에게 칭찬합니다. (정신승리)
Gemini Pro 의 Vision 기능이 초당 1회 무료인 점은 마음에 들더라고요! 😊
와 그건 진짜 좋은데요? LLaVA-1.5 보다는 Gemini Pro가 좋겠죠...? (의심)
오 네네 괜찮더라고요!! 저는 무료라서 어드민에다가 달아놨습니다 ㅋㅋ
https://arxiv.org/abs/2312.11805 오늘자로 구글에서 낸 gemini 논문도 아카이브에 올라왔네요!
중요한 업데이트가 있습니다! https://github.com/neulab/gemini-benchmark/issues/35 위 논문을 쓴 저자가 평가에 문제가 있었던 것 같다고 재실험을 하고 있다고 하네요!! 재실험 결과가 나온다면 업데이트 드리겠습니다 ㅎㅎ 그전까지는 중립기어 해야겠어요