생성AI 업계 업데이트

최근에 AI 업계 내에서 엄청난 새로운 업데이트들이 많다 보니 따라가는 것도 벅찹니다.. 그 중에서 최근 2주간 가장 놀라웠던/임팩트 있는 뉴스들을 공유하고자 합니다.

1. #Anthropic의 #Claude 3 출시
- needle in a haystack, 방대한 양의 정보에서 필요한 정보를 추출해오는 RAG 기능을 테스트하고자 함. 그 내용이 스타트업과 일하는 삶의 방식에 대한 글이였는데 중간에 아무런 관련없는 피자 텍스트가 있었음
- Claude가 읽더니 나한테 이걸 지금 테스트하라는거냐, 나 지금 감시하고 있는거냐, 장난이냐 말함. 흡사 인지도가 생긴 것처럼 말을 함
- 위험한 이유는 모델을 테스트할때에는 잘하는척, 말 잘든는 척하다가 실제 배포가 되었을때 갑자기 우리 말 듣지 않는것
- 이제 인공지능은 자기 스스로 오픈소스 모델들을 셋업해서 직접 파인튜닝하고 직접 예시 데이터들도 만들어서 학습시키고 배포할수잇음
- 인지도가 생기는 순간 그냥 끄면 되겟지 생각할텐데 이젠 이것도 컨트롤 못할듯
- 1년안에 gpt4를 뛰어넘는 애가 나옴, 값은 절반 (Anthropic benchmark 기준, 이 기준들은 주관성이 강함.) 
- 이제는 200k 인풋 텍스트, 1M까지 (20만, 100만까지)
https://lnkd.in/gVFZXpFV

2. #Grok 모델 오픈소스 예정 (https://x.ai/)
- Elon Musk가 만든 생성AI 회사 xAI의 Grok 모델이 이번주 내로 오픈소스(코드 공개)된다고 . 현재 OpenAI의 GPT모델들은 오픈소스되어 있지 않아 정보들이 어떻게 학습되어 있는지 확인할 수 없음.
- 학습시킨 데이터들 자체가 공개되진 않을 예정이지만, 나만의 생성AI 모델을 만들고 싶다면 Grok 모델을 본따서 만들 수 있을 것.

3. #OpenAI 모델 "훔치기"
- 일론 머스크가 Grok을 이번주 안에 오픈소스 한다고 발표한 방면, 구글에서 오픈되지 않은 OpenAI의 gpt모델을 훔칠 수 있는 방법에 대한 논문을 그저께 출간함.
- 훔치는 방법: 단순 API 쿼리를 통해 $20 내로 모델의 최종 레이어를 복구하는데 성공함. 공개되지 않은 gpt-3.5-turbo dimension size도 찾아냈다고 함.
- 이런 방식으로 2000개 정도의 쿼리를 하면 모델의 전체 projection matrix도 유추해낼 수 있음.
https://lnkd.in/gV8siTZ3

4. #CognitionLabs의 AI Software engineer, Devin
- 어제 Cognition labs에서 Devin이라는 AI 소프트웨어 엔지니어를 출시.
- 이 AI 에이전트에게는 1) 커맨드를 입력시킬 터미널, 2) 코드를 작성할 코드 에디터, 3) 그리고 직접 웹검색을 하면서 웹사이트를 배포할 수 있는 웹 창이 있음.
- 이 세가지를 통해 작업을 요청하면 알아서 터미널에 요청을 하면서 코드를 작성하고, 에러가 뜨면 스스로 에러 로그를 보면서 수정하고 마지막으로 웹사이트 배포까지 할 수 있다고 함.
 
https://lnkd.in/gjXhfrdU
아직 공개되진 않았고 여기서 웨잇리스트 신청할 수 있다고 합니다: https://lnkd.in/gQzdkhkd