이철민
AI비즈니스에 관련된 위커밋의 글은 아래에서 확인하실 수 있습니다
1화 https://disquiet.io/@skybluue/makerlog/ep-1-ai전쟁-한방에-정리해드림-구글-vs-ms
2화 https://disquiet.io/@skybluue/makerlog/ep-2-ai로-사업을-한다는-것-feat-세종대왕-맥북-던짐-사건
군대를 다녀온 근 2년 동안 세상이 매우많이 바뀌어 있었습니다. 원래 컴퓨터 비전쪽에서 현업으로 가장 최전선에 있었지만, AI 혁명의 시대에 놓여있다는 표현이 등장할 만큼 많은 것이 바뀌어 있었고 나는 낡아져 있었습니다. wecoomit(@강수진)의 도움을 받아 프로젝트에 기여하고자 followup을 진행하였습니다.
- NLP
어느 순간 ChatGPT가 NLP와 AI의 시대를 만들었습니다. 이미 사람 수준으로 오른 컴퓨터 비전 다음으로 AI 분야의 핵심으로 떠오르고 많은 기업들에서 연구 개발중이며 컴퓨터비전과도 합쳐지는 추세입니다. 프롬프트 엔지니어링이라는 새로운 분야를 만들었고 아예 프롬프트를 사고 파는 사이트도 나왔습니다.. (https://promptbase.com/) 이렇게 많은 발전을 이룬 NLP분야의 핵심기술 및 단어 4개를 조사하였습니다..
1. Hallucination
인공지능이 거짓을 확신하며 사실과 반대되는 이야기를 내놓는 현상으로 오늘날 LLM에 있어서 가장 경계해야되고 처리해야할 문제점입니다. 실제로 ChatGPT 관련하여 해당 현상과 관련된 글들을 종종 볼 수 있습니다.
관련 기사들
할루시네이션 소개
- 뻔뻔한 거짓말, 할루시네이션Hallucination, 똑똑하면서 멍청한 챗gpt
https://www.lecturernews.com/news/articleView.html?idxno=129556
할루시네이션 극복하기 위한 노력 1 : 빙AI, 정보 출처 제공
- ‘생성 AI, 신뢰성 확보 쉽지 않네’··· 빙AI, 덕어시스트의 ‘출처 제공 기능’ 검토해보니...
https://www.ciokorea.com/news/281653
할루시네이션 극복하기 위한 노력 2 : 오픈AI 개선방안 공개
- 오픈AI, 챗GPT 환각 문제 개선 방안 공개
https://www.aitimes.com/news/articleView.html?idxno=151451
2. LangChain
각종 LLM들을 쉽게 사용하게 만드는 파이썬 라이브러리입니다.
Prompt를 손쉽게 사용할수 있는 template을 제공하는건 물론이고 LLM에 사용되는 Memory들과 문서들을 LLM에 활용할수 있게 하는 DocumentLoader, LLM output을 가공하는 output parser등 다양한 기능들을 제공하여 LLM에 최적화된 라이브러리를 제공하고 있습니다. LLM을 사용하여 개발을 해야한다면 필수 라이브러리로써 사용법을 익혀야 할 필요가 있습니다.
공식 문서
https://python.langchain.com/docs/get_started/quickstart
3. Pinecone
LLM 뿐만 아니라 많은 AI 분야에서 Vector Embedding을 통한 작업을 수행합니다. (Ex. word2vec, fasttext 등등) vector에 내재적 의미가 담겨있고 이를 사용하는 것입니다. 이를 데이터베이스화여 사용하는것이 Vector Database이고 Pinecone이 Vector Database중 하나입니다. query를 넣으면 내부적인 알고리즘을 통해 indexing을 하고 vector 간 유사도를 측정하여 이 database에서 vector를 가져오는 방식입니다. LLM을 통한 개발을 생각한다면 고려할 가치가 있어 보입니다.
openai api와의 사용법을 대표적 예시로 두고 있습니다..
https://docs.pinecone.io/docs/openai
공식 문서
https://www.pinecone.io/learn/vector-database/
4. Function Calling(OpenAI API)
2023년 6월 OpenAI API에서 function 파라미터로 실제 function을 사용하여 더 좋은 결과를 얻을 수 있도록 새로운 api 기능을 시작했습니다. LLM의 단점인 실시간 데이터를 활용할 수 없다는 점을 외부 api를 이용하여 해결 할 수 있게 된것입니다. 오픈 AI에서는 예시로 현재 날씨에대해 물으면 대답하는 기능을 활용하고 있습니다. 사람이 도구를 사용하듯 LLM이 도구(api)를 사용할 수 있는 환경이 생긴것으로 그 의의가 크다고 보입니다.
관련 글
공식 문서
https://openai.com/blog/function-calling-and-other-api-updates
- CV
생성형 AI가 여전히 유행중이지만 GAN은 불안정성에 대한 단점으로 인해 결국 사라졌고 Stable Diffusion을 대표로 죽었던 Diffusion모델이 살아났습니다. 프롬프트를 이용한 고퀄리티 이미지 생성 서비스가 많은 인기를 끌고 있습니다.
1. Midjourney
Text-to-Image Generation 사이트
Text 뿐만 아니라 Image를 이용하여 이미지 소스로 사용할 수 있습니다. Discord를 통하여 사용가능하며 따라서 discord api를 통해 midjourney api를 구현할 수 있어 보입니다. 해당 사이트에서 AI가 만든 그림이 대회에 수상하여 논란이 있었습니다.
- 인공지능이 그린 그림이 1위‥"이것도 예술인가?"
https://imnews.imbc.com/news/2022/world/article/6404569_35680.html
현재 유료서비스인 Midjourney를 오픈소스로 재현하는 프로젝트인 오픈저니가 있습니다.
공식 문서
https://docs.midjourney.com/docs/quick-start
2. D-ID
Talking Head Video Generation 사이트
이미지를 Upload하고 Script 또는 직접 voice 파일을 넣어서 만들수 있는 사이트입니다. 립싱크가 꽤나 자연스럽고 공식 소개에 100fps(!)를 제공한다고 합니다. 많은 사람들이 미드저니에서 프로필 사진을 만들고 이를 D-ID에 넣어 말하는 프로필 영상을 생성하곤 합니다. 역시 공식 api를 제공하여서 서비스가 필요할 경우 쉽게 사용할 수 있습니다.
공식 문서
https://docs.d-id.com/reference/get-started
3. runway-ml
다양한 AI기술을 제공하는 사이트. 그중에서 Text-to-Video 생성 기능이 제일 유명합니다.
https://research.runwayml.com/gen2
생각보다 고퀄리티 비디오를 생성합니다. 생성형 모델의 특유의 Blur한 느낌이 보이기는 하지만, 일반인들이 비디오에 대한 생성/변경 등이 어려운것을 생각하면 꽤 괜찮은 수준입니다. 실제로 서비스 하고 있다는 점에서 의의가 꽤 있다고 봅니다. 공식 api 역시 제공하고 있습니다.
공식 문서
https://help.runwayml.com/hc/en-us/categories/1500001930562-AI-Magic-Tools-Video-Editing
https://apitracker.io/a/runwayml
4. clip interrogator
CLIP을 베이스로 만든 파이썬 패키지 입니다.
CLIP : https://arxiv.org/pdf/2103.00020.pdf
Image embedding과 Text embedding을 같은 latent space에 놓기 위한 연구로 이를 통해 image to text generation을 하는것이 목표입니다.
공식 Github
https://github.com/pharmapsychotic/clip-interrogator
- 마치며
2년전에는 AI가 좋긴는 한데 이것으로 수익을 내는 기업이 전무한 상태였습니다. Followup을 하면서 그동안 AI 시장에서 많은 성장이 있었고 수익화가 시작되었다는 점을 한눈에 볼 수 있었고 이에 어느 서비스와 어떤 기술이 이를 주도 하였는지도 확인 할 수 있었습니다.
다음 에피소드에는 큰일난 AI콘텐츠 시장에 대해 작성할 예정입니다.
