Cailyn Yong
심심해서 해커톤 참여해서 10분 안에 아이디어 만들고 논 후기
10분 안에 웹사이트 글 정리해주는 AI 에이전트 만들기
안녕하세요! 오랜만에 개발글로 돌아왔습니다.
오늘은 정말 간단하게 10분 안에
웹사이트 링크 데이터를 스크레이프하고
faiss와 같은 백터스페이스 (데이터베이스)에 저장한 다음
웹사이트 데이터를 한번에 요약해주는 LLM 체인
만드는 법에 대해 올릴 예정입니다.
예전에 만들었던 몇가지 사이드프로젝트 중에 웹사이트를 그 사이트 내용에 맞는 트위터 홍보용 게시물로 자동으로 만들어주는 AI Agent 툴을 빌드했었는데 이번에 ETH Con이라는 블록체인 해커톤을 참여하면서 비슷한 아이디어로 빌딩했습니다.
이번에는 제가 최근에 알게된 기업, FiscalNote라는 곳을 참고하면서 아이디어를 떠올리게 됐습니다. FiscalNote는 Tim Hwang이 창업한 AI 기반 법률·정책 빅데이터 미디어 기업으로 정부 정책을 매일매일 업데이트 받아야하고 자세하게 알아야하는 국회의원 혹은 비즈니스들을 위해 정리, 요약, 분석해주는 서비스입니다.
마찬가지로 블록체인 업계에서는 매일매일 새로운 governance proposal이 올라오는데요, 이 정책들은 블록체인을 어떻게 운영할 것인지, 어떤 기술을 새로 접목시킬 건지, 토큰 수량은 몇개를 배포할건지 등에 대한 것들입니다.
그래서 특정 블록체인 위에서 빌딩을 하고 있는 개발자나 창업가는 새롭게 결정되는 정책들에 대해 무조건 알고 있어야만 하죠. 하지만 매일 올라오는 정책들을 매번 알고 있기가 어려워 아예 따로 이런 정책들만 요약해주는 비서를 두기도 합니다.
이걸 해결하기 위해 저는 이런 정책들을 한번에 요약해주는 AI 에이전트를 LLM을 활용해서 만들었습니다.
바로 빌딩 들어가시죠! :)
저번과 마찬가지로 저희는 가상환경을 만들고 그 안에서 python 코드를 돌릴 예정입니다.
가상 환경을 만드는 과정은 제 전 포스트에서 확인하실 수 있습니다.
1) VSCode를 열어서 새로운 폴더를 만드세요.
2) 폴더 내에서 터미널을 열어 python -m venv venv 명령어를 입력합니다.
3) 다음 source venv/bin/activate 를 입력해서 가상환경을 실행시켜줍니다.
4) 우리에게 필요한 library들을 다운로드 해줍니다.
pip install openai langchain
pip install openai chromadb
pip install bs4
pip install python-dotenv
pip install tiktoken
pip install streamlit다 install 하셨다면 이제 본격적으로 코드로 들어갈게요! 이번 프로젝트는 코드가 50줄밖에 안됩니다 ㅎㅎ
예전 프로젝트들과 마찬가지로 저희는 OpenAI의 API key를 써야하기 때문에 만든 폴더 내에서 .env라는 파일을 만들어주세요.
그러고 .env 파일 내에 API key를 저장해주세요. 아래 이미지와 같은 형태로.
import dotenv
dotenv.load_dotenv()
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma
from langchain.document_loaders import WebBaseLoader
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI
from langchain.prompts import PromptTemplate
import streamlit as st그 다음 저희는 streamlit이라는 python 코드를 바로 프론트엔드 UI로 만들어주는 패키지를 쓸겁니다. 위에서 맨 마지막 줄에 import streamlit as st 보이시죠? 저희는 앞으로 코드에 st를 쓸때마다 streamlit 패키지를 쓴다고 이해하시면 됩니다.
st.title("Chain Reporter")
def get_text():
input_text = st.text_input("Type in the governance proposal below", key="input")
return input_text
user_input = get_text()첫번째 코드 줄,
st.title("Chain Reporter")은 웹사이트 제목이 됩니다.그 다음
def get_text()함수는 유저가 웹사이트 링크를 텍스트 박스에 넣었을때 불러와서input_text라는 변수에 저장하는 것입니다.user_input = get_text()에서는get_text()라는 함수를 콜해서 그 결과값인 url 링크를user_input이라는 곳에 저장하는 겁니다.
이렇게 하고 나서 터미널에 가상환경을 실행시켰다면 streamlit run summarizer.py 를 돌리면 새로운 웹사이트가 아래 이미지처럼 뜹니다.
if(user_input):
loader = WebBaseLoader(user_input)
data = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size = 500, chunk_overlap = 0)
all_splits = text_splitter.split_documents(data)
vectorstore = Chroma.from_documents(documents=all_splits, embedding=OpenAIEmbeddings())
question = "Summarize the main points of this proposal"
docs = vectorstore.similarity_search(question)
len(docs)
template = """Use the following pieces of context to answer the question at the end.
If you don't know the answer, just say that you don't know, don't try to make up an answer.
Use three sentences maximum. Return the result as a list.
{context}
Question: {question}
Helpful Answer:"""
QA_CHAIN_PROMPT = PromptTemplate.from_template(template)
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
llm,
retriever=vectorstore.as_retriever(),
chain_type_kwargs={"prompt": QA_CHAIN_PROMPT}
)
맨 처음
if(user_input)은 유저 인풋이 있어야만 llm이 실행된다는 것입니다.다음
loader = WebBaseLoader(user_input)은 유저가 준 링크의 내용을 스크레이프해서loader라는 값에 저장하고,data = loader.load()는loader에 저장돼있는 내용을 로딩해서 data 값에 저장하는 것입니다.다음줄에서는 내용이 많은 경우 split을 해주는 것입니다. split을 한다음
vectorstore이라는 값에 저장을 해줍니다.그 다음
question변수에는 "이 정책의 핵심 내용들을 정리해줘"라는 명령을 저장합니다.그럼
docs에서는 질문의 요지에 맞게 답을 찾기 위해 아까 백터스토어에 저장한 내용 내에서 similarity search를 합니다.이제 LLM을 만들 차례입니다.
template에서는 "컨텍스트에 맞게 질문에 대한 알맞는 답을 알려줘. 만약 답을 모른다면 모른다고 말하고 본 내용과 관련없는 새로운 이상한 결과물을 출력하지 마."라고 써있습니다.이 템플릿을 이제
QA_CHAIN_PROMPT에 넣어주고, 다음 줄에서는ChatOpenAI기반의 llm을 만들어줍니다. 저희는 gpt-3.5을 썼습니다.마지막으로 qa_chain에서는
RetrievalQA이라는 질의응답이 가능한 형태의 llm을 써서 아까 만든 템플릿을 저장한QA_CHAIN_PROMPT을 넣어줍니다.
이제 이 function을 실제 웹사이트에서 쓸 수 있도록 해줍니다!
if(user_input):
result = qa_chain({"query": question})
result["result"]이렇게 한다음, 아까 뜬 웹사이트에서 텍스트 박스에 url 링크를 입력하고 엔터키를 누르면 llm체인이 돌아가기 시작하고, 몇 초 후에는 내용을 요약한 결과값이 나옵니다.
이렇게 만들고 발표까지 야심차게 하고 놀았습니다. ㅋㅋㅋㅋ
전체 코드 이미지입니다.
안녕하세요, 여러분!
저는 시작할 당시에 적었던 목표들이 10개정도 됐었는데 그중에서 2개 정도가 벌써 달성이 됐더라구요. 그 중 하나가 “매일 새로운 사람들 만나기”였는데 적는대로 실제로 되다보니까 순간 무섭게 느껴졌습니다. 조금 쉬면서 만나고 싶어도 매일매일 새로운 분들을 계속 만나게 돼서.. ㅋㅋㅋㅋㅋ
GPT4와 LLM을 써서 만들었다면 당연히 지원자 맞춤 personalization도 가능하겠죠?
조금 더 파인튜닝하기 위해 LLM에게 기존의 지원자 정보나 평상시에 가장 많이 물어봤던 질문들에 대한 데이터를 학습시켰다면 더더욱 Fountain의 취지에 맞는 대화형 AI 챗봇을 만들 수 있었을겁니다.
사실 창업을 할때 처음 랜딩페이지를 만들고나서 가장 중요한건 실제로 랜딩페이지를 방문한 유저들과 바로바로 소통을 하며 rentention rate를 높이는 것이라고 생각합니다.
다음 저희는 serpAPI를 쓰기 위해 다운로드해야하는 패키지가 있습니다. 터미널에 
두번째 태스크를 돌리면 8월달에 서울의 평균 기온이 -6도에서 30도 사이라는 결과값이 나왔는데, 별로 정확하진 않네요. 아무래도 hallucination이 발생한 것 같습니다.
마지막 태스크로 서울의 현재 습도를 검색한 결곽로 83% 정도의 습도, extremely humid라는 결과값이 나왔습니다.
Second LLM Chain
Third LLM Chain
BabyAGI Controller
이제 정말 거의 다왔습니다.
테스트해보기!!
첫번째 태스크를 성공적으로 실행했으면 리스트에서 제외하고 두번째 태스크인 "서울의 현재 온도"를 실행합니다. 결과값으로 "National Weather Service Website"에서 불러온 정보를 토대로 현재 서울의 날씨는 24도라고 하네요.
다음으로 세번째 태스크를 실행합니다. 마찬가지로 두번째 태스크를 제외시킨 리스트가 업데이트됩니다.
Part 2 마무리
여기서 “Open”이라는 버튼을 누른 후 프로젝트를 저장할 새로운 파일을 만듭니다. “New Folder” > “ai-agent”라는 폴더를 만듭니다 (파일 이름은 상관없습니다!).
폴더 “Open”을 누르면 다음과 같은 화면이 됩니다.
그 다음 
그럼 이런 화면이 뜨게 될겁니다. 터미널에 
여기서 이제 파이썬 코드를 실행하기 위해 가상의 환경을 만들어줄거에요. 터미널에 
이 가상의 환경을 만들었으니, 이제 이 환경을 실행시켜줄거에요. 이 환경을 실행해야만 파이썬 코드를 돌릴 수 있습니다.
그럼 성공적으로 터미널에 
이제 코드를 작성해봅시다!
이 페이지에 들어오면 “Create new secret key”를 누르세요.
ai-agent라는 이름으로 만들고 초록색 버튼을 누르세요. 버튼을 누르면 새로운 secret key가 생성되는데, 바로 복사해서 다른 곳에 저장해두세요. 다시 열어서 볼 수 없거든요. 이 키는 꼭 다른 사람과 공유하지 마세요! 일종의 OpenAI 비밀번호입니다.
이 키를 이제 어디다가 쓸거냐, 밑에 코드 두번째 줄에 
각 줄별로 어떤 것을 뜻하는지 이해하기보다는, ‘아 이 에이전트를 만들기 위해서는 이런 모듈들을 불러와야하는구나’라고 알기만 하면 됩니다. 기본적으로 우리는 랭체인을 써서 LLM 체인을 직접 커스터마이징해서 쓸거기 때문에 from langchain import LLMChain, OpenAI 라는 코드가 있습니다. 이 말은 langchain이라는 곳에서 LLMChain, OpenAI 모듈들을 불러와서 쓸거다 라는 뜻이죠.
Part 1 마무리
“이걸 하루만에 이렇게 쉽게 만들 수 있다고?”라는 생각이 듦과 동시에 이렇게 쉽게 만들 수 있는건데 왜 트위터 바이럴이 됐는지 의아했고, 점점 다른 바이럴한 트윗들을 보면서 AI 프로덕트는 UI가 심플하고 이해하기 쉬운 프로덕트일수록 일반 유저들이 엄청나게 반응한다는 것을 알게 되었습니다.
이 쪽으로 더 파고들면서 “이걸로 뭐라도 상품화 시켜봐야겠다”라는 생각이 들었는데 친구가 옆에서 “이거 뤼튼에서 이미 다 하고 있던데?”라고 하더군요. 뤼튼을 찾아봤더니.. 네. 다 해주고 있었습니다. 심지어 OpenAI API나오기 전에 사내 인공지능 모델로 만든거라고 하니까 이게 OpenAI랑 결합되면 끝날 것이다 생각했고, 지금은 너무 당연히도 급격하게 성장하고 있습니다.
해커톤 당일날 7명의 심사위원에게 1분짜리 피칭을 했고, 저희 팀을 좋게 봐주시는 분들이 계셔서 해커톤 1위를 하고 $5000을 상금으로 받았습니다.
이를 토대로 갑자기 삘이 와서 <10배의 법칙> 오픈톡방을 만들어서 친구들을 몇 초대한 후 매일매일 톡방에 이 형식으로 카톡을 올렸습니다.
(작년 8월 9일 채팅)
