로컬 AI 크롬 익스텐션

🤔 프로젝트 설명 자바스크립트로 생성형 AI 모델을 실행하는 Transformers.js의 크롬 익스텐션 프로젝트입니다. 크롬 웹스토어: https://chromewebstore.google.com/detail/private-ai-assistant-runn/jojlpeliekadmokfnikappfadbjiaghp Ollama, llama.cpp 등 로컬에서 생성형 AI 모델을 실행할 수 있는 방법은 많지만, 설정 과정이 번거롭고 매번 화면을 전환해야 하는 불편함이 있습니다. 이를 해결하기 위해 Transformers.js를 사용해서 크롬 익스텐션의 사이드패널에서 바로 실행할 수 있도록 구현했습니다. 로컬 실행의 장점 중의 하나는 인터넷이 끊긴 환경에서 사용할 수 있다는 것인데, 인터넷이 열악한 환경 (비행기, 캠핑장 등)에서 간단한 업무 처리할때 유용하게 사용했습니다. 🔥 지원 모델 Transformers.js를 사용하기 때문에 허깅페이스의 거의 모든 모델을 실행할 수 있지만 현재는 아래 모델만 지원하고 있습니다. 1. LLM : 라마 3, Phi 3.5, Qwen 2.5, SmolLM2 2. Reasoning : DeepSeek R1 Distilled (M1 맥북 기준으로 DeepSeek R1 (1.5B) 30토큰/초 생성) 3. Multimodal LLM : Janus 4. Speech to Text : Whisper 🤖 추가 기능 Summarize, Rewrite 기능도 추가했습니다. 브라우저에 보이는 텍스트를 드래그한 상태로 우클릭하여 익스텐션을 실행하면 해당 텍스트를 요약하거나 (Summarize), LLM 출력으로 바꿔줍니다 (Rewrite). 아래 데모 영상을 보시면 이해에 도움이 될 것 같습니다 (1분 10초 - 1분 25초 구간). 데모 영상: https://www.youtube.com/watch?v=MSCDdFG5Lls&t=70s