[데일리 AI] 프롬프트 엔지니어링과 인젝션

프롬프트 엔지니어링과 인젝션: 새로운 IP 훔치기 | 코어닷투데이

10억 달러 Notion AI와 Bing-ChatGPT의 숨겨진 프롬프트 프롬프트는 텍스트, 질문 또는 이미지로 모델에 입력해 주는 값을 의미한다. 모델은 프롬프트를 처리하고 이에

https://core.today/contents/3Yw9S752jwzU

링크한 본문에서 지난 1월 Anthropic이 프롬프트 엔지니어를 구인하는 채용 공고를 냈다고 했는데, 최근 국내 생성 AI를 리딩하는 뤼튼 에서도 프롬프트 엔지니어 채용 공고가 나왔다.

ChatGPT를 사용해본 사람이라면 알겠지만 질문의 퀄리티가 곧 답변의 퀄리티를 결정한다. 그래서 Jasper 같은 경우 질문 템플릿을 제공하고, PromptBase 처럼 좋은 질문들을 묶어서 판매하는 마켓플레이스 시장도 형성되었다.

나는 메이커이기도 한데, sql-php 위에 html을 올려 만든 내 '하루 공부한 일을 친구들과 함께 기록할 수 있는 웹앱' 을 친구가 이거 그냥 DB를 날려버릴 수 있다면서 SQL 인젝션에 대해 알려주었다. 사이버보안을 공부하는 친구였고 지금은 한국의 Palantir라고 불리는 회사에서 연구원으로 있다. SQL 인젝션은 입력 폼을 이용해서 DB를 조작하는 것을 말한다.

글 본문에서는 프롬프트 인젝션에 대해 이야기한다. ChatGPT와 연동된 Bing에 질문을 계속하면 Bing의 숨겨진 프로젝트에 대한 내용이 나온다고 한다. 지금의 상용 GPT 애플리케이션들은 유해하거나 공개되었을 때 위험한 정보를 숨기도록 디자인되어 있다. 프롬프트 인젝션 사례 덕분에, AI의 안전성에 대한 생각을 하게 되었다.

@kilu128 from Twitter via 무랄 on brunch