보이스피싱/스미싱 탐지 서비스 개발 - (2)

Demo를 정말 초간단으로 만들어보았습니다.

Google Cloud speech-to-text API를 활용하여 음성파일을 텍스트로 변환하고 그 텍스트를 특정 prompt에 넣어 ChatGPT을 통해 보이스피싱에 관련된 것인지 응답을 받습니다.

실제로 Output의 예시입니다. 더 많은 예시는 깃헙 README에 추가해두었습니다. 보다시피 아직 정확하게 음성을 인식하지는 못한다.

[+] Context: 그럼 관련해서 몇 가지 드렸고요 예 예 서울중앙지검 서울중앙지검 이요
[+] 보이스피싱 점수: 8점
[+] 그렇게 판단한 이유
[+] 1. 피싱범이 "서울중앙지검"이라는 단어를 반복해서 사용하여 신뢰성을 유도하려 한다.
[+] 2. 피싱범이 "드렸고요 예 예"와 같이 중얼거리는 식으로 말을 하여 다른 사람인 척 하고 있다.
[+] 3. 피싱범이 구체적인 사유 없이 "관련해서 몇 가지 드렸고요"와 같이 모호한 언어를 사용하고 있다.

GitHub - L0Z1K/Phishing-Detector: Detect whether the context is related to phishing with LLMs.

Detect whether the context is related to phishing with LLMs. - GitHub - L0Z1K/Phishing-Detector: Detect whether the context is related to phishing with LLMs.

https://github.com/L0Z1K/Phishing-Detector

추가적으로 개발할 것들은 1) 실시간으로도 탐지할 수 있게 구현. 2) 더 나은 결과를 낼 수 있게 다양한 prompt를 시도해서 ChatGPT에게 물어봐야할 것 같습니다. 3) 원래는 네이버 클로바 API를 사용하려고 했는데 해외에 체류 중이라 가입에서 막혔었네요. Google API가 만족스럽지 않아 네이버 API도 시도해보려 합니다.

실제 서비스로 구현하기 위해서는 해결해야할 점이 몇가지 보였습니다.

1. Real-time으로 음성인식 및 LLM 사용이 디바이스에게 큰 부하를 주지 않을까?
2. 앱으로 어떻게 구현할지 감이 오질 않는다. 어떻게 문자나 전화가 오는 것을 인식할 것인지. 어떻게 사용자에게 알림을 줄 것인지.