Peterslab

AI 자막 싱크, 혼자 만들면서 배운 5가지 AI 영상 번역기(https://ai-video-translator.com)를 혼자 만들고 있습니다. 영상을 번역해서 자막을 붙이고, 화자마다 본인 목소리로 더빙해 주는 서비스예요. 기능 목록만 보면 "음성 인식하고, 번역하고, 읽어주면 끝" 같은데, 실제로 제일 오래 붙잡고 있었던 건 의외로 자막 싱크였습니다. 0.5초만 어긋나도 사용자는 바로 "이거 별로네" 하고 느끼더라고요. 그동안 삽질하면서 배운 걸 정리해 봅니다. 1. 음성 인식 타임스탬프는 그대로 쓰면 안 된다 Whisper 같은 모델은 텍스트와 함께 타임스탬프를 주지만, 기본값은 구간 단위라 꽤 거칩니다. 한 구간이 5~10초씩 묶여 나오기도 해서 그대로 자막으로 쓰면 화면에 글자가 꽉 차요. 단어 단위로 다시 정렬하고, 자연스러운 지점에서 쪼개는 단계가 꼭 필요했습니다. 2. 무음과 배경음악이 싱크를 망친다 말하는 구간은 괜찮은데, 배경음악만 나오는 구간에서 없는 말을 만들어내거나 자막이 늘어지는 문제가 계속 나왔어요. 결국 목소리와 배경음을 먼저 분리하고, 실제로 말하는 구간만 따로 잡는 쪽으로 바꾸고 나서야 안정됐습니다. 덤으로 더빙할 때 원본 배경음악을 그대로 살릴 수 있게 됐고요. 3. 번역 자막은 "블록 단위"로 번역하면 망한다 한 문장이 자막 두세 개에 걸쳐 있는 경우가 많은데, 블록마다 따로 번역하면 어순이 꼬여서 이상한 문장이 됩니다. 문장 전체를 보고 번역한 다음, 원래 타이밍에 맞춰 다시 나눠 넣는 방식으로 바꿨어요. 4. 더빙은 자막보다 훨씬 빡빡하다 자막은 조금 길어도 어떻게든 읽히지만, 더빙은 실제로 말해야 하니까 원래 대사 시간 안에 들어가야 합니다. 3초짜리 대사가 번역하면 5초 분량이 되는 일이 흔해요. 말 속도를 올리는 건 금방 어색해져서 한계가 있고, 결국 번역문 자체를 짧게 다듬는 게 제일 자연스러웠습니다. 5. 완전 자동보다 "사람이 한 번 보는 구조"가 낫다 처음엔 전부 자동으로 처리하려고 했는데, 아무리 다듬어도 애매한 줄이 남더라고요. 그래서 더빙 전에 번역문을 한 줄씩 보고, 나누거나 합치거나 고칠 수 있게 바꿨습니다. 한 줄만 고치면 그 줄만 다시 녹음되도록 해서, 수정 부담도 줄였어요. 사용자 입장에선 이게 제일 반응이 좋았던 변화였습니다. 돌아보면 자막 싱크는 "AI 모델 하나 잘 고르기" 문제가 아니라, 여러 단계를 하나씩 덜 틀리게 만드는 문제였던 것 같아요. 비슷한 걸 만들고 계신 분이 있다면, 어떤 부분이 제일 힘드셨는지 궁금합니다. 자세한 기술 흐름은 블로그에도 정리해 뒀어요. https://peters-videotranslator.tistory.com/18

AI 더빙 에디터 출시: 한 줄 고치면 그 줄만 다시 생성
AI Video Translator에 더빙 에디터를 붙였습니다.
https://ai-video-translator.com/ko

사용자 피드백 중에 제일 많았던 게 이거였어요.
"더빙 다 끝났는데 한 단어 때문에 전체를 다시 돌려야 하나요?"

지금까지는 그랬습니다. 그래서 이번에 구조를 바꿨어요.

✔ 대사 한 줄 수정하면 그 줄 음성만 새로 생성
✔ 일시정지, 발음 규칙, 줄별 속도 조절
✔ 타임라인에서 드래그로 타이밍 맞추기
✔ 기존 SRT 자막 불러오기

과금도 같은 기준입니다. 새로 만든 음성 분량만 차감되고, 타이밍만 옮기거나 리믹스만 하는 건 추가 비용이 없습니다.

만들면서 제일 신경 쓴 건 "음성 합성"과 "믹스"를 분리하는 부분이었어요. 위치만 바뀐 줄은 합성을 건너뛰고 리믹스만 하도록 했습니다.

얼마 전에 낸 더빙 전 검수 기능이 "만들기 전에 잡는 단계"라면,
이번 에디터는 "들어보고 나서 고치는 단계"입니다. 이 두 개가 붙으면서 더빙 작업 흐름이 어느 정도 완성된 느낌이에요.

구조 이야기는 벨로그에 따로 정리했습니다.
https://velog.io/@peterslab/ai-dubbing-editor-regenerate-single-line

써보시고 의견 주시면 감사하겠습니다 🙏

AI Video Translator 업데이트: 번역 검수, 용어집, SRT 자막 분리

시리즈 영상이나 온라인 강의처럼 여러 편을 꾸준히 더빙하시는 분들 요청을 모아 세 가지를 넣었습니다.

더빙 전 번역 검수: 음성을 만들기 전에 번역문을 한 문장씩 확인하고 직접 고칠 수 있습니다
용어집: 시리즈 전체에서 같은 용어가 같은 번역으로 나오도록 정해 둘 수 있고, CSV로 가져오기·내보내기가 됩니다
SRT 자막 분리: 더빙 영상마다 SRT 파일이 따로 제공되고, 자막을 영상에 입힐지 선택할 수 있습니다. 깨끗한 영상과 자막을 유튜브나 강의 플랫폼에 각각 올리기 편해졌습니다

특히 강의 영상 만드시는 분들께 궁금한 게 있습니다. 자막을 영상에 입히는 편이 좋으세요, 파일로 따로 올리는 편이 좋으세요?

https://ai-video-translator.com/ko

AI Video Translator 업데이트: 유튜브 더빙, 이제 출연자마다 각자 목소리로

게스트 인터뷰, 합방, 팟캐스트처럼 여러 명이 나오는 유튜브 영상을 더빙하면 지금까지는 모든 출연자가 같은 목소리로 나왔습니다. 이번에 다중 화자 인식을 넣어서, 말하는 사람을 구분하고 더빙본에서도 진행자는 진행자 목소리로, 게스트는 게스트 목소리로 유지되도록 바꿨습니다.

출연자가 여럿인 채널을 운영하는 크리에이터분들께 같은 요청을 여러 번 받아서 우선순위를 올렸습니다. 요청해 주신 분들 감사합니다.

말이 자주 겹치는 토크쇼식 영상에서 구분이 잘 되는지 특히 궁금합니다. 자세한 내용과 피드백은 OKKY에도 올려 두었습니다.
https://okky.kr/articles/1565768

https://ai-video-translator.com/ko

AI Video Translator 업데이트: 여러 명이 나오는 영상도 각자 목소리 그대로

인터뷰, 팟캐스트, 대담 영상처럼 두 명 이상이 나오는 영상을 번역하면 지금까지는 모든 사람이 같은 목소리로 더빙되는 문제가 있었습니다. 이번에 다중 화자 인식을 넣어서, 말하는 사람을 구분하고 번역본에서도 각자 원래 목소리를 유지하도록 바꿨습니다.

이 기능을 요청해 주신 분들 덕분에 우선순위를 올릴 수 있었습니다. 감사합니다.

화자가 여러 명인 영상을 자주 다루시는 분들, 실제로 써 보시고 어떤 장면에서 구분이 헷갈리는지 알려 주시면 바로 확인하겠습니다.

https://ai-video-translator.com/ko