Clip Studio
긴 강연·인터뷰 영상에서 하이라이트를 골라 한국어·영어 자막을 입힌 숏츠로 만드는 웹앱
롱폼 영상 하나를 넣으면 숏츠로 쓸 만한 구간을 AI가 고르고, 세로 화면으로 자르고, 단어 단위 애니메이션 자막을 입혀 mp4로 내보냅니다. Opus Clip 같은 도구를 로컬 GPU에서 돌리는 개인용 웹앱으로 시작했고, 초대제 베타로 쓸 수 있게 로그인과 사용자별 데이터 분리까지 넣었습니다.
스크린샷의 영상은 직접 만든 데모입니다. 슬라이드 이미지에 합성 음성을 입혔습니다.
문제
행사 세션이나 강연 영상은 수십 시간씩 남는데, 대부분 다시 보지 않습니다. 짧은 클립으로 잘라 올리려면 다음 일을 사람이 반복해야 했습니다.
- 좋은 장면 고르기
- 세로로 자르기
- 자막 맞추기
- 영어 번역하기
만든 것
하이라이트 후보: 받아쓴 문장 목록을 Claude에 보내 후보 구간을 받습니다. 후보마다 제목, 시작 문구, 고른 이유, 점수 네 항목(훅·완결성·가치·화제성)이 붙습니다. 구간은 문장 경계에 맞추고 20~90초로 강제하며, 겹치는 후보는 걸러 냅니다.
미리 보기와 설정: 미리 보기는 결과 mp4와 같은 Remotion 컴포넌트로 그려서 보이는 그대로 렌더됩니다. 설정할 수 있는 것은 다음과 같습니다.
- 화면 비율: 9:16, 1:1, 16:9
- 화면 맞춤: 얼굴 따라가기, 가운데, 전체
- 자막: 언어, 보조 자막, 스타일 4종
| 세로 9:16 · 굵게 | 정사각 1:1 · 상자 강조 |
|---|---|
|  |
편집기: 단어를 눌러 "여기서 시작/끝"을 정하고, 자막 글자를 언어별로 고칩니다. 모든 변경은 바로 저장되고 되돌리기와 다시 하기를 지원합니다.
텔레그램 봇: 그룹챗에 YouTube 링크를 올리면 다음 순서로 진행됩니다.
- 진행 상황 메시지가 올라옵니다.
- 후보 패널이 뜨고, 버튼으로 클립·자막·비율을 고릅니다.
- 완성된 mp4가 답장으로 올라옵니다.
서버를 외부에 열지 않는 롱폴링 방식입니다. 렌더한 결과는 YouTube로 바로 올릴 수도 있습니다. 세로·정사각은 Shorts로, 가로는 일반 영상으로 올라갑니다.
기술적으로 신경 쓴 점
- 파이프라인을 잡 큐로: 단계는 영상 준비 → 음성 인식 → 하이라이트 분석 → 화면 분석 → 렌더 순서입니다. 각 단계를 SQLite 잡 테이블에서 원자적으로 가져갑니다. 멱등 키와 하트비트로 중복과 멈춤을 막고, 실패하면 멈춘 단계부터 다시 시작합니다.
- 얼굴 따라가는 리프레임:
- 샷 경계는 HSV 차이로, 얼굴은 YuNet으로 찾습니다.
- 크롭 폭 15% 데드존 안의 흔들림은 무시하고, 벗어나면 부드럽게 따라갑니다. 샷이 바뀌면 즉시 전환합니다.
- 말과 맞는 자막: whisper 단어 시각은 0.1~0.5초씩 어긋납니다. 별도 정렬 모델(Qwen3-ForcedAligner)로 시각만 다시 맞췄습니다. 실측한 문장 시작 오차 중앙값이 0.135초에서 0.02초로 줄었습니다.
- 청크 단위 번역:
- 자막 한 덩어리씩 번역하되, 같은 문장의 덩어리를 묶어 보냅니다.
- 그래서 번역문이 문장으로는 자연스럽고, 덩어리마다 그 순간 말한 내용과 맞습니다.
- 영상 제작자가 올린 공식 자막이 있으면 그 언어는 번역하지 않습니다.
- 동시 편집 보호: 클립 편집 상태를 문서 하나(ClipDoc)와 revision 번호로 관리합니다. 어긋난 저장은 409로 거절합니다.
- 닫힌 기본값:
- 로그인 키가 없으면 loopback 접속만 받습니다.
- 로그인은 Google OAuth(state + PKCE)이고, 초대 명단에 있는 계정만 들어옵니다.
- 남의 소스와 클립은 404로 숨깁니다.
숫자
- 2026년 10월 21일부터 나흘 동안 커밋 65건
- TypeScript 약 11,500줄 (테스트 제외)
- 테스트: TypeScript 446개, Python 43개
- 파이프라인 단계 5개, 화면 비율 3종, 자막 스타일 4종