편집 프로그램 해지했습니다 — 클로드 코드가 무음 4,000개를 10분에 자르는 편집 자동화 실전

이 영상은 윤자동 채널의 10분짜리 실전 후기이다. 발표자는 Adobe Premiere Pro 구독을 해지했다. 이유는 명확하다. Claude Code + FFmpeg + Whisper가 편집 프로그램을 대체할 수 있다는 것을 발견했기 때문이다. 이 리포트는 원본을 보지 않아도 그가 만든 편집 자동화 파이프라인을 오늘 자기 컴퓨터에서 재현할 수 있도록 재조립한 것이다.

핵심 요지 미리보기
· 1시간짜리 원본 → Claude Code가 10분 뒤 무음 컷 4,000개 완료. 사람이 손으로 하면 10시간 걸리는 컷을 10분에 해낸다.
· Whisper 밀리초(0.01초) 전사 → FFmpeg 파형 분석 → 무음 데시벨 판정 → 0.15초 무음 보호 구간. 이 4단 파이프라인이 컷 편집의 표준이다.
· 대본 기반 말꼬임·습관어·중복 제거까지 AI가 맥락 파악해서 처리. 1시간짜리가 30분으로 자동 압축.
· 30분 → 10분은 사람 개입. AI에게 "임팩트 없는 부분 1·2·3순위 보고"하게 시키고 사람이 최종 선택.
· BGM은 파형에 맞춰 덕킹(ducking)까지 자동. 발표자는 강의 1시간 반 무음 사고까지 Codex+QWEN TTS로 24시간 만에 복원.

목차

  1. 1. 프리미어 프로 구독을 해지한 진짜 이유
  2. 2. Whisper + FFmpeg 4단 파이프라인의 정체
  3. 3. 0.15초 무음 보호 구간 — 칼같이 자르면 목소리가 잘린다
  4. 4. 1시간짜리 4,000컷을 10분에 — 실제 처리 시간
  5. 5. 대본 기반 말꼬임·습관어 제거 — 맥락 파악의 자동화
  6. 6. 3단 압축: 1시간 → 30분 → 10분
  7. 7. 30분 → 10분은 사람 개입 — 1·2·3순위 보고 후 지시
  8. 8. BGM 자동 다운로드 · 덕킹(ducking) · 효과음
  9. 9. 강의 1시간 반 무음 사고 — 24시간 복원기
  10. 10. 100점 vs 90점 — 사람과 AI의 진짜 경계
  11. 핵심 요약 (Takeaways)

프리미어 프로 구독 해지 오프닝

1. 프리미어 프로 구독을 해지한 진짜 이유

대담이 시작되자마자 오해가 하나 정리된다. 진행자는 "Claude Code에 프리미어 프로 편집 권한을 주는 것인가?"라고 물었다. 발표자의 답은 "아니오. Premiere Pro는 아예 해지했다"이다. 대신 Claude Code가 FFmpeg으로 직접 영상을 자르고 붙인다. 편집 프로그램이 필요 없다. 이 발상의 전환이 이 영상 전체의 축이다.

2. Whisper + FFmpeg 4단 파이프라인의 정체

발표자의 파이프라인 구조:

편집 자동화 4단 파이프라인
  1. Whisper 전사: 원본 영상 전체를 0.01초(밀리초) 단위로 대본 생성. 전사 성능이 놀랍게 좋다.
  2. FFmpeg 파형 분석: 음성의 파형과 데시벨을 측정.
  3. 무음 데시벨 판정: 특정 데시벨 이하 = 무음으로 분류.
  4. 0.15초 무음 보호 구간: 무음을 칼같이 자르면 실제 음성이 함께 잘리는 문제 해결.

이 4단이 컷 편집의 표준이 된다.

Whisper+FFmpeg 파이프라인

3. 0.15초 무음 보호 구간 — 칼같이 자르면 목소리가 잘린다

이 대목이 실전에서 가장 중요하다. 무음 감지가 정확해도 정확히 무음이 시작되는 지점에서 자르면 실제 음성의 앞뒤가 함께 잘려나간다. 사람이 들으면 어색한 "톡톡" 하는 편집이 된다. 발표자의 해법은 0.15초의 무음 보호 구간을 자동으로 남기는 것. 이 상수 하나가 자동 편집을 사람이 한 것처럼 자연스럽게 만드는 결정적 파라미터다.

4. 1시간짜리 4,000컷을 10분에 — 실제 처리 시간

실제 벤치마크 수치가 공개된다. 1시간짜리 원본 영상을 던져 주면 Claude Code가 약 10분 뒤 무음 컷 4,000개를 완료한다. 발표자의 비교: "사람이 4,000개 컷을 손으로 하려면 컷 편집만 10시간 걸린다." 60배 이상의 속도 차이. 이 수치가 프리미어 프로 해지의 실질적 근거가 된다.

5. 대본 기반 말꼬임·습관어 제거 — 맥락 파악의 자동화

무음 컷이 끝나면 대본 기반 편집으로 넘어간다. Whisper 전사가 있으니 텍스트가 있고, AI가 맥락을 파악해서 다음을 자동으로 제거한다:

  • 중복해서 말한 부분
  • 말이 꼬인 부분
  • "음..." "어..." 같은 습관어(filler words)

단순 키워드 매칭이 아니라 맥락까지 파악해서 처리한다는 점이 결정적이다. 결과: 1시간짜리가 30분으로 자동 압축된다.

6. 3단 압축: 1시간 → 30분 → 10분

발표자의 실제 파이프라인은 3단이다.

3단 압축 파이프라인
  1. 1시간 → 30분: 무음 컷 + 말꼬임·습관어 제거 (완전 자동)
  2. 30분 → 10분: 재미없는 부분 제거 (사람 개입)
  3. 10분 최종 편집: 효과·BGM·자막 (Remotion / Hyperframe 등 사용)

발표자가 목표하는 최종 길이는 10분이다. 원본의 1/6이 되는 셈이다.

7. 30분 → 10분은 사람 개입 — 1·2·3순위 보고 후 지시

2단계에서 사람이 개입해야 하는 이유가 있다. 재미없음의 판정은 감각의 영역이라는 것. 앞뒤 문맥, "재미없어 보이지만 꼭 남기고 싶은 부분" 같은 개인적 판단이 필요하다. 발표자의 해법:

  1. AI에게 "임팩트 없고 재미없는 부분을 날려 달라"고 요청.
  2. 단, 바로 삭제하지 말고 1·2·3순위로 보고하게 시킨다.
  3. 사람이 목록을 보고 "1, 3, 5번 날려"라고 지시.
  4. AI가 지시대로 30분을 10분으로 압축.

이 협업 구조가 사람의 감각과 AI의 속도를 결합한다.

3단 압축 파이프라인

8. BGM 자동 다운로드 · 덕킹(ducking) · 효과음

후처리 단계에서도 자동화가 이어진다.

후처리 자동화
  1. BGM 검색·다운로드: AI가 전사와 파형을 보고 필요한 분위기의 BGM을 판정. "지금 신나 있으니 신난 음악" 같은 판정 후 스스로 사이트에서 다운로드.
  2. 덕킹(ducking): 발표자가 몰랐던 개념. 말하는 순간 BGM 볼륨이 자동으로 확 줄어들고, 무음 구간에서 다시 커진다. DJing처럼 파형에 맞춘 볼륨 조절.
  3. 효과음 삽입: 삐용삐용 같은 강조 효과음도 대본과 파형 기준으로 자동 배치.

즉 편집자가 귀로 듣고 손으로 조절하던 부분이 파형·전사 데이터로 자동화된다.

9. 강의 1시간 반 무음 사고 — 24시간 복원기

가장 극적인 사례가 이 대목이다. 발표자는 강의를 2시간 촬영했다. OBS에서 음성을 켜지 않은 상태로 1시간 반이 화면만 녹화됐다. 뒤 30분에서야 실수를 발견하고 음성을 켰다. 1시간 반이 무음 상태.

다행히 그날은 Google Meet로 진행했고, Gemini가 전사를 자동 생성해 두었다. 발표자의 해법:

  1. Codex에게 상황 설명 → "이 전사와 뒤 30분 음성으로 앞 1시간 반을 복원해 달라".
  2. Codex가 24시간 동안 8시간·30분·1시간 반씩 나눠서 작업. 총 처리 시간 24시간.
  3. 1,000개 이상의 자막 파일을 생성.
  4. QWEN TTS(무료)로 발표자의 목소리를 복제하여 1,000여 개의 음성 파일 생성.
  5. 화면과 음성을 매핑해서 각 장면에 맞는 음성을 삽입.
  6. 1시간 반 무음 구간이 발표자의 목소리로 복원됨.

발표자의 소감: "신선이 하늘에 선 기분." 그가 강조한 것은 무료 TTS 사용이다. ElevenLabs 대신 QWEN TTS를 사용해 비용 $0로 복원했다.

1시간 반 무음 복원기

10. 100점 vs 90점 — 사람과 AI의 진짜 경계

대담 후반, 진행자가 "AI 자동 영상 편집은 어느 정도까지 가능한가?"를 묻자 발표자는 100~200시간을 이 자동화에 갈아 넣었다며 이렇게 요약한다.

100점과 90점의 경제학
  • 사람이 100점이라면, AI는 아직 60~70점이다.
  • 그러나 사람은 100점 만들기 위해 10시간이 필요하고, AI는 1초에 90점을 만든다.
  • 대형 채널·방송은 미세한 편집이 필요하니 사람이 밤새 조정한다.
  • 중소형 채널은 다르다. 1주에 100점짜리 1편 vs 매일 90점짜리 7편. 경제학이 뒤집힌다.

발표자의 진단: "영상 하나에 몇 억이 들어가는 게 아닌 채널이라면, 100점 하나보다 90점 매일이 낫다." 이 프레임이 AI 편집 자동화의 진짜 정당성이 된다.

100점 vs 90점 경제학

강의 자동화 95%

영상 자동화의 미래

핵심 요약 (Takeaways)

이 대담에서 챙겨야 할 실질 인사이트
  1. 편집 프로그램을 통한 자동화가 아니라, 편집 프로그램 없이 하는 자동화가 정답이다. Claude Code + FFmpeg + Whisper 스택이 프리미어 프로를 대체한다.
  2. 0.15초 무음 보호 구간이 자동 편집을 자연스럽게 만든다. 이 상수가 없으면 "톡톡" 하는 어색한 컷이 되고, 있으면 사람이 편집한 것처럼 매끄러워진다.
  3. 1시간 → 30분은 완전 자동, 30분 → 10분은 사람 개입이 정답이다. AI에게 "삭제 목록 1·2·3순위 보고"를 시키고 사람이 최종 선택하는 것이 지금 시점 최적의 협업 모델이다.
  4. 덕킹(ducking) 개념을 익혀라. 말하는 순간 BGM이 자동으로 낮아지는 이 처리가 자동 편집을 방송 수준으로 끌어올린다. FFmpeg + 전사 데이터로 자동화 가능.
  5. QWEN TTS는 무료 대안이다. ElevenLabs가 비싸다면, QWEN TTS로 목소리 복제까지 무료로 가능하다. 1시간 반 무음 복원 사례가 이 가능성을 증명한다.
  6. 강의 콘텐츠는 이미 95% 자동화 가능하다. 강의·회의·인터뷰 등 OBS 원카메라 콘텐츠는 지금 즉시 이 파이프라인에 태울 수 있다. 여러 카메라 교차 편집은 아직 사람 영역.
  7. 중소형 채널의 경제학은 90점 × 매일이 100점 × 주 1이다. AI 편집 자동화의 진짜 정당성은 완성도가 아니라 일 1영상 사이클에 있다.

참조