小編精選 - 技術文章翻譯 · 10月31日

AI到底能做到什麼程度的影片編輯！？用 Claude Code 編輯 YouTube 影片的故事

前言

大家好！我是堀之內，目前在 Sapeet 株式會社擔任演算法工程師。

過去 Sapeet 曾經舉辦過以 Claude Design 為主題的 YouTube Live 等活動，但因為希望讓更多人認識 Sapeet，所以這次也決定開始製作 YouTube 影片了！

在 Sapeet，我們很重視「像研究室一樣的氛圍」與「像社團一樣的氛圍」這兩個關鍵字。不只是工程師，所有職種都對科技抱有興趣，並且大家會齊心協力完成事情；我們也希望透過 YouTube 和部落格，把這樣的文化傳達出去。

這次的影片企劃，是請軟體工程師來解說最近常看到的 Notion、Google 文件那類「同步編輯器的機制」！

常聽說影片製作的剪輯很辛苦，實際做起來真的也是如此：要決定剪點、輸入字幕、製作封面圖……工作多到數不完。因此這次我們挑戰看看，這些剪輯工作到底能有多少交給 AI 來做。

要讓 AI 進行影片剪輯，有很多方法，例如把影片剪輯軟體和 AI 透過 MCP 串接起來等等。不過我個人認為，世界上沒有不能靠程式實現的事情，所以這次想挑戰用 Claude Code 來做影片剪輯！

不過我也覺得，最後細節的修整還是得由人來做。所以大致上的流程是：把拍攝好的影片交給 Claude Code，讓它進行剪輯，並產出 CapCut（影片剪輯軟體）可讀取的專案檔。接著再由人類在 CapCut 裡完成最後修飾。

※ 此驗證為撰寫本文當時的狀態。隨著 CapCut 更新，內部規格可能改變，導致相同方法無法再使用。

最後完成的影片就是這個！請一定要看看！

同步編輯的機制

接下來，就來深入看看 Claude Code 是怎麼做出這支影片的背後過程吧！

交給 Claude Code 的素材，以及它做出來的成果

首先，我把 4 段直接拍攝、未經剪輯的影片，以及 1 份要插入影片中作為說明用的 PowerPoint 檔案交給 Claude Code。最初的指令只有一句：「我想把這些素材剪輯成 YouTube 影片。請把素材切成適當長度的片段並串接起來，加入適當的封面頁，並加上字幕等等。」

之後就由 Claude Code 主動進行訪談，逐步確定大致流程、影片風格，以及剪輯後影片長度的目標等。

在 Claude Code 的提案下，最終成果物決定做成「CapCut 的專案檔」。因為 Claude Code 並不知道 CapCut 專案檔（主要是 JSON 格式）的詳細格式，所以先由我建立一個空白專案，再由它在上面逐步加上剪輯內容。

這個專案可以實際在 CapCut 中開啟，內容會是已剪好的影片、封面頁、說明投影片和字幕都排在時間軸上的狀態。然後按下匯出按鈕，就可以輸出成影片檔。

CapCut 的時間軸

整體作業流程

Claude Code 進行的整體作業流程如下。

各步驟的工作內容如下：

逐字稿：使用 Whisper，建立帶時間戳的發言逐字稿
剪輯表・字幕表製作：閱讀逐字稿並思考結構，建立剪輯表（使用哪個素材的幾秒到幾秒），並挑選重點發言製作包含強調部分的字幕表
調整剪點：把切點放在發言之間的停頓處，而不是發言中間，並在前後加上淡入／淡出以防止雜音
圖像生成：依照事先決定好的影片風格製作封面頁等素材
生成 CapCut 專案：使用剪輯表・字幕表・圖像素材，生成 CapCut 的專案檔
人類在 CapCut 上確認並提出修正指示：例如「接到 12:26 的地方太突兀」之類，告訴它要修正的部分。Claude Code 會回到步驟 2 重新修正並重建專案
人類在 CapCut 上手動修片：在反覆確認與提出修正指示後，最後由人類在 CapCut 上微調字幕文字，並補上 BGM
將手動修片結果匯入：把人類在 CapCut 上所做的變更重新匯入字幕表，再回到步驟 2
當人類確認後認為已經足夠，就匯出完成

除了 6、7、9 之外，其餘部分幾乎都由 Claude Code 來自動化完成。第 2 步的剪輯表和字幕表會是以下這種 YAML 格式，由 Claude Code 產生。

# 剪輯表：使用素材 main 的 1545.6～1566.2 秒
- {type: clip, src: main, in: 1545.6, out: 1566.2, section: exp4}
# 接著插入章節封面（第 5 章的卡片）
- {type: card, kind: chapter, chapter: 5}
# 字幕表：用 [ ] 包起來的部分是橘色強調區塊
- {src: main, at: 1993.3, dur: 3.7, style: normal, text: "如果 AI[擅自覆寫]，會很討厭吧"}

接下來，我會挑出在這個流程中特別需要花工夫的部分來說明。