AI 協作音樂與視覺創作流程

實作概述

我在這項個人創作中確定音樂與視覺的方向，透過 AI 協作製作編曲程式、音符資料、電子總譜、角色與場景素材，再依實際試聽、試看片段逐項修訂。具體工作從旋律、和聲與配器的取捨，一直延伸到音色渲染、母帶、深度視差動畫與音畫合成；AI 協助生成與實作，我負責創作判斷、提出修改及確認採用版本。

我做了哪些工作

1. 用 Pi Agent 協作作曲，建立可修訂的音樂資料

• 構思與取捨：我透過 Pi Agent 編碼代理使用 Anthropic Claude Opus 5.5（claude-opus-5-5），協作構思旋律、和聲、曲式及配器，並生成編曲程式；以試聽結果決定方案及修改方向。
• 編曲程式與時間軸：透過 AI 協作把音符組織為多軌 MIDI，輸出段落、小節、起音等結構化資訊，讓音樂資料可以供譜面、演奏渲染和動畫共用。
• 音符級修訂：將音色、音型、和聲與聲部配置的修改回寫到音符資料及總譜，而非只對成品音訊做後期處理。這裡的語言模型協作不等同於一鍵生成整首成品音頻。

2. 整理電子總譜，製作並比較管弦樂試聽

• 譜面製作：以同一組音符資料產生 MusicXML，使用 MuseScore Studio 4.7.5 整理聲部、力度、奏法與版面，核對 MIDI 與譜面的小節、音符及聲部資料。
• 演奏渲染：試聽階段使用 MuseSounds（經 MuseSounds Manager 2.2.1.953 管理）渲染管弦樂聲部，鋼琴使用 Salamander Grand Piano V3。
• 比較與調整：以 Codex（GPT-6）協助音色比較、渲染與混音檢查，配合 Python、FFmpeg 處理音訊；我依聽感檢查弱奏音色、連奏銜接、奏法映射及聲部平衡，提出具體修改。

3. 用 Suno Studio 完成最終音軌與母帶

我使用 Suno Studio 的 v6 模型對全曲重新渲染，加入混響以增強空間感並完成母帶。MuseSounds 的作用是創作與試聽階段的編配判斷，Suno 則用於最終音軌處理，兩者不混寫成同一個步驟。

完成音軌選擇後，將這條音軌替換進已選定的影片，保留既有畫面影像。譜面資料一致性與最終音軌的逐音核對是兩種不同檢查；本頁不以譜面檢查代替後者。

4. 製作角色與場景素材，實作深度視差及局部動畫

• 圖像素材：我使用 GPT Image 製作角色設定、場景、人物頭像與眨眼素材，透過 GPT-6 Sol 整理提示詞及工具呼叫，區分文字模型和圖像工具的用途。
• 深度與鏡頭：以 Depth Anything V2 Small 估計場景深度，結合 WebGL 分層合成與視差，讓生成圖像具有前後景層次及鏡頭推移，而不只是靜態圖片加特效。
• 逐幀動態：透過程式處理窗燈、列車窗外流光、人物起伏與眨眼，以及雪、孔明燈及煙火等局部動畫。
• 方案試作與選擇：比較 Stable Diffusion 1.5＋LCM-LoRA 水彩素材、p5.brush 逐幀繪製及 three.js 三維場景；最後選定生成圖像＋深度視差＋局部動畫，未採用三維試作版。

5. 依音符事件安排視覺變化，完成音畫合成

我以編曲程式輸出的段落、小節與起音資訊安排點燈及其他視覺事件，讓旋律、鐘琴起音與燈光變化對應，並將高潮的視覺事件放在相應音樂段落。字幕、畫面對話與鏡頭節奏也經試看調整；製作時的音符時間軸與最終音軌替換分開記錄。

最後使用 FFmpeg 合成 1920×1080、30 fps 的 H.264 影像與 48 kHz 雙聲道 AAC 音軌，封裝為 MP4，檢查完整解碼及音軌替換前後的檔案一致性。

6. 我實際做過的六項創作修訂

1. 重排引子聲部進入：早期弱奏弦樂的雜音遮住鋼琴，我重新安排進入順序與力度，讓開場先保留空間，再逐層疊入。
2. 過門改用英國管：獨奏大提琴的音色過於沉重，我決定將旋律改交英國管，延長進入高潮前的尾音並調整漸弱，改善轉場。
3. 改寫鐘琴音型與尾聲奏法：因軟槌餘音與後續音符碰撞，我要求放慢音型、優先使用穩定和弦音；並取消尾聲不自然的滑音，保留連奏。
4. 修正畫面運動：針對偏靜態的場景加入深度視差、鏡頭推移及人物輕微動作，統一列車窗外流光方向，避免相反運動破壞連續性。
5. 刪除不自然的效果：未採用三維試作版，移除穿模的圍巾飄動，減少眨眼次數，並將畫面對話調整為四句，重新安排顯示時長。
6. 更新最終音響而不重做畫面：採用 Suno Studio 重新渲染與母帶處理後的音軌，沿用已選定的影像完成替換，分別保留音樂與影像的版本記錄。

製作流程與局部示例

本頁僅展示製作工作與獨立示意圖，不公開作品名稱、原作譜面片段、原始圖像、完整音樂或影片，也不提供作品及可編輯音樂檔案下載。