AI 協作音樂與視覺創作流程

Fri, 02 Oct 2026 00:00:00 +0000

實作概述

我在這項個人創作中確定音樂與視覺的方向，透過 AI 協作製作編曲程式、音符資料、電子總譜、角色與場景素材，再依實際試聽、試看片段逐項修訂。具體工作從旋律、和聲與配器的取捨，一直延伸到音色渲染、母帶、深度視差動畫與音畫合成；AI 協助生成與實作，我負責創作判斷、提出修改及確認採用版本。

構思與取捨：我透過 Pi Agent 編碼代理使用 Anthropic Claude Opus 5.5（claude-opus-5-5），協作構思旋律、和聲、曲式及配器，並生成編曲程式；以試聽結果決定方案及修改方向。
編曲程式與時間軸：透過 AI 協作把音符組織為多軌 MIDI，輸出段落、小節、起音等結構化資訊，讓音樂資料可以供譜面、演奏渲染和動畫共用。
音符級修訂：將音色、音型、和聲與聲部配置的修改回寫到音符資料及總譜，而非只對成品音訊做後期處理。這裡的語言模型協作不等同於一鍵生成整首成品音頻。

譜面製作：以同一組音符資料產生 MusicXML，使用 MuseScore Studio 4.7.5 整理聲部、力度、奏法與版面，核對 MIDI 與譜面的小節、音符及聲部資料。
演奏渲染：試聽階段使用 MuseSounds（經 MuseSounds Manager 2.2.1.953 管理）渲染管弦樂聲部，鋼琴使用 Salamander Grand Piano V3。
比較與調整：以 Codex（GPT-6）協助音色比較、渲染與混音檢查，配合 Python、FFmpeg 處理音訊；我依聽感檢查弱奏音色、連奏銜接、奏法映射及聲部平衡，提出具體修改。

我使用 Suno Studio 的 v6 模型對全曲重新渲染，加入混響以增強空間感並完成母帶。MuseSounds 的作用是創作與試聽階段的編配判斷，Suno 則用於最終音軌處理，兩者不混寫成同一個步驟。

完成音軌選擇後，將這條音軌替換進已選定的影片，保留既有畫面影像。譜面資料一致性與最終音軌的逐音核對是兩種不同檢查；本頁不以譜面檢查代替後者。

圖像素材：我使用 GPT Image 製作角色設定、場景、人物頭像與眨眼素材，透過 GPT-6 Sol 整理提示詞及工具呼叫，區分文字模型和圖像工具的用途。
深度與鏡頭：以 Depth Anything V2 Small 估計場景深度，結合 WebGL 分層合成與視差，讓生成圖像具有前後景層次及鏡頭推移，而不只是靜態圖片加特效。
逐幀動態：透過程式處理窗燈、列車窗外流光、人物起伏與眨眼，以及雪、孔明燈及煙火等局部動畫。
方案試作與選擇：比較 Stable Diffusion 1.5＋LCM-LoRA 水彩素材、p5.brush 逐幀繪製及 three.js 三維場景；最後選定生成圖像＋深度視差＋局部動畫，未採用三維試作版。

我以編曲程式輸出的段落、小節與起音資訊安排點燈及其他視覺事件，讓旋律、鐘琴起音與燈光變化對應，並將高潮的視覺事件放在相應音樂段落。字幕、畫面對話與鏡頭節奏也經試看調整；製作時的音符時間軸與最終音軌替換分開記錄。

最後使用 FFmpeg 合成 1920×1080、30 fps 的 H.264 影像與 48 kHz 雙聲道 AAC 音軌，封裝為 MP4，檢查完整解碼及音軌替換前後的檔案一致性。

視覺方法示意：另行使用 AI 生成，僅借用暖光與夜景的氛圍方向，不是原作截圖、角色設定或影片成果。

通用製作流程示意，不含原作素材。

譜面製作方法示意：音符與配置皆獨立設計，不是原作節錄、實際總譜或最終音軌的轉譜。

本頁僅展示製作工作與獨立示意圖，不公開作品名稱、原作譜面片段、原始圖像、完整音樂或影片，也不提供作品及可編輯音樂檔案下載。