有聲小說分角色配音踩坑記：拿吵雜錄音去免費聲音克隆，下場有多慘
凌晨一點，我差點把手機丟進魚缸
那天我在沙發上聽自己剛生成的小說音檔，聽到第三句就想關掉。
不是難聽，是「不對」。旁白像在水裡講話，女主角的台詞一開口，我以為是我表哥感冒了。我做的是一個自己的有聲小說企劃，想把小說拆成旁白跟角色對話，分角色配音。一個人念全部太累，而且每個角色都同一個聲音，聽三章就出戲。
所以我想到了聲音克隆。結果……嗯，那晚的成品我到現在還留著，當作警惕。
我的天才計畫：半夜在客廳錄音
現在免費聲音克隆這種東西真的很方便，丟個幾十秒素材，就能複製出一個像你的聲音，再拿去搭配線上文字轉語音把文字念出來。我當時的想法很單純——錄音嘛，手機拿起來講幾句就好。
以前要找文字轉語音真人免費的資源，得在論壇挖半天、還常常踩到掛掉的連結。現在這種線上TTS直接開瀏覽器就能用，我反而鬆懈了。
於是我在客廳錄。冷氣嗡嗡作響，冰箱壓縮機時不時啟動，樓下還有機車呼嘯而過。我心裡想：「AI 不是會去噪嗎？」我甚至還刻意壓低嗓子，覺得這樣旁白聽起來比較沉穩、有磁性。
現在回頭看，這兩個念頭，一個比一個致命。
翻車現場：那個聲音像含著滷蛋
生成大概花了十幾秒，很快。我戴上耳機，按下播放。
第一句出來我就愣住。尾音被吃掉，換氣的地方變成「嘶——」的雜訊，低頻的嗡嗡聲不是被去掉，而是被吸進音色裡，變成我聲音的一部分。整個人聽起來像含著滷蛋在講話，而且是在浴室裡講。
更慘的是女主角。我原本的素材是低沉的男聲，硬要它輸出文字轉語音 女聲，結果不是變成女聲，是變成「一個感冒的男生捏著鼻子講話」。我截圖給朋友聽，他回我三個字：這三小。
那段音檔我留著。不是捨不得刪，是要提醒自己。
不是工具爛，是我餵錯飼料
我花了一個晚上復盤，結論很簡單：克隆學的不是「你的聲音」，是「你那段錄音裡所有的東西」。
冷氣聲、冰箱低頻、麥克風底噪，全都會被當成特徵一起學進去。你以為 AI 會聰明到只抓人聲，但實際上它是在做統計——你把噪音餵進去，它就照單全收。
第二個問題是距離。手機拿太近，噴麥、齒音、口水音全部被放大。第三個問題是情緒，我為了「沉穩」刻意壓嗓，AI 學到的是一個憋著氣的版本。
說到底，文字轉語音AI 工具再強，素材爛就是爛。這跟修圖一樣，你給一張糊掉的照片，再厲害的濾鏡也救不回來。
重錄那晚：我把衣櫃變成錄音室
隔天晚上我做了三件事。清空衣櫃，把兩條棉被掛在裡面，人站進去錄——聽起來很蠢，但那個吸音效果比我想像中好非常多。換成有線耳麥，麥克風固定在嘴巴斜前方一個拳頭的位置，不貼嘴。最後關掉冷氣，等冰箱壓縮機停下來才開始。
然後我錄了五段，每段十幾秒：正常敘述、壓低聲音、帶點笑意、生氣、還有一段快節奏的對話。總長大概兩分鐘。
重新丟進聲音克隆頁面，這次出來的聲音乾淨到我自己有點毛。而且不用下載任何文字轉語音軟體免費版，瀏覽器打開就能用，這點對我很重要。原來問題真的不在工具。
分角色這件事，其實比克隆更難
音色搞定之後，我以為就結束了。沒有。
一本小說裡可能有旁白、男主角、女主角、配角、路人。每個角色都要一個音色，等於你要準備好幾份乾淨素材，一份一份慢慢克隆。而且每個角色的語速、停頓、標點都不一樣——旁白可以慢，對話要快，情緒激動的地方句子要斷得碎一點。
還有一個坑：我小說裡有個角色設定是香港來的，講話帶粵語腔。我一開始想用同一個音色硬調，調不出來。後來乾脆另外用文字轉語音 廣東話的功能單獨處理那個角色的段落，再跟其他音軌接起來，反而自然多了。文字轉語音線上免費的好處就在這裡，同一個頁面切不同語言、不同音色，不用來回換工具。
剪輯對軌的隱形地獄：節奏比音色更難搞
音色乾淨了，角色分開了，我以為大功告成。結果剪輯對軌那關又卡了我兩小時。
旁白跟對話是分開生成的，問題來了——旁白念「他推開門」，語氣是平的，速度中等；但對話那句「你怎麼現在才來」我設定成急促，AI 念得飛快。兩段音軌放進剪輯軟體，節奏完全對不上，聽起來像兩個人在不同時間軸上講話。
我後來學乖了：生成之前，先在文字稿裡把每句的標點改過。旁白句尾用句號，對話句尾用逗號或驚嘆號，AI 會根據標點自己調整停頓。還有，同一個角色的所有台詞，我會一次過全部貼進去生成，不要一句一句分開跑——分開跑出來的語速會飄，合在一起反而穩定。
這一步沒有捷徑，就是多試幾次，聽完不順就重來。我那天重複了大概六輪，才找到一個聽起來像「同一個人在講話」的節奏。
免費方案的極限：我開始理解為什麼有人付費
老實說，免費聲音克隆跟線上TTS能做到這個程度，已經很對得起它的價格了。但用了一陣子，我也慢慢摸到它的天花板在哪。
比如說，情緒跨度太大的台詞——從低語到嘶吼——免費版會有點吃力，嘶吼的地方會破音。還有，超過五分鐘的長段落，偶爾會出現尾音飄掉的狀況，需要分段生成再拼接。
我不是勸你付費，因為免費版對個人玩票真的夠用。只是如果你跟我一樣想認真做完整本小說的分角色配音，心裡要有底：免費方案適合「短段落、多角色、乾淨素材」的組合，不適合「長篇獨白、極端情緒」這種硬需求。
現在我的週末下午長這樣
上個週末，我泡了杯咖啡，把小說第十二章貼進編輯框。旁白用我自己的克隆音，女主角用另一份乾淨素材克隆出來的音色，那個香港角色單獨走粵語。三段音軌丟進剪輯軟體對齊，花不到四十分鐘。
跟第一次那個「含滷蛋」的版本比，差距大到像兩個不同的人做的。
如果你也想玩有聲小說分角色配音，我的建議很具體：先別急著上傳。找一個安靜的房間，關掉所有會發出低頻噪音的電器，用手機錄三十秒正常說話的聲音，自己聽一遍，確認沒有嗡嗡聲、沒有噴麥，再拿去克隆。三十秒，真的可以省掉你一整個晚上的崩潰。
然後，記得把每個角色的素材分開錄、分開存。等你錄到第五個角色才發現第一個角色素材有雜音，你會想掐死當時的自己——我就是在說我。