論文閱讀：AI 更會做實驗了，但這是否等於更有研究品味？

原文資訊

• 標題：TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
• 作者：Oliver Jaffe、Dane Sherburn
• 來源與版本：arXiv 預印本，2610.06824v2，2026 年 10 月 6 日修訂
• 閱讀來源：全文 HTML／PDF

研究方法與主要結果

以下是論文內容；括號中的章節連結可回到原文核對。

• 測量範圍：研究問題固定，使用共同的 Coder 程式代理，盡量將實驗判斷與程式實作分開；不測量選題能力。（第 2 節）
• 效率與成果：最佳模型 Opus 5.5 的算力乘數為 2.3 倍（95% 信賴區間 1.15–4.37）。近期效率趨勢約每 3 個月翻倍，最終成果表現則約每 14.6 個月翻倍。（第 3.1 節）
• 創新的證據：在作者的分類分析中，模型與人類都沒有產出「Invented」類方案，即包含文獻中不存在的結構元件。（第 3.2 節）
• 複核的限制：任務未公開，限制了外部複核。（第 4 節）

效率、成果品質與創新不是同一件事；沒有觀察到突破，也不等於證明突破不可能。

我的理解：做出好研究，與看懂好研究

討論這篇論文時，我的第一個想法是：如果能用更少的實驗達到同樣成果，確實可以視為研究品味的一部分。但「研究品味」仍然需要人的判斷，不能只停在效率。

這裡有兩種不同的能力：把研究做好的能力，與辨認研究價值的能力。 一個人可能看得懂結果，卻還看不出問題選得巧不巧、實驗設計是否漂亮，或某個發現為什麼重要。有些研究的美，需要理解其問題與方法之後，才看得出來。

有效率的研究，與讓問題變清楚的研究

以下是假設案例，不是 TasteVal 的實驗結果。

兩位研究者都想改善同一個模型。甲很會調整參數，幾次嘗試就把分數提高；乙則發現模型可能只是利用資料中的捷徑，設計了一個簡單的對照實驗，指出原本的高分並不代表我們以為的能力。

甲的漂亮之處是有效率地把事情做好；乙的漂亮之處是抓到關鍵，讓原本看不清楚的事情變清楚。乙未必提高了分數，卻可能改變我們對問題的理解。

這個區分，是我想保留的閱讀重點：取得成果，與理解成果為什麼有意義，不能直接畫上等號。

評價品味，也需要判斷力

如果評判者只看分數，就可能錯過乙的價值。要理解他的對照實驗，必須知道它排除了什麼解釋，以及為什麼那個解釋原本會誤導我們。

但這也不能變成「不認同的人就是沒有品味」。研究的美未必能完全量化，我們仍然應該試著說清楚它好在哪裡：揭示了什麼問題？排除了什麼疑問？改變了什麼理解？

判斷力不是免於說明的權威，而是能把價值的理由講清楚。

閱讀後保留的問題

我會把「研究品味」至少分成兩層：一層是知道哪些實驗值得做，另一層是辨認什麼問題、解釋與成果值得重視。

這篇筆記不是替 AI 的能力下最後判決。我更想保留的是一個評價原則：肯定效率的進步，同時繼續追問它是否帶來更深的理解。

閱讀與寫作說明：本文透過 AI 協作整理與討論，個人觀點經本人確認後整理成文。論文結果與閱讀延伸分開呈現；假設案例不是研究資料。本文不是原研究的復現或獨立驗證。