HOW I AI・2026 年 6 月 30 日

模型評測不能只靠分數模型評測
不能只靠分數

Sonnet 5 的實測最後沒有給出單一冠軍。它更像一場提醒：AI benchmark 如果沒有人工品味、任務拆分與可檢查輸出，只會把分數誤認成答案。

SCROLL

來源：How I AI 影片〈I benchmarked the NEW Sonnet 5. The results shocked me.〉，YouTube 原始發布日期為 2026 年 6 月 30 日。影片比較 Sonnet 5、GPT-5.5、Gemini 3 Pro、Opus 4.8 與 Sonnet 4.6 在 PRD、原型、程式碼搜尋與 agent voice 等任務上的表現。

PART 1

這不是又一支「新模型好不好用」影片

How I AI 原本要測的是 Anthropic 新的 Sonnet 5。主持人一開始整理了官方賣點：更強的 agentic tool use、更接近 Opus 等級的長任務能力、但價格接近 Sonnet。這些資訊有用，卻不足以回答使用者每天面對的問題：我該把哪個模型放進哪種工作？

影片真正的轉折，是主持人不想再做一次「vibe check」。單次把模型丟進 Cursor 或 Claude Code，請它一次做一個 landing page，再用感覺說好壞，無法累積成可比較的判斷。她想要一套每次新模型出來都能重跑的 bench，同時保留自己的產品與設計品味。

PART 2

How I AI bench 把模型丟進四種工作

這套測試不是只問模型知識題。它刻意選擇 builder 會在日常工作碰到的任務：把混亂材料整理成 PRD、一次生成產品原型或 wireframe、在 codebase 裡完成多步搜尋與修正、以及用 agent voice 回應真實工作情境。輸出會被 LLM judge 打分，也會被主持人用盲測方式人工評分。

1. PRD把雜訊整理成清楚、可執行的產品需求。

2. Prototype一口氣做出 full-fidelity app 或 wireframe。

3. Codebase在既有 repo 裡找線索、推理、提出修法。

4. Voice回覆排程、紅燈 deploy、低潮與衝動上線等場景。

5. Index用人工品味與後端表現混合成任務建議。

這裡的重點不是 benchmark 多完美，而是它有三個好習慣：固定輸入、盲測輸出、把主觀品味寫成可回收資料。AI 工作越多，團隊越需要把「我覺得不錯」變成可比較、可討論、可重跑的 artifact。

PART 3

分數最高，不等於人真的想用

最有價值的結果不是 Sonnet 5 贏或輸，而是 AI judge 與人工品味嚴重分歧。自動評分看重能不能跑、是否完整、是否符合規格；主持人的第一眼則會被介面可愛程度、產品感、文字味道與「像不像我會 ship 的東西」影響。兩者都不完整，也都不能省略。

這解釋了為什麼單一 leaderboard 容易誤導。LLM judge 常把分數打在中間，對 taste 不夠尖銳；人類快速看截圖時，又可能忽略壞掉的程式碼、未滿足的約束與不完整功能。benchmark 的工作不是消滅人的判斷，而是讓人的判斷和機器檢查彼此補位。

PART 4

最後的答案變成「按任務選模型」

影片後段把結果改成任務建議，而不是硬選總冠軍。主持人把權重調成 70% 人工品味、30% 後端表現後，偏好的排序和自動 leaderboard 不同；但真正可帶走的是任務拆分。PRD、prototype、codebase work、agent voice 對模型的要求不同，不應該被同一個總分壓平。

任務

較適合

判斷理由

風險

PRD 寫作

GPT-5.5

輸出完整、清楚，適合整理需求。

要檢查是否過度鋪陳。

原型與視覺

Sonnet 4.6 / Opus 4.8

主持人偏好其介面 taste 與複雜 UI 表現。

仍要驗證功能是否真的可跑。

程式碼任務

Opus 4.8 / Sonnet 5

LLM judge 認為 codebase 任務表現較強。

該任務太飽和，區分度不足。

Agent voice

Sonnet 4.6

最符合主持人想長期共事的語氣。

voice 好不代表任務能力最好。

這個結論對團隊更實用。不要問「哪個模型最好」，先問工作需要什麼：文件清晰度、前端 taste、長任務可靠度、工具使用、還是能不能用正確語氣和你合作。模型策略應該是一張任務路由表，不是一枚冠軍獎牌。

PART 5

真正該複製的是測試方式，不是排名

How I AI bench 還是 V1。主持人自己也承認 agentic codebase search 太容易，區分不了模型；人工評分太快，可能只看到了表層視覺；LLM judge 也太寬鬆。這些不是失敗，而是 benchmark 會進化的原因。

對一般團隊來說，最值得學的是做一套自己的評測。拿過去真實工作當材料，固定輸入，盲化模型名稱，要求模型產出可檢查 artifact，再把人的品味和機器檢查分開記錄。這樣每次新模型出來，團隊不用追逐社群排行榜，而是用自己的工作回答自己的問題。

固定輸入用同一批 PRD、bug、設計題與語氣題，才能比較模型變化。

分離評分把人類 taste、LLM judge、功能檢查分開，避免總分掩蓋分歧。

任務路由把結果轉成「哪種工作用哪個模型」，不要只做 leaderboard。

AI benchmark 的重點不是宣布誰贏，而是把「我會不會真的用它工作」變成可重跑的判斷。

分數、品味與任務適配要同時存在，模型策略才不會被排行榜牽著走。

想看更深入的實測脈絡？

原始 How I AI 影片包含 Sonnet 5 官方賣點、benchmark 建立過程、盲測頁面、LLM judge 與主持人人工評分的分歧，以及最後的任務型模型建議。

閱讀完整文章 →

模型評測不能只靠分數模型評測不能只靠分數