為了考一張證照,我請 AI 幫我出了 217 題練習題。
刷了幾輪,分數一直很漂亮。
直到把 217 題放在一起重新量了一次,才發現:只要每題都選最長的那個選項,就能拿 88 分。
三個數字: ① 正確答案有 66% 落在 B ② 88% 的題目,正解剛好是最長的選項 ③ 正解平均比錯的選項多 18 個字
單看每一題都寫得很好,有情境、有解析。問題全藏在題目跟題目之間:正解通常寫得最完整,錯的選項相對簡短,有些甚至一看就不對。長短一比,答案就露餡了。
我刷出來的高分,有一大半是版面送的。
所以如果你也用 AI 出題,出完先叫它算三件事:正解落在 A、B、C、D 各幾題,正解是最長選項的比例,還有正解跟其他選項平均差幾個字。只要有一項明顯偏一邊,就重寫。
最後整份重寫,答案平均分到四個選項,正解跟錯的選項長度也拉平了。
你有沒有被哪個好看的分數騙過?
#AI工作術 #ClaudeCode