單元一：從應用需求到研究問題
學會區分想做的功能、可驗證的研究問題與能被反駁的假設。
單元一：從應用需求到研究問題
應用需求還不是研究問題
假設有一批簡短客服訊息，需要自動分到退款、物流或商品詢問。應用需求可以寫成：
我想做一個自動分類器，減少人工分派。
這句話說明了想交付的功能，卻沒有指出要理解什麼。研究問題會更具體：
在訓練資料有限且類別不平衡時，字元特徵與預訓練語言模型的分類效果及計算成本有何差異？
它包含研究對象、困難條件、比較方法與觀察結果。
Hypothesis 必須能被推翻
Hypothesis 是研究前的可驗證預測：
字元特徵對拼字變形較穩；預訓練模型對完整句子的語意改寫較有優勢。
如果實驗顯示相反結果，假設就被反駁或需要修正。若無論結果如何都能宣稱自己正確，就不是好的 hypothesis。
研究價值從哪裡來
一項應用研究可能同時有：
- 方法價值：新的模型、loss、限制或組合方法。
- 實證價值：公平比較揭示什麼方法在什麼條件有效。
- 評估價值：更可信的切分、metric 或錯誤分析。
- 系統價值：可部署、可重現且成本受控的流程。
- 領域價值：減少人工成本、提高一致性或支援新的工作方式。
不是只有創造新模型架構才叫研究。
排行榜、產品與論文不同
- 排行榜回答：哪份 prediction 在隱藏測試集上分數較高？
- 產品回答：系統是否可靠、便宜、快速並符合使用流程？
- 論文回答：方法為何有效、在何種條件有效、相對基準改善多少、有哪些限制？
三者可以互相支持，但不能互相取代。
常見失誤
- 把「我要用 LLM」當成 research question。
- 只找支持原始想法的證據。
- 還沒定義成功，就開始調模型。
- 把一次高分包裝成普遍結論。
- 沒有 baseline，無法說明複雜方法的價值。
Teach-back
- 應用需求和 research question 有何不同？
- 把「用 LLM 做訊息分類」改寫成可驗證問題。
- 寫出一個可能被實驗推翻的 hypothesis。
- 簡單模型與大型模型分數相近時，為什麼仍可能有研究價值？