小型語言模型客服分類實驗

這是一個以客服訊息分類為題的小型語言模型實驗。資料包含退款、物流與商品詢問三類中文訊息，用來練習如何把生成式模型轉成可評估的分類流程。

實驗設計

• 先建立訓練、驗證與測試資料，並檢查不同切分間沒有文字重複。
• 使用 SmolLM2-135M-Instruct 作為小型基礎模型。
• 零樣本基線不是只看模型自由生成的字串，而是比較候選標籤的條件分數。
• 規劃以 LoRA 進行參數高效率微調，降低完整訓練的資源需求。

學到的重點

分類專案的可信度主要來自資料切分、標籤定義與評估，而不只來自模型名稱。零樣本提示、候選分數、微調資料格式與推論方式必須保持一致，否則看似改善的結果可能只是評估方法改變。

目前邊界

目前可確認的是實驗結構與資料流程；在完整跑完微調、固定隨機種子並記錄測試集指標前，不把規劃中的改善寫成已達成成果。下一步是建立可重現的 baseline、混淆矩陣與錯誤案例分析。