本機語言模型值得嗎?用一份小樣本算取捨

本機模型的吸引力,是可自行選擇模型與執行環境。是否值得,取決於你的任務是否做得好,以及維護成本是否可接受。

先定義「本機」的範圍

模型在電腦執行,不代表周邊工具都離線。搜尋、連接器、雲端模型、遙測與檔案同步仍可能連外。若資料不能離開特定環境,先檢查完整資料流與工具設定,而不是只看下載了模型檔。

硬體怎麼估

記憶體需求和參數量、權重精度、上下文長度、並行數及執行工具相關。量化通常降低權重儲存需求,但品質影響依模型與任務而異;不能用「某 B 模型一定只需要某 GB」替代實際量測。

先選工具官方支援、設備能容納的小模型,保持預設或文件建議的短輸入,記錄記憶體峰值與完成時間,再增加任務大小。不要為還沒量測的需求購買硬體。

用六則短訊息做第一次比較

準備交通、活動、其他各兩則自寫短文,事先標好答案。用相同指令要求分類與原文依據,分別測本機與雲端。記下錯分、杜撰、格式錯誤與人工修正時間;這六則只是小樣本,不能算成普遍正確率。

請只回傳:編號|交通、活動或其他|原文依據。
資料不足時用其他;不要補充原文沒有的資訊。
[貼上六則已去除個資的短文]

比較真正的總成本

如果本機在固定分類工作已足夠,可留給它;複雜任務則另行評估。既不用預設本機一定比較便宜,也不用預設雲端在你的每一種任務都比較好。

工具入口

Ollama 提供模型執行與 API 路徑,LM Studio 提供圖形介面,llama.cpp 提供較底層的執行工具。依自己需要選一個開始,具體硬體與模型支援看各自官方文件。

官方資料與延伸閱讀

方案、可用功能與限制會更新,請以連結中的官方說明及帳號當下顯示為準。本文的練習是編輯設計的示例,不是工具效能實測。