讓台灣原生 LLM 長出在地語氣：用 Twinkle AI 4B 打造「星光型小零」
- 時間
- 2026-08-09 10:40 ~ 11:10
- 講者
- Haley
- 位置
- TR212
- 共筆
議程簡介
ZeroTree 是一個結合心理學與遊戲化技能樹的目標管理專案，最初是我為了解決自身拖延症與思緒過載而打造。本議程將分享我如何以極限的「兩週挑戰」為起點，從零開始將 Twinkle AI 專為台灣語境打造的 4B 模型（gemma-3-4B-T1-it）落地整合到 ZeroTree 中，以「心情日記」為核心，打造出具有開源社群與鄉民幽默感的「星光型小零」AI 陪伴原型，【並歷經數月持續打磨迭代】。這是一場本地小模型（SLM）【從原型到落地】的實戰紀錄。我將深入分享在本地端整合時遇到的四大挑戰與解法：包含如何解決小模型容易照抄 JSON 範例的格式問題、如何優化 System Prompt 避免動態資訊導致 CPU 推理延遲（提高 KV Cache 命中率）、如何在無獨顯的筆電上利用量化與 UX 設計彌補等待感，以及不綁定帳號的樹洞型專案該如何設計匿名隱私防護機制。
講者
Haley
我是一名 AI 工程師，目前專注於 LSTM 時序預測的開發。我具備電機與腦科學背景，研究所期間專攻利用 fMRI 記錄腦部狀態，並嘗試透過 GAN 技術重建受試者當下的視覺情景。 由於自身深為拖延症與思緒過載所苦，我發起了「零樹計畫（ZeroTree）」，期望藉由遊戲化技能樹的設計來輔助自我成長。專案初期，我將《實現：達成目標的心智科學》 一書中的心理學概念實作為目標設立系統；近期更挑戰在兩週的極短時間內從零開始，將 Twinkle AI 台灣原生模型落地整合進專案，打造出以「心情日記」為核心的在地化 AI 陪伴系統。我熱衷於將生硬的技術結合心理學，轉化為有溫度的日常實用工具。