Tweet AI to the Edge

“Tweet” AI to the Edge: 從本地化語言模型到環境智能的下一步

這裡的 Tweet 不是社群平台上的短文，而是中文語感裡的「推」：推送、推進、佈署。當 Twinkle AI 這樣的開源社群開始打造本地化語言模型之後，下一個問題是：如何把模型真正推到使用者身邊，讓它跑在手機、桌面、瀏覽器與各種 edge 裝置上？

Little Star 的起點是 Mobile LLM 工具：從「能不能在手機上真跑 LLM」開始，經過 iOS / Android MVP 驗證，逐步轉向 configs、benchmark 與真機量測。這個過程讓我們意識到，edge AI 的挑戰不只是 inference，而是模型格式、runtime、量化、記憶體、延遲、耗電、熱與使用者體驗之間的整體設計。

本分享將以 Little Star 的探索經驗為基礎，討論如何把本地化語言模型推向 edge：從模型封裝、GGUF 與 llama.cpp 生態系、裝置端 benchmark，到 context-aware UX 與 Ambient Intelligence 的產品想像。我們也會討論為什麼本地模型的價值不只是離線，而是「靠近」：靠近使用者、靠近資料、靠近語境，也更靠近開源社群能掌握的未來 AI 基礎建設。