在 FPGA 上從 RTL 到 Token 走過 LLM 推理全流程

我透過 DE10-Nano FPGA 開發板，沒有 GPU、不呼叫任何框架，從模型量化、推論引擎到 RTL 硬體設計，在 AI 推理的每一層都讓自己做中學，將 BitNet 2B transformer 模型塞在 1GB 記憶體的 DE10-nano FPGA 上完成 token 輸出。

此演講適合那些想要摸清 LLM 從底層硬體到最終 token 輸出的人。

這場分享會聊：三元權重 LLM 為何特別適合 FPGA、T-MAC 查表的實作與資源平衡、HPS/FPGA 混合推理引擎的設計取捨、以及在資源極度受限硬體上做 LLM 部署的踩坑經驗。