RAG 落地實踐：用開源 LLM 打造高資安、零門檻的台灣公司情報搜尋系統

RAG（檢索增強生成）在真實生產環境的落地，常受限於企業資安紅線與硬體資源。本分享以 Mohuhu 平台為例，探討如何利用開源 LLM 與系統整合技術，解決台灣上市公司資料中複雜的語意關聯與搜尋容錯問題。

我們將解析如何將 AI 能力拆解並注入系統環節：

• LLM 驅動索引強化：利用 Google Gemini 作為知識 Agent，在入庫階段自動產出非結構化別名（如「護國神山」、「2330」），從根本解決向量搜尋在特定領域的語意缺失。
• 四策略融合檢索（Hybrid RAG）：本系統核心為「加權評分引擎」，將檢索拆解為四個維度並合計信心分數：

1. 精準比對：確保代號與統編之絕對準確。
2. 中文模糊搜尋：處理名稱錯置與冗餘詞。
3. 注音/拼音容錯：解決輸入法未切換（如 vm6vm42j/）之痛點。
4. RAG 向量語意：整合本地 Ollama (bge-m3) 與 pgvector 處理深層語意。

• 高資安環境部署取捨：針對離線地端場景，提出「AI 預處理、地端輕量化檢索」架構。透過 PyInstaller 封裝，讓企業在完全離線下仍能享受 LLM 強化後的體驗。
• 自動化工作流：利用 OpenClaw 與 Telegram Bot 監控從爬蟲到 Embedding 的 ETL 管線，並實作失敗自動回補機制。

聽眾獲益

1. 混合搜尋實作：四路並行加權架構與權重調校細節。
2. RAG 實戰策略：利用 LLM 預處理提升特定領域檢索召回率（Recall）。
3. 工程設計模式：在資安、硬體限制與 AI 效能間取得平衡的落地經驗。