Observe and evaluate LLM Coding Agents
- 時間
- 2026-08-09 09:35 ~ 10:05
- 講者
- Che Chia Chang
- 位置
- AU
- 共筆
議程簡介
在導入 LLM Coding Agent 到日常開發後，很多團隊會遇到問題：品質不穩、風險難估、模型升級缺少客觀依據。本分享會從實務流程出發，介紹如何觀測 Agent 行為、把評估流程自動化，並建立可持續迭代的 decision system。
- 為什麼 LLM Coding Agent 需要 O11y 與 Evaluation
- 從 trace 開始：觀測 agent 任務、工具調用與失敗模式
- Observability != Decision System：看得到不代表能決策
- LLM-as-a-judge 在 coding 任務中的價值與限制
- 從 daily coding logs 抽取 dataset
- 建立 regression evaluation pipeline 與 quality gate
- 用量化結果比較不同模型與 agent framework
- 把模型升級與框架切換變成可驗證工程流程
講者
Che Chia Chang
Che-Chia Chang 是一名專注於後端開發、開發維運、容器化應用及 Kubernetes 開發與管理的技術專家，同時也是 Microsoft 最有價值專業人士（MVP）。
活躍於台灣技術社群，經常在 CNTUG、DevOps Taipei、GDG Taipei、Golang Taipei Meetup 等社群分享 DevOps、SRE、Kubernetes 及雲端運算相關技術。致力於推動開發與維運的最佳實踐，並熱衷於研究與應用最新的雲端與 AI 技術。
個人部落格：https://chechia.net
Che-Chia Chang is a technology expert specializing in backend development, DevOps, site reliability engineering (SRE), containerized applications, and Kubernetes development and management. He is also recognized as a Microsoft Most Valuable Professional (MVP).
Actively engaged in the Taiwanese tech community, he frequently shares insights on DevOps, SRE, Kubernetes, and cloud computing at CNTUG, DevOps Taipei, GDG Taipei, and Golang Taipei Meetup. Passionate about promoting best practices in development and operations, he continuously explores and applies the latest advancements in cloud and AI technologies.