從 PyTorch 到硬體：wait what? 甚麼是 LLM 編譯器...?

當我們在 PyTorch 中寫下一個模型時，一個高階的 Tensor 運算，究竟是如何一步步轉換成能夠在 GPU、TPU 或 NPU 上高效執行的程式？

在這場分享中，我們會從 PyTorch 出發，沿著模型一路走到硬體，並理解 ML/LLM Compiler 在其中扮演的角色。從 Computation Graph 與 Tensor Operation 開始，我們會看看 Compiler 如何將高階的模型運算，轉換成適合不同硬體架構執行的高效程式。

我們也會將這個流程與傳統程式語言的 Compiler 做比較，了解 ML Workload 在編譯上有哪些不同之處，並透過一個簡單的互動式 Demo，實際觀察 Graph Transformation 與各種 Optimization 如何影響執行方式。

最後，我們會進一步討論，為什麼 ML Compiler 在 LLM 時代變得越來越重要。LLM 的效能不只取決於運算量，也高度受到 Memory Movement、Kernel Execution、Data Layout，以及目標硬體特性的影響。

這場分享的目的並不是教大家如何訓練模型，或深入探討複雜的數學最佳化，而是希望讓軟體工程師建立一個清楚且實用的 Mental Model，理解從「寫下模型」到「模型真正高效地跑在硬體上」之間，究竟發生了什麼。

簡報連結：https://speakerdeck.com/tommyhonym/pytorch-ai-compiler