打造全新的 GGML 後端：方法、挑戰以及新型加速器的機遇

時間
2025年8月09日 13:20 ~ 13:50
講者
Martin Chang
位置
TR412-2
共筆
https://hackmd.io/H1y-tc-ulg
漢語進階
開源人工智慧和機器學習 / Open Source AI and Machine Learning

簡介

llama.cpp/GGML 是一個流行的軟體，用於運行（主要是）大型語言模型。它支援常見的消費級和企業級硬體，例如 NVIDIA、AMD 和 Intel 的 GPU。但是，如果您想引入新的加速器呢？例如，一間公司發表可將功耗降低數倍的新架構。本次演講旨在分享為 Tenstorrent 的 Wormhole AI 處理器構建一個（正在進行中的）GGML 後端的經驗

關於講者

Martin Chang

Martin Chang

沒事自幹開源專案，C++, HPC, AI 工程師