近年來 AIoT (AI-powered Internet-of-Things) 的發展十分被看好,但 Cortex-M 平台上是否能跑得起巨大的深度學習模型一直困擾著 AIoT 開發者。在本演講當中,我們會介紹 ONNC 編譯器是如何在 Cortex-M 硬體上加速 PyTorch for TinyML 的機器學習模型,進而有效減少 IoT 裝置所需的硬體資源。在 Cortex-M4 的裝置下,透過 ONNC 編譯的 MobileNet,我們在 Visual Wake Words (人員偵測)測試資料上,和 TensorFlow Lite for Micro 比較,我們可以加速 27%,在記憶體使用上節省 19% ,在程式碼大小上更可以省下 89% 的 Flash 使用空間。
About Peter Chang
Peter is the co-founder of Skymizer Taiwan Inc. His research interests span areas in operating systems, virtualization, and computer architecture. Currently, he focuses on topics in hardware/software co-design. He was also the maintainer of SkyPat, an open-source performance unit-test suite, and ARMvisor, one of the Kernel-based Virtual Machine solutions on ARM architecture.