在此次分享中,我們將會說明將Edge Computing由理想帶到現實的種種困難(?)與挑戰,以及我們如何見招拆招,想辦法讓遠在天邊的節點能乖乖聽話,好讓我們能安心完成老闆(們)交代的工作,同時能睡得早又睡得安穩…
¶ Preface
邊緣運算最為人熟知的,莫非與5G、電信基礎架構等結合的案例了。撇開5G來說,若能與人工智慧結合搭配,在科技應用上就產生了無限可能。
而目前邊緣運算的顯學,即各種可進入商業化應用的相關架構中,多數皆需要GPU的幫忙。因此,雖然稱其為邊緣,但其運算硬體仍為伺服器等級的硬體。是否存在有機會商用,但比伺服器更加精簡,且也能執行人工智慧推論的硬體可以使用呢? NVIDIA L4T的出現,為這些邊緣推論的需求帶來一道曙光。另一方面,k8s的出現,同時也為應用程式的佈署、升級與管理,變得更有效率。
那麼,兩者的結合,應該能使邊緣的人工智慧應用,做到強強聯手的功能吧?
可惜,現實總是骨感的。機器放置的環境已經是個問題,再加上遠端佈署、遠端管理等課題,如何在面對硬體與網路有可能罷工的情況下,還能夠確保最上層的應用可持續進行呢?我們將在此次分享中,針對這些問題,詳細說明設計時的心路歷程,包括硬體的選擇與改裝、軟體取捨、使GPU納入管理,以及想辦法讓多個邊緣可以彼此協同工作的各種嘗試。最後也羅列了我們使用的藥方,除了讓其它人不需要再次採坑,也期望能激發更多想法,讓邊緣應用順利落地。
¶ Agenda
- New Chance of Edge Computing
- Challenges on the edge
- Proposed Edge Environment
- Bring Kubernetes to the edge
- Beyond the Kubernetes
- Connect to the edge
- Conclusion & Reference
About Stevennick
立志要成為一位工程師,或者一位被工程師耽誤的家庭煮夫。由於技能樹不小心點歪,陰錯陽差從前端學起,
在經歷系統與影像串流平台開發後,目前待在維運團隊內持續從事開發工作。
在沒有寫程式的時候,可以在廚房、游泳池,或是在路跑賽道上找到人。