Apache Kafka 爲目前熱門的分散式事件串流平臺,本身自帶各種豐富的功能,比如 Replication, JBOD, Authn/z, Encryption, Compression, At-most/At-least/Exactly once Delivery, Transaction,目前常見的 Kafka 應用包含:高吞吐量的資料管線、串流分析應用和資料整合中介軟體。
隨著叢集經歷上層應用的業務需求增長以及叢集資源使用變化,Kafka 叢集在經過這些現實情境的摧殘後,勢必會遭逢負載不平衡的情況, 放任負載不平衡的情況不顧,最終叢集會遭遇效能瓶頸和叢集穩定性問題。
我們提出了一個開源的高彈性的叢集負載平衡工具 - Astraea Balancer,藉由搬移計劃生成和滿足特定平衡目標的打分機制來做到負載平衡,協助管理者持續維護叢集的和平。
本研究特別感謝『科學園區計畫-自主高效串流資料管理平台與新興應用』和『教育部開源人培計劃』的支持。
About Zheng-Xian Li
成功大學的研究生,目前在處理 Apache Kafka 伺服器端的負載平衡議題 (ง๑ •̀_•́)ง
About 蔡嘉平
負責協調客戶和大數據之間的糾紛,同時熱衷參與開源專案,強迫他們接受來自台灣的技術善意
About Xiang-Jun Sun
成大資訊研究生
About 蕭宏章
About 魏連興
About 方竫泓
畢業於國立成功大學數學系,現在就讀國立成功大學資訊工程研究所。現於分散式系統實驗室,和團隊一起研究Kafka負載平衡議題。
About 鄧智懋
About 王懿宸
About 李宜桓
畢業於逢甲大學機械與電腦輔助工程學系,今年25歲。