概要
2021年12月13日,中國信息通信研究院新一輪“大數(shù)據(jù)產品能力評測”結果公布,阿里云實時計算 Flink 版通過分布式流處理平臺穩(wěn)定性專項測評,阿里云成為「首批+唯一」通過該穩(wěn)定性專項評測的廠商。此前,實時計算 Flink 版分別在2019年5月和2021年6月通過中國信通院“分布式流處理平臺-基礎能力測評”和“分布式流處理平臺-性能專項測評”,因此阿里云實時計算 Flink 版成為國內唯一全面通過中國信通院基礎能力、性能、穩(wěn)定性三款評測的分布式流處理平臺產品。
評測詳情
近年來,“中國信通院大數(shù)據(jù)產品能力評測”作為國內首個大數(shù)據(jù)產品權威評測體系,已成為廠商產品研發(fā)和用戶采購選型的風向標。本次阿里云實時計算 Flink 版在穩(wěn)定性專項性能測評中,通過了CPU高負載、硬盤高負載、內存高負載、讀寫高負載、網(wǎng)絡丟包、單節(jié)點故障、隨機高強度綜合測試等7個子項目評測。其中 CPU高負載、硬盤高負載、內存高負載、讀寫高負載、網(wǎng)絡丟包 這五種情況下作業(yè)自動適應環(huán)境,從而平穩(wěn)運行;單節(jié)點故障、隨機混合測試中 作業(yè)均從故障中完成自動恢復,并持續(xù)運行直到計算任務完成。面對小規(guī)模硬件故障和復雜網(wǎng)絡環(huán)境,實時計算Flink版表現(xiàn)出極高的架構健壯性,持續(xù)向用戶提供穩(wěn)定的企業(yè)級服務。
技術優(yōu)勢
實時計算 Flink 版產品在阿里巴巴集團各類大促環(huán)境中早已有廣泛應用,在天貓雙十一購物節(jié)和618等重大電商活動中都表現(xiàn)出卓越的能力。今年的雙十一購物節(jié)期間,Flink實時計算的算力總TPS達到驚人的69億條每秒,GMV 大屏延遲在 3 秒以內。2021年實時計算 Flink 版成為中國唯一進入Forrester強勁表現(xiàn)者象限的產品,刷新了國內公司在數(shù)據(jù)流計算領域的最好成績。
阿里云流計算產品進入 Forrester 數(shù)據(jù)流分析報告
產品優(yōu)勢
作為國內最早布局實時計算技術方向的企業(yè)之一,早在 2016 年阿里巴巴就已經(jīng)開始大規(guī)模上線使用實時計算產品。本次通過測試的阿里云實時計算 Flink 版,是阿里云Flink企業(yè)級開發(fā)運維平臺和增強型內核引擎所構成的云上產品。實時計算 Flink 版產品相對于開源 Apache Flink 擁有更具優(yōu)勢的功能和穩(wěn)定性,開箱即用,同時企業(yè)級增強功能集成阿里云增強的 Iceberg、Hudi 等數(shù)據(jù)湖格式能力,方便用戶構建大規(guī)模數(shù)據(jù)湖。
實時計算 Flink 版還擁有豐富的作業(yè)運行監(jiān)控與診斷調優(yōu)能力,可以為用戶提供狀態(tài)兼容性檢查和狀態(tài)數(shù)據(jù)遷移,以最大可能的復用原來的狀態(tài)數(shù)據(jù),幫助用戶快速升級 SQL作業(yè)。同時支持算子級別的精細化資源配置(CPU/Mem),大規(guī)模作業(yè)資源利用率提高 100%+。
在產品形態(tài)層面,實時計算 Flink 版向用戶提供靈活的產品形態(tài)以供選擇。不僅支持適合用戶開箱即用的全托管形態(tài),幫助用戶快速落地流計算的開發(fā)運維,同時也支持用戶自主可控、易于集成的半托管形態(tài)(基于 Yarn 資源分配調度),包年包月模式與用戶自建成本一致,幫助用戶實現(xiàn)一站式實時數(shù)據(jù)流處理的基礎架構(包含 Kafka 和 企業(yè)版Flink引擎VVR)。對于資源相對變動較小的情況,可以選擇包年包月。對于資源不好明確評估或有業(yè)務高低峰變化的,可以選擇按量付費 + Autopilot 模式實現(xiàn) serverless 的“用多少買多少”。
實時計算 Flink 版產品在阿里巴巴的發(fā)展歷程
客戶案例
目前阿里云實時計算 Flink 版已經(jīng)沉淀了互聯(lián)網(wǎng)娛樂,在線交易,金融,在線教育等近百個行業(yè)案例場景,多行業(yè)全方位實踐場景,為業(yè)務穩(wěn)定發(fā)展保駕護航。
實時計算Flink版部分客戶案例
