企業(yè)發(fā)布
首頁 > 企業(yè)發(fā)布 > 詳細(xì)內(nèi)容
十億級數(shù)據(jù)讀寫毫秒級時(shí)延 浪潮領(lǐng)銜打造智慧交通大數(shù)據(jù)解決方案
2020/10/23 10:24:00 來源:中國企業(yè)新聞網(wǎng)
導(dǎo)言:隨著城市化進(jìn)程加快,經(jīng)濟(jì)和社會活動日益頻繁,城市交通在人、車、路、環(huán)境等方面面臨資源失衡、行車難、停車難、擁堵頻發(fā)等問題,亟需城市交通管理者找到適合的疏解方案。
隨著城市化進(jìn)程加快,經(jīng)濟(jì)和社會活動日益頻繁,城市交通在人、車、路、環(huán)境等方面面臨資源失衡、行車難、停車難、擁堵頻發(fā)等問題,亟需城市交通管理者找到適合的疏解方案。
作為智慧交通領(lǐng)域先行者,浪潮合作伙伴易華錄以數(shù)據(jù)湖為主體,發(fā)展大交通,致力于為客戶提供智慧大數(shù)據(jù)解決方案,建設(shè)城市數(shù)字經(jīng)濟(jì)基礎(chǔ)設(shè)施,努力降低全社會長期保存數(shù)據(jù)的能耗和成本,構(gòu)建數(shù)字孿生城市,實(shí)現(xiàn)數(shù)字永生。
智慧交通系統(tǒng)面臨海量數(shù)據(jù)快速讀寫挑戰(zhàn)
在智慧交通大數(shù)據(jù)業(yè)務(wù)中,智慧交通系統(tǒng)對各類違法車輛進(jìn)行實(shí)時(shí)監(jiān)控抓拍,快速智能識別各種違法行為,并第一時(shí)間通知一線民警對違法車輛進(jìn)行攔截以及現(xiàn)場處罰,能夠有效監(jiān)督和消除車輛違法行為,凈化交通環(huán)境。
在易華錄智慧交通業(yè)務(wù)中,廣泛使用Redis集群緩存配置下發(fā)及中間結(jié)果數(shù)據(jù),系統(tǒng)對于Redis讀寫并發(fā)性、實(shí)時(shí)性以及數(shù)據(jù)持久化要求都較高。Redis是一個(gè)高效的key-value內(nèi)存數(shù)據(jù)庫,基于其高并發(fā)下較高的數(shù)據(jù)查詢效率,是易華錄智慧交通大數(shù)據(jù)平臺中不可缺少的組件!
圖一 智慧交通業(yè)務(wù)架構(gòu)
圖一為典型的智慧交通業(yè)務(wù),系統(tǒng)采集海量的設(shè)備、下級平臺及視頻結(jié)構(gòu)化產(chǎn)生的車輛及人像特征數(shù)據(jù),經(jīng)ETL清洗轉(zhuǎn)換,借助Spark流計(jì)算框架,與Redis中緩存的黑白名單數(shù)據(jù)按照空間、時(shí)間及其它邏輯規(guī)則,進(jìn)行比對產(chǎn)生各類告警數(shù)據(jù)。該業(yè)務(wù)場景下面臨的主要挑戰(zhàn)為:
作為流計(jì)算的支撐外部數(shù)據(jù)源,Redis集群中緩存大量的黑白名單配置數(shù)據(jù)及中間計(jì)算結(jié)果,單位時(shí)間讀寫并發(fā)數(shù)較高,該操作需要低延時(shí),其中緩存數(shù)據(jù)規(guī)模在數(shù)十億級別,客戶要求讀寫時(shí)延在毫秒級;
Redis中緩存了業(yè)務(wù)計(jì)數(shù)等中間計(jì)算結(jié)果,這些數(shù)據(jù)通常以分鐘/小時(shí)粒度周期性同步至關(guān)系型及MPP數(shù)據(jù)庫中,因此緩存數(shù)據(jù)需持久化到硬盤中,防止因集群故障、斷電等異常情況,導(dǎo)致數(shù)據(jù)無法恢復(fù)。同時(shí),因?yàn)樯婕暗浇还芎诵臉I(yè)務(wù),當(dāng)系統(tǒng)異常情況產(chǎn)生后,迫切需要快速恢復(fù)集群,并確保異常前后數(shù)據(jù)一致性,其中數(shù)據(jù)持久化存儲和性能是一個(gè)亟需解決的問題。
智慧交通大數(shù)據(jù)解決方案實(shí)現(xiàn)高吞吐率、低延時(shí)、高耐用
浪潮與易華錄聯(lián)合推出Redis解決方案,以易華錄交通大數(shù)據(jù)平臺為高效數(shù)據(jù)處理平臺,面向城市數(shù)據(jù)湖、新型智慧城市業(yè)務(wù)、政府及企業(yè)用戶提供更高效、更低成本的智慧交通大數(shù)據(jù)解決方案。
相較于傳統(tǒng)DRAM方案,新方案提供了行業(yè)領(lǐng)先的高吞吐率、低延時(shí)、高服務(wù)質(zhì)量和超高的耐用性,新增內(nèi)存擴(kuò)展打破服務(wù)器內(nèi)存容量限制而優(yōu)化,單機(jī)內(nèi)存容量可以擴(kuò)展1.5TB,較之前的單機(jī)內(nèi)存容量大幅提升200%。
同時(shí),易華錄還實(shí)施了多種調(diào)優(yōu)方案。首先在數(shù)據(jù)讀取場景中,通過采用非一致內(nèi)存訪問節(jié)點(diǎn)綁定的方式(NUMA進(jìn)程綁定),避免內(nèi)存在進(jìn)行數(shù)據(jù)存取時(shí),在不同的NUMA節(jié)點(diǎn)間切換,以實(shí)現(xiàn)更好的讀寫性能。
其次,新設(shè)計(jì)的Redis服務(wù)獲得秒級的故障恢復(fù)速度,與之前分鐘級的恢復(fù)速度相比,提升達(dá)幾十倍之多。而且還能幫助易華錄交通大數(shù)據(jù)平臺的TCO 降低30%。
測試結(jié)果顯示新方案吞吐能力可提升200倍
為了驗(yàn)證新方案的應(yīng)用優(yōu)勢,浪潮與易華錄共同圍繞Redis數(shù)據(jù)庫的常規(guī)操作以及用戶最關(guān)心的業(yè)務(wù)性能指標(biāo)進(jìn)行了測試。測試使用了benchmark工具,選取SET、GET等10余條Redis數(shù)據(jù)庫常用命令,全面覆蓋Redis五種數(shù)據(jù)結(jié)構(gòu),每個(gè)操作執(zhí)行 32次并發(fā),共640萬次的性能測試。測試結(jié)果顯示新方案在總吞吐能力和延遲上相較于傳統(tǒng)的DRAM方案性能有100~200倍的性能提升。
該方案能夠有效支撐城市數(shù)據(jù)湖中海量數(shù)據(jù)采集、加工、治理、建模各環(huán)節(jié)對Redis持久化、高效讀寫等共性需求,與易華錄城市大腦、葫蘆APP、交通大腦等核心業(yè)務(wù)存在廣泛的契合點(diǎn),幫助易華錄解決智慧交通大數(shù)據(jù)平臺系統(tǒng)中面臨的Redis難題。
免責(zé)聲明:
※ 以上所展示的信息來自媒體轉(zhuǎn)載或由企業(yè)自行提供,其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本網(wǎng)站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本網(wǎng)站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。如果以上內(nèi)容侵犯您的版權(quán)或者非授權(quán)發(fā)布和其它問題需要同本網(wǎng)聯(lián)系的,請?jiān)?0日內(nèi)進(jìn)行。
※ 有關(guān)作品版權(quán)事宜請聯(lián)系中國企業(yè)新聞網(wǎng):020-34333079 郵箱:cenn_gd@126.com 我們將在24小時(shí)內(nèi)審核并處理。
標(biāo)簽 :
相關(guān)網(wǎng)文
24小時(shí)熱點(diǎn)圖片
一周新聞資訊點(diǎn)擊排行
關(guān)于我們 | CENN服務(wù) | 對外合作 | 刊登廣告 | 法律聲明 | 聯(lián)系我們 | 手機(jī)版
客戶服務(wù)熱線:020-34333079、34333137 傳真:020-34333002 舉報(bào)電話:020-34333002、13925138999(春雷) 舉報(bào)郵箱:cenn_gd@126.com
版權(quán)所有:中國企業(yè)新聞網(wǎng) 運(yùn)營商:廣州至高點(diǎn)網(wǎng)絡(luò)技術(shù)有限公司 地址:廣州市海珠區(qū)江燕路353號保利紅棉48棟1004