選擇星環(huán)科技TDH實(shí)現(xiàn) CDH/HDP國產(chǎn)化替代的“4點(diǎn)原因”

Cloudera(Cloudera 和Hortonworks 合并后)所有產(chǎn)品不再提供社區(qū)版，用戶無法獲取新的功能。2021年1月31日開始，所有Cloudera軟件都需要有效的訂閱，且訂閱費(fèi)昂貴。此外，CDH 6和HDP 3將是CDH和HDP的最后企業(yè)版本，企業(yè)版用戶無法繼續(xù)獲取新的功能和性能提升。至2022年3月份，CDH/HDP全部停止服務(wù)(EoS)，用戶沒辦法獲取售后支持。那些已經(jīng)部署了CDH/HDP的企業(yè)面臨著一個迫切的問題，自己原先部署的平臺該怎么辦?結(jié)合國產(chǎn)化浪潮，大數(shù)據(jù)平臺該往什么方向發(fā)展?

本文講從四個方面與您分享選擇星環(huán)科技自主研發(fā)的大數(shù)據(jù)基礎(chǔ)平臺TDH替代來CDH/HDP的“4點(diǎn)原因”。

多模型統(tǒng)一架構(gòu)，技術(shù)領(lǐng)先，打造更強(qiáng)平臺

Transwarp Data Hub(TDH)是星環(huán)科技(星環(huán)信息科技)自主研發(fā)的企業(yè)級一站式多模型大數(shù)據(jù)基礎(chǔ)平臺，采用領(lǐng)先的多模型統(tǒng)一技術(shù)架構(gòu)，9種存儲引擎支持包括關(guān)系表、文本、時空地理、圖數(shù)據(jù)、文檔、時序等在內(nèi)的10種數(shù)據(jù)模型。相比于遷移到CDP或者國內(nèi)封裝的Hadoop商業(yè)版，用戶遷移到星環(huán)科技TDH后，TDH多模型統(tǒng)一架構(gòu)提供統(tǒng)一SQL引擎、統(tǒng)一計算引擎、統(tǒng)一分布式存儲管理、統(tǒng)一資源調(diào)度，統(tǒng)一內(nèi)聯(lián)架構(gòu)高效搞定湖倉集一體、HTAP等復(fù)雜場景，無需拼湊組件散裝架構(gòu)。

TDH能夠存儲 PB 級別的海量數(shù)據(jù)，同時能夠提供高性能的查詢搜索、實(shí)時分析、統(tǒng)計分析、預(yù)測性分析等數(shù)據(jù)分析功能，被廣泛應(yīng)用在離線數(shù)據(jù)批處理、高并發(fā)的在線數(shù)據(jù)服務(wù)、數(shù)據(jù)集市、數(shù)據(jù)倉庫、數(shù)據(jù)湖、圖存儲分析、空間數(shù)據(jù)存儲、實(shí)時數(shù)據(jù)處理等各類大數(shù)據(jù)業(yè)務(wù)場景，幫助企業(yè)，更全面、更便捷、更智能、更安全地運(yùn)用數(shù)據(jù)，加速企業(yè)數(shù)字化轉(zhuǎn)型。

成套的工具組件讓系統(tǒng)的安裝部署、擴(kuò)容升級、安全防衛(wèi)、風(fēng)險告警、權(quán)限管理等工作變得更便捷。

此外，星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺TDH在技術(shù)領(lǐng)先性、性能、易用性、安全性以及售后服務(wù)等諸多方面具有優(yōu)勢。

技術(shù)領(lǐng)先性：TDH產(chǎn)品技術(shù)始終領(lǐng)先于同類型產(chǎn)品2~3年，在大數(shù)據(jù)技術(shù)領(lǐng)域較早實(shí)現(xiàn)多項(xiàng)技術(shù)突破，例如2015年TDH4.0就完整支持分布式事務(wù)，同類型如Hive在多年后任然不能很好支持;2016年發(fā)布的TDH5.0推出新一代資源管理與調(diào)度技術(shù)，將容器技術(shù)和大數(shù)據(jù)技術(shù)有效結(jié)合，提供有效的資源隔離技術(shù)同時帶來極致的安裝和升級體驗(yàn)，Cloudera 2020年也計劃相關(guān)產(chǎn)品使用這一解決方案;2020年TDH 7.0推出了創(chuàng)新的多模技術(shù)架構(gòu)，實(shí)現(xiàn)了通過統(tǒng)一SQL引擎對關(guān)系型、文本、圖數(shù)據(jù)、時空、時序等數(shù)據(jù)模型進(jìn)行操作，在行業(yè)內(nèi)處于先進(jìn)水平。

性能：TDH自研高性能分布式計算和存儲引擎，整體性能是CDP的 5~25倍。

易用性：星環(huán)科技TDH采用自研統(tǒng)一計算引擎，提供統(tǒng)一SQL接口處理，支持SQL 2003標(biāo)準(zhǔn)與存儲過程，并且支持Oracle/DB2/Teradata 等SQL 方言。TDH提供SQL開發(fā)工具、輕量級ETL工具、數(shù)據(jù)調(diào)度工作流工具、圖形化數(shù)據(jù)建模工具、交互式分析與Cube設(shè)計工具、元數(shù)據(jù)管理工具、可視化報表、大數(shù)據(jù)治理工具、災(zāi)備工具等大量易用性工具。

安全性：星環(huán)科技TDH提供了大數(shù)據(jù)安全合規(guī)能力，在企業(yè)構(gòu)建大數(shù)據(jù)能力的同時，確保數(shù)據(jù)業(yè)務(wù)的安全合規(guī)。平臺基于敏感識別與分類分級，幫助企業(yè)實(shí)現(xiàn)大數(shù)據(jù)資產(chǎn)的分類管理，分級保護(hù)。支持多種數(shù)據(jù)安全防護(hù)能力，包括靜態(tài)脫敏、動態(tài)脫敏、數(shù)據(jù)水印，加強(qiáng)了數(shù)據(jù)業(yè)務(wù)事中控制能力。平臺還支持以數(shù)據(jù)為中心的監(jiān)測與審計能力，能識別敏感數(shù)據(jù)操作并進(jìn)行用戶實(shí)體行為分析，能及時進(jìn)行告警，提供事后可查溯源的能力。

運(yùn)維：TDH提供開箱即用的可視化運(yùn)維監(jiān)控、安全管控工具，容器技術(shù)帶來極致的安裝、升級、補(bǔ)丁體驗(yàn)。

售后：TDH原廠超過1100人研發(fā)與支持團(tuán)隊(duì)和超過3萬名星環(huán)科技認(rèn)證的大數(shù)據(jù)工程師，專業(yè)性更強(qiáng)，售后無憂。

自主研發(fā)，國產(chǎn)生態(tài)，滿足信創(chuàng)要求

自主可控方面TDH有絕對優(yōu)勢，TDH產(chǎn)品通過工信部自主代碼掃描測試。CDP完全是國外軟件，不可控，國產(chǎn)軟硬支持不好。開源封裝產(chǎn)品依賴開源，不能自主可控，很多組件受美國法律限制，不能規(guī)避“被制裁”風(fēng)險。部分產(chǎn)品有l(wèi)icense風(fēng)險，如ES已經(jīng)改開源license策略了，后續(xù)商用存在一定的風(fēng)險。

同時星環(huán)科技TDH已完成與主流信創(chuàng)生態(tài)廠商的適配互認(rèn)工作，適配長城飛騰、華為泰山、浪潮等服務(wù)器，鯤鵬、飛騰CPU，麒麟、統(tǒng)信等OS，并有官方認(rèn)證，支持基于ARM與X86服務(wù)器服務(wù)器混合部署并有落地案例，滿足信創(chuàng)驗(yàn)收要求，幫助各行業(yè)用戶提升大數(shù)據(jù)系統(tǒng)的國產(chǎn)化水平。

高度兼容，簡單3步，實(shí)現(xiàn)平滑遷移

TDH基礎(chǔ)存儲與計算組件兼容CDH/HDP，可以實(shí)現(xiàn)平滑遷移，大大降低企業(yè)遷移成本低。

同時，星環(huán)科技(星環(huán)信息科技)提供專業(yè)的遷移工具Transwarp Backup (TBAK)，幫助用戶通過簡單的三步即可實(shí)現(xiàn)數(shù)據(jù)與業(yè)務(wù)的一鍵遷移，高效便捷。整個遷移過程操作簡單，配置靈活，通過3步即可完成所有的遷移工作，同時用戶可以對遷移過程進(jìn)行全流程實(shí)時監(jiān)控，保障整個遷移過程順利進(jìn)行。

第一步，基于TBAK提供可視化的界面進(jìn)行CDH和TDH的集群配置。

第二步，創(chuàng)建CDH遷移方案。TDH提供服務(wù)級和表級的遷移策略，以及對源集群，災(zāi)備集群，調(diào)度策略等進(jìn)行配置。在調(diào)度策略中用戶可以根據(jù)實(shí)際情況進(jìn)行配置，例如可以設(shè)置在業(yè)務(wù)空窗期的每天凌晨2點(diǎn)進(jìn)行數(shù)據(jù)遷移。同時，用戶可以設(shè)置相應(yīng)的告警策略，當(dāng)遷移發(fā)生問題時可以第一時間收到告警信息并對問題進(jìn)行排查和恢復(fù)。

第三步，執(zhí)行遷移任務(wù)和結(jié)果檢查。當(dāng)集群配置完成后，所有的遷移方案將在遷移方案界面進(jìn)行管理和操作。用戶可以選擇相應(yīng)的遷移方案進(jìn)行操作，例如立即執(zhí)行和設(shè)置執(zhí)行策略。若點(diǎn)擊執(zhí)行遷移任務(wù)，系統(tǒng)會進(jìn)入到自動遷移狀態(tài)，同時可以監(jiān)測遷移任務(wù)執(zhí)行的整體狀態(tài)信息，并且可以對每一步的執(zhí)行情況進(jìn)行實(shí)時監(jiān)測。當(dāng)遷移發(fā)生故障時，系統(tǒng)會發(fā)出執(zhí)行故障的告警，方便用戶對故障發(fā)生的階段進(jìn)行排查和故障恢復(fù)。

整個遷移過程均在可視化界面完成，操作簡單，通過3步即可完成所有的遷移工作，同時用戶可以對遷移過程進(jìn)行全流程實(shí)時監(jiān)控，保障整個遷移過程順利進(jìn)行。

大量案例，經(jīng)驗(yàn)豐富，保障安全可靠

星環(huán)科技(星環(huán)信息科技)積累了大量的遷移成功案例，經(jīng)驗(yàn)豐富，可以保障整個遷移過程安全可靠。例如，某通信集團(tuán)核心業(yè)務(wù)系統(tǒng)存量數(shù)據(jù)10PB級別，每日增量數(shù)TB，批處理作業(yè)數(shù)千個，數(shù)據(jù)量大，業(yè)務(wù)價值高。原有系統(tǒng)使用CDH+Oracle混合架構(gòu)，CDH 有近200節(jié)點(diǎn)，主要承擔(dān)數(shù)據(jù)批處理加工，Oracle對接上層應(yīng)用，CDH散裝架構(gòu)和CDH+Oracle混合架構(gòu)帶給客戶巨大的開發(fā)運(yùn)維成本，同時批處理性能、穩(wěn)定性和安全性也無法滿足客戶數(shù)據(jù)增長需求。最終星環(huán)科技(星環(huán)信息科技)在項(xiàng)目一期用TDH成功遷移了客戶CDH+Oracle混合架構(gòu)的數(shù)據(jù)平臺，“一個頂兩”，并且數(shù)據(jù)稽核、聯(lián)邦計算、資源調(diào)度、安全性、高可用、易用性等關(guān)鍵能力得到增強(qiáng)，真正實(shí)現(xiàn)“降本增效”。遷移全程用時6個月不到，充分體現(xiàn)了TDH對CDH的兼容性，以及Oracle方言和存儲過程支持能力。隨著一些新應(yīng)用上線，目前TDH集群生產(chǎn)環(huán)境擴(kuò)容至近200個節(jié)點(diǎn)，直接對接經(jīng)營分析、計費(fèi)、客服、賬務(wù)、結(jié)算等系統(tǒng)。

以上就是企業(yè)選擇星環(huán)科技TDH實(shí)現(xiàn)CDH/HDP的“4點(diǎn)原因”。此外，TDH作為一款國產(chǎn)化自主可控的大數(shù)據(jù)基礎(chǔ)平臺，可以替代Oracle、IBM DB2、Teradata等傳統(tǒng)主流數(shù)據(jù)庫在分析型場景中的應(yīng)用及替代Elastic Search在分布式搜索場景中的應(yīng)用，并在政府、金融、能源、制造業(yè)等十多個行業(yè)內(nèi)落地，幫助企業(yè)打造更全面、更便捷、更智能、更安全地國產(chǎn)化數(shù)字底座，加速企業(yè)數(shù)字化轉(zhuǎn)型。

來源：中華網(wǎng)