正文

大數(shù)據(jù)hudi（大數(shù)據(jù)蝴蝶效應(yīng)）

發(fā)布時(shí)間：2023-04-11 02:44:44 稿源：創(chuàng)意嶺閱讀： 121

大家好！今天讓小編來大家介紹下關(guān)于大數(shù)據(jù)hudi的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，相關(guān)業(yè)務(wù)請(qǐng)撥打電話：175-8598-2043，或添加微信：1454722008

文章目錄列表:

1、“大出行”市場(chǎng)百舸爭(zhēng)流，數(shù)字技術(shù)如何助力行業(yè)持續(xù)成長(zhǎng)？
2、大數(shù)據(jù)的概念是什么？
3、大數(shù)據(jù)的核心技術(shù)有哪些
4、大數(shù)據(jù)是什么含義?

大數(shù)據(jù)hudi（大數(shù)據(jù)蝴蝶效應(yīng)）

一、“大出行”市場(chǎng)百舸爭(zhēng)流，數(shù)字技術(shù)如何助力行業(yè)持續(xù)成長(zhǎng)？

2021年，出行行業(yè)頗不平靜，好事者用「混戰(zhàn)」來形容市場(chǎng)的變幻，資本蠢蠢欲動(dòng)，廠商推陳出新，在經(jīng)歷監(jiān)管與合規(guī)的審視之后，出行行業(yè)迎來了變革中的重塑。

12月29日，在“華為云&華為終端云服務(wù) 創(chuàng)新峰會(huì)2022”的“智慧出行論壇”上，來自出行行業(yè)的不同主體齊聚一堂，討論「智慧出行」的演進(jìn)與改變。

大數(shù)據(jù)hudi（大數(shù)據(jù)蝴蝶效應(yīng)）

華為云中國(guó)區(qū)副總裁、中國(guó)區(qū)CMO張鵬

華為云中國(guó)區(qū)副總裁、中國(guó)區(qū)CMO張鵬出席并發(fā)表致辭，他表示，移動(dòng)出行是個(gè)無比廣闊的新舞臺(tái)，需要面對(duì)新的商業(yè)模式、出行安全、產(chǎn)業(yè)生態(tài)重組，華為云通過“云云協(xié)同”的策略助力移動(dòng)出行行業(yè)創(chuàng)造新價(jià)值，實(shí)現(xiàn)加速發(fā)展。

移動(dòng)出行行業(yè)向新，自然需要新的理論指導(dǎo)與技術(shù)依托，這是擺在從業(yè)者面前共同的考題。

移動(dòng)出行，新在何處？

衣食住行，作為我們?nèi)粘Ｉ钪械幕拘枨?，自古有之卻又不斷變化，出行行業(yè)也是如此。從步行到自行車、汽車、火車、飛機(jī)等，這是交通工具的發(fā)明創(chuàng)造，而從出租車、網(wǎng)約車到共享單車等，這是出行模式的效率集中，兩者的革新往往同步進(jìn)行。

出行亙古不變的首要前提是安全，但安全風(fēng)險(xiǎn)并不是一成不變。例如當(dāng)共享出行作為一種新生事物出現(xiàn)時(shí)，改善了行業(yè)內(nèi)的供求關(guān)系，提高了出行效率，部分舊有安全風(fēng)險(xiǎn)得以解決，然而也可能帶來新的安全風(fēng)險(xiǎn)，此時(shí)除了行業(yè)自律以外，也需要國(guó)家政策等官方層面的監(jiān)管。

《網(wǎng)絡(luò)預(yù)約出租汽車經(jīng)營(yíng)服務(wù)管理暫行辦法》最新提出，要求對(duì)車輛和司機(jī)進(jìn)行實(shí)時(shí)監(jiān)控，而且增加對(duì)車內(nèi)音頻、視頻的采集，提前預(yù)警司機(jī)的超速駕駛、疲勞駕駛等違法行為，以及不文明用語等違規(guī)行為，有效保證司乘出行安全。

大數(shù)據(jù)hudi（大數(shù)據(jù)蝴蝶效應(yīng)）

中國(guó)汽車工程學(xué)會(huì)國(guó)汽戰(zhàn)略院副院長(zhǎng)戰(zhàn)靜靜

中國(guó)汽車工程學(xué)會(huì)國(guó)汽戰(zhàn)略院副院長(zhǎng)戰(zhàn)靜靜提到，數(shù)據(jù)安全監(jiān)管不是為了打壓出行行業(yè)，而是為了促進(jìn)數(shù)字經(jīng)濟(jì)的健康發(fā)展?！耙氚l(fā)掘和釋放信息資源的價(jià)值潛力，首先我們要搞清楚哪些是出行公司可以獲得的，哪些是屬于個(gè)人消費(fèi)者的，海量信息的收集、存儲(chǔ)、使用、加工、傳輸?shù)日麄€(gè)處理過程，需要全流程規(guī)范化。”

其次，出行是由A點(diǎn)到B點(diǎn)的物理位移，效率格外重要，出行廠商要留存客戶，無論是網(wǎng)約車還是貨運(yùn)，都要打造高效經(jīng)濟(jì)的平臺(tái)，才能更好吸引客戶。在既定成本之下，用最短的時(shí)間將人或物送至目的地，決定了一家出行公司能否獲得預(yù)期利潤(rùn)并長(zhǎng)久生存。

大數(shù)據(jù)hudi（大數(shù)據(jù)蝴蝶效應(yīng)）

G7數(shù)字貨運(yùn)產(chǎn)品總監(jiān)王永強(qiáng)

G7數(shù)字貨運(yùn)產(chǎn)品總監(jiān)王永強(qiáng)現(xiàn)場(chǎng)舉例，“貨運(yùn)司機(jī)在路上花銷很大，加油、過路費(fèi)、維修保養(yǎng)費(fèi)，G7經(jīng)過數(shù)字化運(yùn)營(yíng)改造之后，實(shí)現(xiàn)了把全國(guó)加油站、ETC數(shù)據(jù)、維修站點(diǎn)、停車場(chǎng)數(shù)據(jù)進(jìn)行打通，互聯(lián)互通之后司機(jī)只需要一部手機(jī)，路上暢通無阻，數(shù)字化讓貨主和司機(jī)體驗(yàn)非常愉悅，管理成本也大幅降低。”

最后，智能是移動(dòng)出行的價(jià)值增量。隨著5G、AI、自動(dòng)駕駛、車聯(lián)網(wǎng)技術(shù)的成熟，無論將來是客運(yùn)還是貨運(yùn)，都在朝著智能化的方向發(fā)展。智能不止是出行行業(yè)的趨勢(shì)，更遍及汽車產(chǎn)業(yè)鏈整體秩序，圍繞車輛的生產(chǎn)、銷售和使用，眾多新玩家涌入，并且試圖改變舊格局。

“智能交通的一些變化本質(zhì)上是汽車技術(shù)的變革帶來了整個(gè)產(chǎn)業(yè)生態(tài)的變化。在智能共享出行時(shí)代，汽車成為雷達(dá)、攝像頭、計(jì)算平臺(tái)、云平臺(tái)、通信模塊等智能組件形成的新產(chǎn)業(yè)，未來將會(huì)出現(xiàn)大量新玩家?！睉?zhàn)靜靜補(bǔ)充表示。

華為云出行行業(yè)全景圖

華為云是移動(dòng)出行行業(yè)的既新又舊的玩家之一。新在——華為云并非傳統(tǒng)出行行業(yè)廠商，舊在——移動(dòng)出行是華為云發(fā)展的四個(gè)戰(zhàn)略方向之一，而且華為圍繞車的地圖、人車管理、支付、數(shù)據(jù)運(yùn)營(yíng)和用戶觸達(dá)，全面打造了移動(dòng)出行解決方案。

大數(shù)據(jù)hudi（大數(shù)據(jù)蝴蝶效應(yīng)）

華為云移動(dòng)出行能力全景圖

在本次大會(huì)上，華為云出行行業(yè)全景圖正式亮相?！耙杂?jì)算、存儲(chǔ)、網(wǎng)絡(luò)技術(shù)為底座，搭載華為車機(jī)鴻蒙OS操作系統(tǒng)，同時(shí)構(gòu)建了云原生、大數(shù)據(jù)等平臺(tái)級(jí)能力，圍繞著安全出行、高效出行和智能出行三個(gè)核心場(chǎng)景，華為云豐富了支付服務(wù)、快應(yīng)用、便捷充電、加油等模塊生態(tài)，幫助產(chǎn)業(yè)打造真正的人、車、路大生態(tài)?！比A為云互聯(lián)網(wǎng)業(yè)務(wù)部副部長(zhǎng)蓋玲表示。

具體來看，在出行安全領(lǐng)域，華為云提供了司機(jī)駕駛行為檢測(cè)模型，能夠有效識(shí)別疲勞駕駛和分神駕駛，識(shí)別率達(dá)95%，減少人為復(fù)檢工作量；同時(shí)車內(nèi)環(huán)境語音識(shí)別模型和語義分析模型可以提高語音識(shí)別效率，端側(cè)小模型有效過濾異常片段，僅上傳異常片段，減少網(wǎng)絡(luò)負(fù)載，提高識(shí)別效率；云端還能提供語義分析能力，幫助事后快速檢索。

在地圖導(dǎo)航層面，華為云為出行企業(yè)提供了精準(zhǔn)定位SDK，有效保證定位精度，消費(fèi)者城市打車不錯(cuò)邊，司機(jī)派單算路更準(zhǔn)確；華為云ETA接口提高了計(jì)算準(zhǔn)確性，也改善了出行公司調(diào)度效率和乘客接駕體驗(yàn)；此外，軌跡補(bǔ)償能力可以減少計(jì)費(fèi)錯(cuò)誤和司乘糾紛。

在硬核技術(shù)層面，華為云湖倉一體支持存算分離和冷熱分離，基于Hudi的湖倉一體架構(gòu)，同時(shí)解決了數(shù)倉更新問題，成本也大幅下降；插件式組件接入能力支持客戶在開源組件上修改的同時(shí)，以插件式的形式接入到MRS管理組件上，省去了繁瑣的系統(tǒng)維護(hù)工作。

同時(shí)混合調(diào)度方案的彈性伸縮、流量治理，提供容器混合調(diào)度能力，業(yè)務(wù)高峰時(shí)，快速彈性擴(kuò)展資源池，及時(shí)滿足業(yè)務(wù)訴求，流量低谷時(shí)，及時(shí)回收資源，節(jié)約成本30%以上；華為云的多云管理能力還能通過提前規(guī)劃，將松耦合的系統(tǒng)部署至公有云，并使用多云管理平臺(tái)實(shí)現(xiàn)線上線下集群的統(tǒng)一管理，從而防止IDC擴(kuò)容帶來的成本。

在華為云和T3出行的合作中，華為云聯(lián)合T3整個(gè)技術(shù)團(tuán)隊(duì)，在多個(gè)模塊實(shí)現(xiàn)了技術(shù)的改進(jìn)和成本的優(yōu)化，T3出行有效降低了成本，提高了效率。同時(shí)針對(duì)司乘安全領(lǐng)域，雙方聯(lián)合開發(fā)疲勞駕駛算法、云質(zhì)檢算法，進(jìn)行了云創(chuàng)新，減少了38%事故的發(fā)生。針對(duì)網(wǎng)約車支付費(fèi)用正確性的問題，華為云提供了數(shù)倉一體化的解決方案，提高實(shí)時(shí)運(yùn)算效率。

云云協(xié)同，智慧出行的新變量

“今天的早晚高峰，我能不能打到車？”這可能是很多上班族的通勤難題。

順風(fēng)車就很好的補(bǔ)充了上下班的運(yùn)力問題，“順風(fēng)車平時(shí)最常見的場(chǎng)景就是日常的早晚上下班高峰，公共出行交通的供給不夠充足，出租車和網(wǎng)約車應(yīng)答率較低，順風(fēng)車的運(yùn)力卻非常充足?！?/p>

大數(shù)據(jù)hudi（大數(shù)據(jù)蝴蝶效應(yīng)）

哈啰出行副總裁、研究院院長(zhǎng)周錦秀

哈啰出行副總裁、研究院院長(zhǎng)周錦秀表示，“哈啰平臺(tái)通過大數(shù)據(jù)的算法可以將車上的空位資源精準(zhǔn)的匹配給出行需求的，不僅疏解了早晚高峰的壓力，尤其滿足了公共交通難以覆蓋到的部分出行需求?！?/p>

順風(fēng)車要實(shí)現(xiàn)更好的使用體驗(yàn)，不僅依賴云計(jì)算的底層技術(shù)支撐，還需要消費(fèi)終端的能力支持，云云協(xié)同就是華為云在智慧出行市場(chǎng)的秘密武器。

2020年，基于華為云打造的華為終端云服務(wù)HMS生態(tài)，已經(jīng)發(fā)展成為全球第三大移動(dòng)應(yīng)用生態(tài)，服務(wù)170多個(gè)國(guó)家和地區(qū)的近8億用戶，擁有超過270萬開發(fā)者。華為終端云生態(tài)在to B市場(chǎng)天然具備強(qiáng)大的吸引力。

同時(shí)，通過華為云和華為終端云服務(wù)在能力和生態(tài)等方面深度協(xié)同，可以為客戶和伙伴提供統(tǒng)一的服務(wù)和體驗(yàn)，實(shí)現(xiàn)to B和to C的全生態(tài)融合，如順風(fēng)車場(chǎng)景一樣，可以全面幫助企業(yè)進(jìn)行生產(chǎn)力效率的提升以及商業(yè)的創(chuàng)新。

例如，華為云和華為終端云，基于PUSH消息、定位、路況、路徑規(guī)劃等，經(jīng)過技術(shù)底座打造供需調(diào)度方案，可以有效的將關(guān)鍵數(shù)據(jù)、地圖數(shù)據(jù)、用戶數(shù)據(jù)等進(jìn)行預(yù)處理和特征提取。根據(jù)預(yù)設(shè)模型訓(xùn)練，提供給車輛調(diào)度路徑，甚至可以預(yù)測(cè)未來時(shí)刻車輛的需求。

這一過程華為云不斷優(yōu)化，反饋結(jié)果并迭代策略，實(shí)現(xiàn)網(wǎng)約車平臺(tái)、租車平臺(tái)、貨運(yùn)平臺(tái)高效的人找車、車找人、貨配車、車找貨等能力。

在華為看來，出行行業(yè)已經(jīng)不再是網(wǎng)約車或者是共享單車等，而是成為一個(gè)大出行行業(yè)，挑戰(zhàn)和機(jī)會(huì)并存。除了網(wǎng)約車、共享單車、貨運(yùn)，也包括停車系統(tǒng)、PaaS化的產(chǎn)品和旅游平臺(tái)等，都可以納入到大出行行業(yè)里。

華為也在思索，在大出行行業(yè)里，如果要打造好數(shù)字化的轉(zhuǎn)型，可以結(jié)合什么樣的生態(tài)，助力客戶的商業(yè)成功。

云云協(xié)同一定是華為云區(qū)別于其他供應(yīng)商的關(guān)鍵能力。“云云協(xié)同不僅僅是華為云和終端云的結(jié)合，還有華為流程IT云的融入，如何幫助合作伙伴造好車、賣好車、用好車，尤其是在幫助網(wǎng)約車實(shí)現(xiàn)統(tǒng)一的賬號(hào)、支付、音頻、視頻，包括搜索、地圖、廣告等各種方面的能力，實(shí)現(xiàn)B端和C端的融合，這是我們?cè)圃茀f(xié)同下一步要思考的問題，幫助大出行行業(yè)更加智慧?！睆堸i展望智慧出行表示。

在智慧出行行業(yè)，“云云協(xié)同”將構(gòu)筑一個(gè)全新生態(tài)，賦予出行產(chǎn)業(yè)鏈更多的可能與想象。

二、大數(shù)據(jù)的概念是什么？

大數(shù)據(jù)指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。通過大量的統(tǒng)計(jì)了解大家的喜好，想要的東西，從而得到他們想要的，比如精準(zhǔn)營(yíng)銷，征信分析，消費(fèi)分析等等

三、大數(shù)據(jù)的核心技術(shù)有哪些

大數(shù)據(jù)技術(shù)的體系龐大且復(fù)雜，基礎(chǔ)的技術(shù)包含數(shù)據(jù)的采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、數(shù)據(jù)庫、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等。

1、數(shù)據(jù)采集與預(yù)處理：FlumeNG實(shí)時(shí)日志收集系統(tǒng)，支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；Zookeeper是一個(gè)分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。

2、數(shù)據(jù)存儲(chǔ)：Hadoop作為一個(gè)開源的框架，專為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)，HDFS作為其核心的存儲(chǔ)引擎，已被廣泛用于數(shù)據(jù)存儲(chǔ)。HBase，是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，可以認(rèn)為是hdfs的封裝，本質(zhì)是數(shù)據(jù)存儲(chǔ)、NoSQL數(shù)據(jù)庫。

3、數(shù)據(jù)清洗：MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算。

4、數(shù)據(jù)查詢分析：Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供HQL(HiveSQL)查詢功能。Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

5、數(shù)據(jù)可視化：對(duì)接一些BI平臺(tái)，將分析得到的數(shù)據(jù)進(jìn)行可視化，用于指導(dǎo)決策服務(wù)。

四、大數(shù)據(jù)是什么含義?

大數(shù)據(jù)是指在一定時(shí)間內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長(zhǎng)、多元化的信息資產(chǎn)，需要一種新的處理模式，以具備更強(qiáng)的決策、洞察和流程優(yōu)化能力。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些有意義的數(shù)據(jù)進(jìn)行專業(yè)的處理。換句話說，如果把大數(shù)據(jù)比作一個(gè)行業(yè)，這個(gè)行業(yè)盈利的關(guān)鍵在于提高數(shù)據(jù)的“處理能力”，通過“處理”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

從技術(shù)上講，大數(shù)據(jù)和云計(jì)算的關(guān)系就像硬幣的正反面一樣密不可分。大數(shù)據(jù)不能用單臺(tái)計(jì)算機(jī)處理，必須采用分布式架構(gòu)。其特點(diǎn)在于海量數(shù)據(jù)的分布式數(shù)據(jù)挖掘。但它必須依賴云計(jì)算分布式處理、分布式數(shù)據(jù)庫、云存儲(chǔ)和虛擬化技術(shù)。

擴(kuò)展信息:

大數(shù)據(jù)只是現(xiàn)階段互聯(lián)網(wǎng)的一個(gè)表征或特征。沒有必要將其神話或保持敬畏。在以云計(jì)算為代表的技術(shù)創(chuàng)新背景下，這些原本看似難以收集和使用的數(shù)據(jù)開始被輕松使用。通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)將逐漸為人類創(chuàng)造更多的價(jià)值。

是體現(xiàn)大數(shù)據(jù)技術(shù)價(jià)值的手段，是進(jìn)步的基石。這里從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)、感知技術(shù)的發(fā)展，闡述大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的全過程。

實(shí)踐是大數(shù)據(jù)的終極價(jià)值。在這里，我們從互聯(lián)網(wǎng)大數(shù)據(jù)、政府大數(shù)據(jù)、企業(yè)大數(shù)據(jù)、個(gè)人大數(shù)據(jù)四個(gè)方面來描繪大數(shù)據(jù)的美好圖景和將要實(shí)現(xiàn)的藍(lán)圖。

以上就是小編對(duì)于大數(shù)據(jù)hudi問題和相關(guān)問題的解答了，如有疑問，可撥打網(wǎng)站上的電話，或添加微信。