正文

GPT與無人駕駛

發(fā)布時間：2023-06-14 10:11:31 稿源：創(chuàng)意嶺閱讀： 70

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于GPT與無人駕駛的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，有小程序、在線網(wǎng)頁版、PC客戶端和批量生成器

官網(wǎng)：https://ai.de1919.com。

本文目錄:

杭州高中生造出新型無人駕駛自行車，其自動輔助系統(tǒng)有多牛？
為什么是毫末智行成為了DriveGPT的破壁人？
毫末DriveGPT雪湖·海若，讓自動駕駛更早到來
當(dāng)GPT遇到自動駕駛，毫末首發(fā)DriveGPT

GPT與無人駕駛

杭州高中生造出新型無人駕駛自行車，其自動輔助系統(tǒng)有多牛？

2021丘成桐中學(xué)科學(xué)獎總決賽落下帷幕，來自杭州第九中學(xué)的高三學(xué)生時沐朗，憑借“輔助駕駛自平衡自行車”項目，以全球前十的成績拿下了總決賽計算機(jī)優(yōu)勝獎和中國分賽區(qū)一等獎，這也是浙江省今年唯一的“丘獎”。杭州高中生造出新型無人駕駛自行車，其自動輔助系統(tǒng)有多牛？

杭九中的時沐朗同學(xué)，拿到的是今年“丘獎”計算機(jī)學(xué)科的全球優(yōu)勝獎，他造出了一輛自行車版的“特斯拉”。

時沐朗的這輛自行車，擁有簡潔流暢的車身，純白的框架結(jié)構(gòu)。與普通自行車不同的是，車把手上的“眼睛”和坐墊位置的激光雷達(dá)，可以把數(shù)據(jù)實時傳回到自行車后輪上方的“中央大腦”，控制自行車保持平衡的同時，按照最優(yōu)路徑行駛。

的“輔助駕駛自平衡自行車”加入了基于ROS的自研輔助駕駛系統(tǒng)。其中系統(tǒng)中的路徑規(guī)劃與決策模塊使用了自主設(shè)計的HNPA算法。“HNPA算法，它是基于神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)算法的一個結(jié)合。然后車輛也好或者機(jī)器人也好，它都可以實現(xiàn)。”

時沐朗自小就對科技發(fā)明有著濃厚的興趣，從小學(xué)三年級便開始了?！皩W(xué)校每周都有電腦課，通過接觸各式各樣的應(yīng)用程序與益智游戲，這臺神奇的機(jī)器迅速勾起了我的好奇心。”后來接觸了C++、Python等編程語言，更加激發(fā)了他的興趣。

四年級時，時沐朗動用了自己的壓歲錢，買了主板、CPU、內(nèi)存等配件，花了一個多星期，自己組裝了一臺便攜式的小電腦。又用了一個月的時間，寫了一個簡單的引導(dǎo)系統(tǒng)，使這臺電腦能夠進(jìn)行多系統(tǒng)切換與簡單的文件讀寫。

高二時，時沐朗在杭九中的香泡創(chuàng)藝文化節(jié)上，搬出了自己發(fā)明的“會寫詩的機(jī)器人”。這個機(jī)器人搭載了他自己基于GPT-2框架開發(fā)的古文創(chuàng)作系統(tǒng)“雩文”，只要同學(xué)們隨口說四個字，指定五言或是七言，他的機(jī)器人就能在明信片上寫下一首律詩，他的攤位也成為那年香泡創(chuàng)藝文化節(jié)最熱鬧的義賣攤位。

一路走來，時沐朗感受很深，“個人的愛好和興趣，是走向科研之路的起點。熱愛一項事物，激起濃厚的興趣，再激勵自己學(xué)懂學(xué)深。勤加思考，產(chǎn)生領(lǐng)悟和創(chuàng)新?！薄巴瑫r，要沉心靜氣，戒驕戒躁。在漫長的研究過程中沉下耐心，學(xué)習(xí)前輩的知識并貫通和發(fā)揚(yáng)，將那些看起來遙不可及的智慧，分解成拾級而上的臺階，領(lǐng)悟科研的智慧?！?span style="display:none">q20創(chuàng)意嶺 - 安心托付、值得信賴的品牌設(shè)計、營銷策劃公司

作為一位高三學(xué)生，時沐朗對大學(xué)的專業(yè)已經(jīng)有了規(guī)劃，“先修數(shù)學(xué)，先把自己基礎(chǔ)打牢，后面研究生，未來甚至博士的領(lǐng)域，再細(xì)一點，比如說做控制或者做自動駕駛。”

為什么是毫末智行成為了DriveGPT的破壁人？

作者 | 魏啟揚(yáng)

來源 | 洞見新研社

毫末智行有著天生的緊迫感。

很多科技公司一年才舉辦一次的品牌日活動，毫末智行硬是辦成了一個季度一次，活動頻次的提高，則意味著組織內(nèi)部新陳代謝的提速，從研發(fā)到落地乃至運(yùn)營，都要跟上步點節(jié)奏。

毫末智行用這樣一種方式來鞭策自己在自動駕駛道路上的進(jìn)取之心。

4月11日結(jié)束的第八屆HAOMO AI DAY，活動規(guī)格再上臺階，吸引了中國汽車芯片聯(lián)盟聯(lián)席理事長、中國電動汽車百人會副理事長董揚(yáng)，同濟(jì)大學(xué)教授、汽車安全技術(shù)研究所所長朱西產(chǎn)，清華大學(xué)車輛與運(yùn)載學(xué)院教授曹東璞、華為云人工智能領(lǐng)域首席科學(xué)家、國際歐亞科學(xué)院院士、IEEE/CAAI Fellow田奇等業(yè)內(nèi)大咖參會。

在影響力持續(xù)擴(kuò)大的同時，毫末智行再次更新了自己在技術(shù)、產(chǎn)品和生態(tài)上的進(jìn)展，其中城市NOH即將量產(chǎn)上車與毫末DriveGPT 雪湖·海若的發(fā)布成最大亮點。

前者是中國首個重感知、不依賴高精地圖的城市NOH，將最先落地北京、上海、保定等城市，后者則是全球首個自動駕駛生成式大模型。

NOH量產(chǎn)上車，毫末智行過去就曾做過預(yù)告，此次確定了更具體的落地時間，算是兌現(xiàn)了之前“夸下的?？凇?。

至于雪湖·海若，在GPT火熱的當(dāng)下，參與其中的自動駕駛公司也不少，為什么是毫末智行率先發(fā)布，成為很多人心中的謎團(tuán)。

01 自動駕駛大考年，毫末智行沖在最前線

毫末智行加快推進(jìn)NOH的落地進(jìn)程，很大一部分原因在于智駕產(chǎn)品已經(jīng)進(jìn)入到全線爆發(fā)的前夜。

來自工信部和高工智能汽車研究院的數(shù)據(jù)顯示，2021年乘用車L2級智駕產(chǎn)品的搭載率是23.5%，全年共交付了476萬輛。

到了2022年，乘用車上車的智駕產(chǎn)品升級到L2級以上，搭載率提升到29.4%，全年了交付了585.99萬輛。

按照這一趨勢預(yù)測，到2025年時，乘用車L2級以上智駕產(chǎn)品的搭載率將達(dá)到70%。

毫無疑問，正在經(jīng)歷的2023年和還沒到來的2024年將十分關(guān)鍵，用毫末智行董事長張凱的話來說，“2023年既是自動駕駛的沖刺之年，也是大考之年”。

張凱判斷，智駕產(chǎn)品今年的爆發(fā)將主要集中在兩個方面。

第一個是城市導(dǎo)航輔助駕駛產(chǎn)品將圍繞量產(chǎn)上車發(fā)力，主要玩家的城市輔助駕駛產(chǎn)品進(jìn)入到真實用戶覆蓋和多城市落地的比拼。

另一個是行泊一體和無人車商業(yè)化將成為自動駕駛公司深耕的重點。在乘用車領(lǐng)域，搭載行泊一體功能的智駕產(chǎn)品將迎來前裝量產(chǎn)潮。

事實上，毫末智行作為“漸進(jìn)派”的代表，堅定認(rèn)為輔助駕駛是通往自動駕駛的必由之路，因而在過往，一直致力于推動智駕產(chǎn)品上車。

2021年推出HPilot 1.0版本，當(dāng)年即完成坦克300城市版、魏牌拿鐵、魏牌瑪奇朵、哈弗神獸5款車型的量產(chǎn)上車，搭載乘用車數(shù)量超過數(shù)萬臺。

2022年，毫末智行對HPilot進(jìn)行了兩次大版本更新，HPilot月度搭載增速超過200%，與此同時，毫末城市NOH輔助駕駛系統(tǒng)也完成了量產(chǎn)交付，搭載HPilot 3.0的新摩卡DHT-PHEV魏牌藍(lán)山將在2023年先后上市。

根據(jù)毫末智行官方公布的數(shù)據(jù)，截至目前，毫末HPilot整體已搭載近20款車型。用戶輔助駕駛行駛里程突破4000萬公里，HPilot 2.0 輔助駕駛?cè)站锍淌褂寐蔬_(dá)到了12.6%。

NOH的推進(jìn)方面，目前已經(jīng)在北京、保定、上海等城市開啟泛化測試，即將量產(chǎn)上車，毫末智行預(yù)測，到2024年，城市NOH將有序落地100城，屆時，毫末輔助駕駛乘用車總量也將來到百萬量級別。

有業(yè)內(nèi)人士評述，即便按照當(dāng)前的節(jié)奏不變，毫末智行智駕產(chǎn)品量產(chǎn)落地的速度也已與友商拉開了差距，至少領(lǐng)先行業(yè)一年以上。

毫末智行的”快”主要體現(xiàn)在兩個方面，一個是產(chǎn)品的推新和迭代速度快，一個是由量產(chǎn)落地而帶動的規(guī)模覆蓋。

不得不說毫末智行選擇了一條最為“穩(wěn)妥”的自動駕駛路線。

在應(yīng)對行業(yè)競爭，推動自動駕駛落地的過程中，我們很清晰的看到，HPilot、城市NOH等智駕產(chǎn)品正在源源不斷的為毫末智行提供營收，而隨著這些智駕產(chǎn)品的每一次迭代升級，自動駕駛能力一點點的向上提升，毫末智行距離全無人駕駛的星辰大海也更近了。

除了自動駕駛量產(chǎn)上車之外，毫末智行還公布6P開放合作的進(jìn)展，目前已與3家主機(jī)廠簽署定點合同，相關(guān)項目正在交付中。

在此之前，行業(yè)對毫末智行發(fā)展?jié)摿Υ嬉傻闹饕^點是過于依賴長城，如今6P合作實現(xiàn)突破，表示毫末智行開始走出長城，邁向更廣闊的發(fā)展空間，構(gòu)建屬于自己的“長城”。

02 數(shù)據(jù)“第一性原理”，DriveGPT雪湖·海若的主要支撐點

將ChatGPT與DriveGPT雪湖·海若進(jìn)行對比，雖然都是GPT，但運(yùn)行條件和應(yīng)用場景還是有很大的不同。

ChatGPT是對話式的生成式自然語言模型，輸入是自然語言的文本串，輸出就是自然語言的文本，目前ChatGPT主要完成通用的下游語言生成任務(wù)，比如多輪對話、代碼生成、翻譯、數(shù)學(xué)運(yùn)算等。

DriveGPT雪湖·海若是用于自動駕駛場景的生成式大模型，輸入是感知融合后的文本序列，輸出是自動駕駛場景文本序列，即將自動駕駛場景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預(yù)測以及決策邏輯鏈的輸出等任務(wù)。

DriveGPT雪湖·海若的實現(xiàn)過程是，首先在預(yù)訓(xùn)練階段通過引入量產(chǎn)駕駛數(shù)據(jù)，訓(xùn)練初始模型，再通過引入駕駛接管Clips數(shù)據(jù)完成反饋模型（Reward Model）的訓(xùn)練，然后再通過強(qiáng)化學(xué)習(xí)的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對自動駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。

毫末智行CEO顧維灝在自動駕駛技術(shù)領(lǐng)域的眼光獨(dú)到，布局非常領(lǐng)先。

早在 2021 年，毫末智行就已經(jīng)開始了 Transformer 大模型技術(shù)的探索，并快速落地應(yīng)用到 BEV 視覺感知算法當(dāng)中，然后又以五大模型的方式來實現(xiàn)自動駕駛感知、認(rèn)知算法的快速升級，現(xiàn)在這些大模型將統(tǒng)一到 DriveGPT 生成式大模型當(dāng)中，最終目標(biāo)是實現(xiàn)端到端自動駕駛。

很明顯，和ChatGPT一樣，DriveGPT雪湖·海若的技術(shù)原理并不復(fù)雜，但為何是毫末智行搶到了落地的頭炮呢？

因為要想獲得理想的訓(xùn)練結(jié)果，必須具備兩個條件，海量的數(shù)據(jù)和超強(qiáng)的算力，而這恰恰是毫末智行區(qū)別于其他自動駕駛公司的優(yōu)勢長板。

先看數(shù)據(jù)。

去年9月的第6屆HAOMO AI DAY上，CEO顧維灝向外界確認(rèn)，毫末智行正式進(jìn)入數(shù)據(jù)驅(qū)動的自動駕駛 3.0 時代。

如何理解？毫末智行依托HPilot的量產(chǎn)，目前已經(jīng)積累了超過4000萬公里輔助駕駛里程的數(shù)據(jù)，就場景來看，包括城市道路、城市快速路和高速；就數(shù)據(jù)分類來看，既有真實的感知數(shù)據(jù)，也包含真實的人駕數(shù)據(jù)。

毫末智行的數(shù)據(jù)優(yōu)勢并不是數(shù)據(jù)量的多少，而是獲取數(shù)據(jù)的能力。

以HPilot為代表的智駕產(chǎn)品一直在持續(xù)的大規(guī)模量產(chǎn)上車，這也是說，毫末智行擁有穩(wěn)定且優(yōu)質(zhì)的數(shù)據(jù)源，這些數(shù)據(jù)被投喂到MANA數(shù)據(jù)智能體系的訓(xùn)練中，推動MANA的進(jìn)化成長，從而完成數(shù)據(jù)在其設(shè)計的技術(shù)架構(gòu)內(nèi)的閉環(huán)。

截至到2023年4月，MANA學(xué)習(xí)時長超56萬小時，虛擬駕齡相當(dāng)于人類司機(jī)6.8萬年。

再來看看算力。

毫末智行很早就預(yù)見了算力對于自動駕駛研發(fā)的重要性，與特斯拉建設(shè)超算中心Dojo類似，毫末智行今年1月發(fā)布了中國自動駕駛行業(yè)最大的智算中心MANA OASIS（雪湖·綠洲），算力達(dá)67億億次/秒。

通過一系列的訓(xùn)練框架、性能、通信等優(yōu)化，MANA OASIS可單機(jī)實現(xiàn)訓(xùn)練100億參數(shù)規(guī)模的大模型的能力，同時執(zhí)行多任務(wù)、多模態(tài)并行的訓(xùn)練，大幅提升計算效率。

為了支持DriveGPT雪湖·海若的訓(xùn)練，毫末智行還對MANA OASIS在算力層面進(jìn)行三大能力的升級。

1、搭建了“全套大模型訓(xùn)練保障框架”，實現(xiàn)了異常任務(wù)分鐘級捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個月沒有任何非正常中斷,有效保證了大模型訓(xùn)練穩(wěn)定性；

2、研發(fā)出以真實數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù)，并將其推廣到大模型訓(xùn)練，構(gòu)建了一個大模型持續(xù)學(xué)習(xí)系統(tǒng)，自主研發(fā)任務(wù)級彈性伸縮調(diào)度器，分鐘級調(diào)度資源，集群計算資源利用率達(dá)到95%；

3、MANA OASIS通過提升數(shù)據(jù)吞吐量來降本增效，滿足Transformer大模型訓(xùn)練效率，通過引入火山引擎提供的Lego算子庫實現(xiàn)算子融合，端到端吞吐提升84%。

古希臘哲學(xué)家亞里士多德曾提出過“第一性原理”的哲學(xué)術(shù)語，翻譯過來就是，“每個系統(tǒng)中存在一個最基本的命題，它不能被違背或刪除。”

從毫末智行所表現(xiàn)出來的技術(shù)理念來看，無論是走“漸進(jìn)式”路線，還是建設(shè)算力基礎(chǔ)設(shè)施MANA OASIS，圍繞的中心都是數(shù)據(jù)，在毫末智行的認(rèn)知中，數(shù)據(jù)就是自動駕駛的“第一性原理”，基于此，毫末智行構(gòu)建起行業(yè)競爭的護(hù)城河。

03 從毫末到雪湖再到海諾，自動駕駛的中國式浪漫

在DriveGPT雪湖·海若發(fā)布之外，另外一個值得關(guān)注的點是，毫末智行還對外開放了該模型。

北京交通大學(xué)計算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等單位成為首批合作伙伴。

此外，毫末智行在使用數(shù)據(jù)的過程中，還建立了一套極具性價比的，基于4D Clips數(shù)據(jù)的自動化標(biāo)注方案。

目前，一張正確標(biāo)注結(jié)果的圖片在行業(yè)中的市場價是5塊錢，如果使用DriveGPT的標(biāo)注服務(wù)，這個價格將只需5毛錢。

毫末智行計劃，這項圖像幀及4D Clips自動標(biāo)注服務(wù)將逐步向行業(yè)開放使用。

很明顯，毫末智行發(fā)布DriveGPT雪湖·海若，并不是炒作跟風(fēng)，而是真真切切的在做自動駕駛研發(fā)，更難能可貴的是，毫末智行很多前沿技術(shù)不光是為自己所用，還將其開放出來，以生態(tài)共建的形式，為行業(yè)的發(fā)展添磚加瓦。

其實，從毫末智行公司名字的由來，到自動駕駛智算體系MANA雪湖的命名，再到DriveGPT雪湖·海若的來源，能夠窺視出毫末智行在自動駕駛這件事情上一以貫之的企業(yè)價值觀。

“毫末”二字取自道家學(xué)派創(chuàng)始人老子之《老子·第六十四章》：“合抱之木，生于毫末。九層之臺，起于累土。千里之行，始于足下。”強(qiáng)調(diào)的是一點一滴積累、腳踏實地耕耘的重要性。

“雪湖”這一名稱，出自科幻小說《三體》第二部《黑暗森林》，說的是主人公羅輯在星空、雪山、森林、草地和湖畔之間徜徉思考，直到有一天在湖中尋找到了綠色“三體危機(jī)”、拯救地球的方法。

將其延伸，“雪湖”這個名字代表了毫末對人類社會和科技趨勢發(fā)展的熱情，承載著毫末以AI通向自動駕駛夢想的思考。

“海若”則出自《莊子·秋水》，里面有兩個神話人物河伯和北海若。河伯請教北海若，何謂大小之分，北海若教導(dǎo)，不因天地而覺大，不因毫末而覺小。其中蘊(yùn)含著智慧包容、海納百川的寓意。

將上述命名來源進(jìn)行梳理，可以發(fā)現(xiàn)毫末智行的企業(yè)價值觀融匯了中國古代經(jīng)典的道家思想和科幻巨作天馬行空式的哲學(xué)思辨，再結(jié)合當(dāng)前正在從事的最前沿的自動駕駛事業(yè)，毫末智行呈現(xiàn)出特立獨(dú)行的氣質(zhì)，更宏觀的視角，還能看到一種與眾不同的中國式浪漫。

【本文來自易車號作者洞見新研社，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請聯(lián)系作者。內(nèi)容僅代表作者觀點，與易車無關(guān)】

GPT與無人駕駛

毫末DriveGPT雪湖·海若，讓自動駕駛更早到來

ChatGPT的火爆，讓AI大模型成為各大科技巨頭爭相布局的重點。

無論是國外的微軟、谷歌、Meta，還是國內(nèi)的百度、華為、阿里、商湯等企業(yè)，都已經(jīng)涉足AI大模型的研究與探索。

如同2016年AlphaGo的橫空出世一般，AI大模型的爆發(fā)也是引發(fā)AI變革的劃時代里程碑。阿里巴巴集團(tuán)董事會主席兼CEO張勇甚至認(rèn)為，所有行業(yè)、所有應(yīng)用、所有軟件、所有服務(wù)都值得基于新型人工智能技術(shù)以及大模型支撐重做一遍。

英偉達(dá)CEO黃仁勛也曾表達(dá)過同樣的觀點，他認(rèn)為AI產(chǎn)業(yè)迎來“iPhone”時刻，AI技術(shù)爆炸、產(chǎn)業(yè)爆發(fā)的趨勢已經(jīng)勢不可擋，甚至將撬動涵蓋交通醫(yī)療、運(yùn)輸、零售及物流在內(nèi)的百萬億美金的市場。

正如毫末智行董事長張凱在4月11日舉辦的第八屆HAOMO AI DAY的演講中所形容的，“距離上一屆HAOMO AI DAY剛剛過去三個月，卻仿佛跨入了一個新周期”，一系列AI大模型的陸續(xù)發(fā)布，讓更多人相信人工智能技術(shù)迎來從量變到質(zhì)變的重大節(jié)點。

在第八屆HAOMO AI DAY上，毫末智行也發(fā)布了業(yè)內(nèi)首個自動駕駛生成式大模型DriveGPT，中文名“雪湖·海若”。

△毫末智行董事長張凱、CEO顧維灝、COO侯軍、CIO甄龍豹在HAOMO AI DAY現(xiàn)場

對于大模型，毫末并不陌生。此次發(fā)布自動駕駛生成式大模型DriveGPT雪湖·海若，既不是毫末的跟風(fēng)之舉，也不是為了蹭GPT的熱點。

早在兩年前，毫末就已經(jīng)開始關(guān)注并投入到AI大模型技術(shù)的研發(fā)之中。在AI自動駕駛領(lǐng)域，毫末可以說是大模型研發(fā)和應(yīng)用的先行者。

毫末為什么要研發(fā)DriveGPT雪湖·海若？

毫末智行CEO顧維灝說，他在這段時間經(jīng)常會被問到這個問題。在毫末看來，DriveGPT雪湖·海若將會重塑汽車智能化技術(shù)路線，讓輔助駕駛進(jìn)化更快，讓自動駕駛更早到來。

張凱判斷，2023年智駕產(chǎn)品將進(jìn)入全線爆發(fā)期，“生成式大模型將成為自動駕駛系統(tǒng)進(jìn)化的關(guān)鍵”。

接下來，基于 Transformer 大模型訓(xùn)練的感知、認(rèn)知算法會逐步在車端進(jìn)行落地部署，而隨著大模型開啟在車端的落地應(yīng)用，車主的使用頻率和滿意度成為產(chǎn)品競爭力的重要衡量標(biāo)準(zhǔn)。張凱表示，“毫末不斷進(jìn)步的數(shù)據(jù)驅(qū)動的六大閉環(huán)能力，將進(jìn)一步加速毫末進(jìn)入自動駕駛3.0時代的步伐，并形成相應(yīng)的護(hù)城河”。

業(yè)內(nèi)首個自動駕駛生成式大模型

最近一段時間，關(guān)于自動駕駛的未來，行業(yè)內(nèi)出現(xiàn)了截然不同的觀點。

樂觀派認(rèn)為到2030年之前L3級自動駕駛將會批量落地；悲觀派斷定，“十年內(nèi)L3自動駕駛技術(shù)都不會到來”；唱衰派則稱自動駕駛“都是扯淡...都是忽悠，就是一場皇帝的新裝……最終就是一個高級輔助駕駛而已”。

無論哪一派觀點，一個不容忽視的現(xiàn)實是，自動駕駛技術(shù)的變革才剛剛開始。特別是AI大模型引發(fā)的產(chǎn)業(yè)應(yīng)用和變革，更是為自動駕駛技術(shù)發(fā)展注入全新的動力。

同濟(jì)大學(xué)教授、汽車安全技術(shù)研究所所長朱西產(chǎn)也在第八屆HAOMO AI DAY上分享了自己的觀點：自動駕駛不能長期停留在L2+，還是要去做到L3、L4，最終走向終局的無人駕駛。

毫末也一直相信，AI大模型已成為自動駕駛技術(shù)進(jìn)化的核心動力之一。在今年1月的第七屆HAOMO AI DAY上，顧維灝就分享了其智算中心，以及從感知到認(rèn)知以及仿真的五大大模型，包括視覺自監(jiān)督大模型、3D重建大模型、多模態(tài)互監(jiān)督大模型、動態(tài)環(huán)境大模型、人駕自監(jiān)督認(rèn)知大模型。

毫末這五大大模型，與如今爆火的AI大模型有很多共同之處。

據(jù)顧維灝介紹，DriveGPT雪湖·海若通過引入駕駛數(shù)據(jù)建立RLHF（人類反饋強(qiáng)化學(xué)習(xí)）技術(shù)，對自動駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。

現(xiàn)階段，DriveGPT雪湖·海若主要用于解決自動駕駛的認(rèn)知決策問題，后續(xù)持續(xù)會將毫末多個大模型的能力整合到DriveGPT，但最終目標(biāo)是實現(xiàn)端到端自動駕駛。

目前，毫末DriveGPT雪湖·海若實現(xiàn)了模型架構(gòu)與參數(shù)規(guī)模的升級，參數(shù)規(guī)模達(dá)到1200億，預(yù)訓(xùn)練階段引入4000萬公里量產(chǎn)車駕駛數(shù)據(jù)，RLHF階段引入 5萬段人工精選的困難場景接管Clips。

DriveGPT雪湖·海若的底層模型采用GPT（Generative Pre-trained Transformer）生成式預(yù)訓(xùn)練大模型，不過與ChatGPT使用自然語言進(jìn)行輸入與輸出不同，DriveGPT輸入是感知融合后的文本序列，輸出是自動駕駛場景文本序列，即將自動駕駛場景Token化，形成“Drive Language”，最終完成自車的決策規(guī)控、障礙物預(yù)測以及決策邏輯鏈的輸出等任務(wù)。

在實現(xiàn)過程上，DriveGPT雪湖·海若首先在預(yù)訓(xùn)練階段通過引入量產(chǎn)駕駛數(shù)據(jù)，訓(xùn)練初始模型，再通過引入駕駛接管Clips數(shù)據(jù)完成反饋模型（Reward Model）的訓(xùn)練，然后再通過強(qiáng)化學(xué)習(xí)的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對自動駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。

同時，DriveGPT雪湖·海若還會根據(jù)輸入端的提示語以及毫末CSS自動駕駛場景庫的決策樣本去訓(xùn)練模型，讓模型學(xué)習(xí)推理關(guān)系，從而將完整駕駛策略拆分為自動駕駛場景的動態(tài)識別過程，完成可理解、可解釋的推理邏輯鏈生成。

隨著技術(shù)不斷優(yōu)化，DriveGPT雪湖·海若將逐步應(yīng)用到城市NOH、捷徑推薦、智能陪練以及脫困場景中。

從用戶可感知的角度來看，有了DriveGPT雪湖·海若的加持，車輛行駛會更安全；動作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動作。也就是說車輛的智能駕駛系統(tǒng)會越來越像老司機(jī)，從而加強(qiáng)用戶對智能產(chǎn)品的信任感。

顧維灝透露，DriveGPT雪湖·海若的首發(fā)車型是新摩卡DHT-PHEV，即將量產(chǎn)上市。

值得一提的是，毫末DriveGPT雪湖·海若已正式對外開放，開啟對限量首批客戶的合作，除了魏牌新能源，北京交通大學(xué)計算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、英特爾等已經(jīng)加入。

毫末DriveGPT雪湖·海若將攜手生態(tài)伙伴率先探索四大應(yīng)用能力，包括智能駕駛、駕駛場景識別、駕駛行為驗證、困難場景脫困。

這將有效促進(jìn)自動駕駛從業(yè)者和研究機(jī)構(gòu)快速構(gòu)建基礎(chǔ)能力。

數(shù)據(jù)驅(qū)動技術(shù)升級

毫末一直堅信數(shù)據(jù)是人工智能最大的驅(qū)動力，并一直以數(shù)據(jù)驅(qū)動的方式來推動自動駕駛產(chǎn)品的升級。

截止到2023月4月，毫末輔助駕駛用戶行駛里程已經(jīng)突破4000萬公里，小魔駝的配送量也超過了16萬單，MANA的學(xué)習(xí)時長超過56萬小時，虛擬駕齡相當(dāng)于人類司機(jī)6.8萬年。

顧維灝表示，這些數(shù)據(jù)每時每刻都在增長變化，2023年將迎來指數(shù)級增長。

在對數(shù)據(jù)的大量應(yīng)用過程中，毫末已經(jīng)逐步建立起一套基于4D Clips駕駛場景識別方案，并將逐步向行業(yè)開放使用。

毫末這套場景識別方案具備極高性價比。比如，給出正確的場景識別標(biāo)注結(jié)果，行業(yè)內(nèi)普遍的價格是一張圖片約5元；而使用DriveGPT雪湖·海若的場景識別服務(wù)，一張圖片的價格將下降到0.5元。

此前有業(yè)內(nèi)人士提到，自動駕駛一年要做大概1000萬幀圖像人工標(biāo)定，如果單幀圖片整體標(biāo)注成本降低到行業(yè)的1/10，這將極大地降低自動駕駛使用數(shù)據(jù)的成本，并且提高數(shù)據(jù)質(zhì)量和效率，從而加速自動駕駛技術(shù)的快速發(fā)展。

毫末打造的中國首個自動駕駛數(shù)據(jù)智能體系MANA，在經(jīng)過一年多的應(yīng)用迭代后，本次AI DAY也迎來了全面的升級，并正式對外開放賦能。

顧維灝介紹，MANA計算基礎(chǔ)服務(wù)針對大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項優(yōu)化，并集成到OASIS中；其次，MANA感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT雪湖·海若中；第三，增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本。

與此同時，針對多種芯片和多種車型的快速交付難題，MANA優(yōu)化了異構(gòu)部署工具和車型適配工具。

此外，MANA的視覺感知能力持續(xù)提升，一方面可同時學(xué)習(xí)三維空間結(jié)構(gòu)和圖片紋理，并將純視覺測距精度超過了超聲波雷達(dá)，BEV方案也擁有了更強(qiáng)的通用性和適配性；另一方面可實現(xiàn)單趟和多趟純視覺NeRF三維重建，道路場景更逼真，肉眼幾乎看不出差異。

通過NeRF進(jìn)行場景重建后，可以編輯合成真實環(huán)境難以收集到的Corner Case。在原有的全局視角修改、添加光照/天氣效果的基礎(chǔ)上，新增合成虛擬動態(tài)物體的能力，可以在原有設(shè)定的運(yùn)動軌跡上，合成各種Hard Case，模擬城市復(fù)雜交通環(huán)境，用更低成本測試提升城市NOH能力邊界，更好提升應(yīng)對城市復(fù)雜交通環(huán)境。

值得一提的是，面對目前行業(yè)里最難的視覺任務(wù)之一——單目視覺測量，繼特斯拉后，毫末也在中國率先開始驗證能否使用魚眼相機(jī)代替超聲波雷達(dá)進(jìn)行測距，以滿足泊車要求。

毫末把視覺BEV感知框架引入到了車端魚眼相機(jī)，做到了在15米范圍內(nèi)達(dá)到30cm的測量精度，2米內(nèi)精度高于10cm的視覺精度效果。泊車場景使用純視覺測距來取代超聲波雷達(dá)，將進(jìn)一步降低整體智駕成本。

四大戰(zhàn)役全面突圍，拿下三大主機(jī)廠定點

作為中國唯一聚焦自動駕駛 AI 技術(shù)的盛宴，每屆HAOMO AI DAY，毫末都會分享最前沿的自動駕駛行業(yè)趨勢，發(fā)布最新的技術(shù)和產(chǎn)品進(jìn)展。

這一次也不例外。

張凱以《HAOMO SPEED，AI SPEED》為題，分享了對于2023年自動駕駛發(fā)展宏觀趨勢的判斷，以及毫末四大戰(zhàn)役及商業(yè)化發(fā)展的最新進(jìn)展。

張凱認(rèn)為，智駕產(chǎn)品正在進(jìn)入快速增長的全線爆發(fā)期，2023年將是智能駕駛沖刺之年、大考之年。

首先，城市導(dǎo)航輔助駕駛產(chǎn)品在2023年將圍繞量產(chǎn)上車發(fā)力，主要玩家的城市導(dǎo)航輔助駕駛產(chǎn)品進(jìn)入到真實用戶覆蓋和多城市落地的比拼。

其次，行泊一體和末端物流自動配送產(chǎn)業(yè)商業(yè)化將成為自動駕駛公司深耕的重點。

在乘用車領(lǐng)域，搭載行泊一體功能的智駕產(chǎn)品將迎來前裝量產(chǎn)潮；在末端物流自動配送領(lǐng)域，末端物流自動配送車在商超、快遞等場景迎來爆發(fā)，2023年將在這些場景實現(xiàn)可持續(xù)商業(yè)化閉環(huán)。

在第七屆HAOMO AI DAY上，毫末提出要打響“2023 年四大戰(zhàn)役”。如今這四大戰(zhàn)役在短短三個多月時間內(nèi)已經(jīng)取得了快速進(jìn)展。

首先，在“智能駕駛裝機(jī)量王者之戰(zhàn)”上，據(jù)張凱介紹，首款搭載HPilot3.0的新摩卡DHT-PHEV即將重磅上市，第二款搭載毫末HPilot3.0的車型魏牌藍(lán)山也將在今年發(fā)布。

截至目前，毫末HPilot整體已搭載近20款車型。用戶輔助駕駛行駛里程突破4000萬公里，HPilot2.0輔助駕駛?cè)站旭偫锍淌褂寐蔬_(dá)到了12.6%，而且這一比例也在隨著用戶認(rèn)可度的提高不斷增加。

在海外布局方面，搭載毫末HPilot的車輛已運(yùn)往歐盟、以色列等地區(qū)和國家，陸續(xù)交付到用戶手中，接下來將在中東、南非、澳大利亞等市場陸續(xù)投放；同時，毫末HPilot即將量產(chǎn)墨西哥版本及俄羅斯版本。

今年3月，高工智能汽車研究院基于前裝量產(chǎn)數(shù)據(jù)庫及定點車型庫數(shù)據(jù)進(jìn)行的年度綜合評估中，毫末憑借前裝近20款車輛的優(yōu)異表現(xiàn)，獲頒年度高階智能駕駛系統(tǒng)量產(chǎn)份額領(lǐng)軍獎。第三方數(shù)據(jù)佐證毫末是中國量產(chǎn)自動駕駛絕對領(lǐng)軍者，毫末持續(xù)引領(lǐng)中國自動駕駛第一名。

其次是“MANA大模型巔峰之戰(zhàn)”，中國首個自動駕駛數(shù)據(jù)智能體系MANA架構(gòu)已迎來全線升級。到2023年4月，MANA學(xué)習(xí)時長超56萬小時，相當(dāng)于人類司機(jī)6.8萬年。毫末DriveGPT雪湖·海若，已經(jīng)完成基于4000萬公里駕駛數(shù)據(jù)的訓(xùn)練，參數(shù)規(guī)模達(dá)1200億。

第三是“城市NOH百城大戰(zhàn)”，中國首款可大規(guī)模量產(chǎn)落地、重感知城市NOH，已在北京、保定、<a class="baikekeyl" href="https://car.yiche.com/shanghai-

【本文來自易車號作者出行范兒，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請聯(lián)系作者。內(nèi)容僅代表作者觀點，與易車無關(guān)】

當(dāng)GPT遇到自動駕駛，毫末首發(fā)DriveGPT

GPT之于自動駕駛意味著什么？

文丨智駕網(wǎng) 黃華丹

ChatGPT帶火了AI，那么，當(dāng)GPT遇到自動駕駛，又會發(fā)生怎樣的化學(xué)反應(yīng)？

GPT全稱Generative Pre-trained Transformer，即生成式預(yù)訓(xùn)練Transformer。簡單概括即是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型。

4月11日，在第八屆毫末AI DAY上，毫末CEO顧維灝正式發(fā)布了基于GPT技術(shù)的DriveGPT，中文名雪湖·海若。

DriveGPT能做到什么？又是如何構(gòu)建的？顧維灝在AI DAY上都做了詳細(xì)解讀。此外，AI DAY還展示了毫末自動駕駛數(shù)據(jù)體系MANA的升級情況，主要是其在視覺感知能力上的進(jìn)展。

01.

什么是DriveGPT？能實現(xiàn)什么？

顧維灝首先講解了GPT的原理，生成式預(yù)訓(xùn)練Transformer模型本質(zhì)上是在求解下一個詞出現(xiàn)的概率，每一次調(diào)用都是從概率分布中抽樣并生成一個詞，這樣不斷地循環(huán)，就能生成一連串的字符，用于各種下游任務(wù)。

以中文自然語言為例，單字或單詞就是Token，中文的Token詞表有5萬個左右。把Token輸入到模型，輸出就是下一個字詞的概率，這種概率分布體現(xiàn)的是語言中的知識和邏輯，大模型在輸出下一個字詞時就是根據(jù)語言知識和邏輯進(jìn)行推理的結(jié)果，就像根據(jù)一部偵探小說的復(fù)雜線索來推理兇手是誰。

而作為適用于自動駕駛訓(xùn)練的大模型，DriveGPT雪湖·海若三個能力：

1.可以按概率生成很多個這樣的場景序列，每個場景都是一個全局的場景，每個場景序列都是未來有可能發(fā)生的一種實際情況。

2.是在所有場景序列都產(chǎn)生的情況下，能把場景中最關(guān)注的自車行為軌跡給量化出來，也就是生成場景的同時，便會產(chǎn)生自車未來的軌跡信息。

3.有了這段軌跡之后，DriveGPT雪湖·海若還能在生成場景序列、軌跡的同時，輸出整個決策邏輯鏈。

也就是說，利用DriveGPT雪湖·海若，在一個統(tǒng)一的生成式框架下，就能做到將規(guī)劃、決策與推理等多個任務(wù)全部完成。

具體來看，DriveGPT雪湖·海若的設(shè)計是將場景Token化，毫末將其稱為Drive Language。

Drive Language將駕駛空間進(jìn)行離散化處理，每一個Token都表征場景的一小部分。目前毫末擁有50萬個左右的Token詞表空間。如果輸入一連串過去已經(jīng)發(fā)生的場景Token序列，模型就可以根據(jù)歷史，生成未來所有可能的場景。

也就是說，DriveGPT雪湖·海若同樣像是一部推理機(jī)器，告訴它過去發(fā)生了什么，它就能按概率推理出未來的多個可能。

一連串Token拼在一起就是一個完整的駕駛場景時間序列，包括了未來某個時刻整個交通環(huán)境的狀態(tài)以及自車的狀態(tài)。

有了Drive Language，就可以對DriveGPT進(jìn)行訓(xùn)練了。

毫末對DriveGPT的訓(xùn)練過程首先是根據(jù)駕駛數(shù)據(jù)以及之前定義的駕駛嘗試做一個大規(guī)模的預(yù)訓(xùn)練。

然后，通過在使用過程中接管或者不接管的場景，對預(yù)訓(xùn)練的結(jié)果進(jìn)行打分和排序，訓(xùn)練反饋模型。也就是說利用正確的人類開法來替代錯誤的自動駕駛開法。

后續(xù)就是用強(qiáng)化學(xué)習(xí)的思路不斷優(yōu)化迭代模型。

在預(yù)訓(xùn)練模型上，毫末采用Decode-only結(jié)構(gòu)的GPT模型，每一個Token用于描述某時刻的場景狀態(tài)，包括障礙物的狀態(tài)、自車狀態(tài)、車道線情況等等。

目前，毫末的預(yù)訓(xùn)練模型擁有1200億個參數(shù)，使用4000萬量產(chǎn)車的駕駛數(shù)據(jù)，本身就能夠?qū)Ω鞣N場景做生成式任務(wù)。

這些生成結(jié)果會按照人類偏好進(jìn)行調(diào)優(yōu)，在安全、高效、舒適等維度上做出取舍。同時，毫末會用部分經(jīng)過篩選的人類接管數(shù)據(jù)，大概5萬個Clips去做反饋模型的訓(xùn)練，不斷優(yōu)化預(yù)訓(xùn)練模型。

在輸出決策邏輯鏈時，DriveGPT雪湖·海若利用了prompt提示語技術(shù)。輸入端給到模型一個提示，告訴它“要去哪、慢一點還是快一點、并且讓它一步步推理”，經(jīng)過這種提示后，它就會朝著期望的方向去生成結(jié)果，并且每個結(jié)果都帶有決策邏輯鏈。每個結(jié)果也會有未來出現(xiàn)的可能性。這樣我們就可以選擇未來出現(xiàn)可能性最大，最有邏輯的鏈條駕駛策略。

可以用一個形象的示例來解釋DriveGPT雪湖·海若的推理能力。假設(shè)提示模型要“抵達(dá)某個目標(biāo)點”，DriveGPT雪湖·海若會生成很多個可能的開法，有的激進(jìn)，會連續(xù)變道超車，快速抵達(dá)目標(biāo)點，有的穩(wěn)重，跟車行駛到終點。這時如果提示語里沒有其他額外指示，DriveGPT雪湖·海若就會按照反饋訓(xùn)練時的調(diào)優(yōu)效果，最終給到一個更符合大部分人駕駛偏好的效果。

02.

實現(xiàn)DriveGPT毫末做了什么？

首先，DriveGPT雪湖·海若的訓(xùn)練和落地，離不開算力的支持。

今年1月，毫末就和火山引擎共同發(fā)布了其自建智算中心，毫末雪湖·綠洲MANA OASIS。OASIS的算力高達(dá)67億億次/秒，存儲帶寬2T/秒，通信帶寬達(dá)到800G/秒。

當(dāng)然，光有算力還不夠，還需要訓(xùn)練和推理框架的支持。因此，毫末也做了以下三方面的升級。

一是訓(xùn)練穩(wěn)定性的保障和升級。

大模型訓(xùn)練是一個十分艱巨的任務(wù)，隨著數(shù)據(jù)規(guī)模、集群規(guī)模、訓(xùn)練時間的數(shù)量級增長，系統(tǒng)穩(wěn)定性方面微小的問題也會被無限放大，如果不加處理，訓(xùn)練任務(wù)就會經(jīng)常出錯導(dǎo)致非正常中斷，浪費(fèi)前期投入的大量資源。

毫末在大模型訓(xùn)練框架的基礎(chǔ)上，與火山引擎共同建立了全套訓(xùn)練保障框架，通過訓(xùn)練保障框架，毫末實現(xiàn)了異常任務(wù)分鐘級捕獲和恢復(fù)能力，可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)月沒有任何非正常中斷，有效地保障了DriveGPT雪湖·海若大模型訓(xùn)練的穩(wěn)定性。

二是彈性調(diào)度資源的升級。

毫末擁有量產(chǎn)車帶來的海量真實數(shù)據(jù)，可自動化的利用回傳數(shù)據(jù)不斷的學(xué)習(xí)真實世界。由于每天不同時段回傳的數(shù)據(jù)量差異巨大，需要訓(xùn)練平臺具備彈性調(diào)度能力，自適應(yīng)數(shù)據(jù)規(guī)模大小。

毫末將增量學(xué)習(xí)技術(shù)推廣到大模型訓(xùn)練，構(gòu)建了一個大模型持續(xù)學(xué)習(xí)系統(tǒng)，研發(fā)了任務(wù)級彈性伸縮調(diào)度器，分鐘級調(diào)度資源，集群計算資源利用率達(dá)到95%。

三是吞吐效率的升級。

在訓(xùn)練效率上，毫末在Transformer的大矩陣計算上，通過對內(nèi)外循環(huán)的數(shù)據(jù)拆分、盡量保持?jǐn)?shù)據(jù)在SRAM中來提升計算的效率。在傳統(tǒng)的訓(xùn)練框架中，算子流程很長，毫末通過引入火山引擎提供的Lego算之庫實現(xiàn)算子融合，使端到端吞吐提升84%。

有了算力和這三方面的升級，毫末可對DriveGPT雪湖·海若進(jìn)行更好的訓(xùn)練迭代升級。

03.

MANA大升級，攝像頭代替超聲波雷達(dá)

毫末在2021年12月的第四屆AI DAY上發(fā)布自動駕駛數(shù)據(jù)智能體系MANA，經(jīng)過一年多時間的應(yīng)用迭代，現(xiàn)在MANA迎來了全面的升級。

據(jù)顧維灝介紹，本次升級主要包括：

1.感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT。

2.計算基礎(chǔ)服務(wù)針對大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專項優(yōu)化，并集成到OASIS當(dāng)中。

3.增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù)，降低Corner Case數(shù)據(jù)的獲取成本。

4.針對多種芯片和多種車型的快速交付難題，優(yōu)化了異構(gòu)部署工具和車型適配工具。

前文我們已經(jīng)詳細(xì)介紹了DriveGPT相關(guān)的內(nèi)容，以下主要來看MANA在視覺感知上的進(jìn)展。

顧維灝表示，視覺感知任務(wù)的核心目的都是恢復(fù)真實世界的動靜態(tài)信息和紋理分布。因此毫末對視覺自監(jiān)督大模型做了一次架構(gòu)升級，將預(yù)測環(huán)境的三維結(jié)構(gòu)，速度場和紋理分布融合到一個訓(xùn)練目標(biāo)里面，使其能從容應(yīng)對各種具體任務(wù)。目前毫末視覺自監(jiān)督大模型的數(shù)據(jù)集超過400萬Clips，感知性能提升20%。

在泊車場景下，毫末做到了用魚眼相機(jī)純視覺測距達(dá)到泊車要求，可做到在15米范圍內(nèi)達(dá)測量精度30cm，2米內(nèi)精度高于10cm。用純視覺代替超聲波雷達(dá)，進(jìn)一步降低整體方案的成本。

此外，在純視覺三維重建方面，通過視覺自監(jiān)督大模型技術(shù)，毫末不依賴激光雷達(dá)，就能將收集的大量量產(chǎn)回傳視頻轉(zhuǎn)化為可用于BEV模型訓(xùn)練的帶3D標(biāo)注的真值數(shù)據(jù)。

通過對NeRF的升級，毫末表示可以做到重建誤差小于10

【本文來自易車號作者智駕網(wǎng)，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請聯(lián)系作者。內(nèi)容僅代表作者觀點，與易車無關(guān)】

以上就是關(guān)于GPT與無人駕駛相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會為您講解更多精彩的知識和內(nèi)容。