国产三级精品三级在线观看,国产高清无码在线观看,中文字幕日本人妻久久久免费,亚洲精品午夜无码电影网

自動駕駛汽車的發(fā)展和部署面臨一個嚴(yán)重的瓶頸，即在自然駕駛環(huán)境下驗證其安全性所需的經(jīng)濟(jì)和時間成本非常高，這是因為安全關(guān)鍵事件的發(fā)生非常罕見。換句話說，為了保證自動駕駛汽車的安全性能，需要大量的時間和經(jīng)濟(jì)資源，但卻很難在實際駕駛中遇到安全關(guān)鍵事件。

在此，來自美國密歇根大學(xué)的Henry X. Liu等研究者報告了一種智能測試環(huán)境的開發(fā)，其中基于人工智能的背景代理被訓(xùn)練用于加速模式驗證自動駕駛汽車的安全性能，同時不失公正性。相關(guān)論文以題為“Dense reinforcement learning for safety validation of autonomous vehicles”于2023年03月23日發(fā)表在Nature上。

與此同時，該篇文章登上了同期《Nature》的封面。

由于自動駕駛汽車（AV）技術(shù)的迅速發(fā)展，人們正處于一個規(guī)模之前自汽車問世以來未曾見過的交通革命的前夜。AV技術(shù)有潛力大幅提高交通安全性、流動性和可持續(xù)性，因此吸引了來自工業(yè)、政府機(jī)構(gòu)、專業(yè)組織和學(xué)術(shù)機(jī)構(gòu)的全球關(guān)注。

過去20年來，AV的發(fā)展取得了實質(zhì)性進(jìn)展，特別是隨著深度學(xué)習(xí)技術(shù)的出現(xiàn)。到2015年，幾家公司宣布將在2020年之前開始大規(guī)模生產(chǎn)AV。然而，到目前為止，現(xiàn)實并沒有達(dá)到這些期望，沒有4級AV是商業(yè)可用的。這其中的原因有很多，但最主要的是AV的安全性能仍然遠(yuǎn)遠(yuǎn)低于人類駕駛員。在自然駕駛環(huán)境下，美國平均司機(jī)發(fā)生車禍的概率約為每英里1.9×10^-6。

相比之下，目前最先進(jìn)的AV的故障率約為每英里2.0×10^-5。盡管故障率因其潛在的偏見性而受到批評，但它已經(jīng)被廣泛用于跟蹤AV安全性能的趨勢，因為這可能是公眾可用于比較不同AV的唯一統(tǒng)計數(shù)據(jù)。

提高AV安全性能的一個關(guān)鍵瓶頸是安全驗證的嚴(yán)重低效。目前的方法通常通過軟件模擬、封閉測試軌道和公路測試的組合來在自然駕駛環(huán)境下測試AV。然而，為了驗證AV的安全性能能夠達(dá)到人類駕駛員的水平，需要在自然駕駛環(huán)境中測試數(shù)億甚至數(shù)千億英里。

由于這種嚴(yán)重低效性，AV開發(fā)人員必須支付大量的經(jīng)濟(jì)和時間成本來評估每一項開發(fā)，這阻礙了AV部署的進(jìn)展。為了提高測試效率，許多方法會在有意生成的更加安全關(guān)鍵的場景中測試AV。然而，現(xiàn)有的基于場景的方法主要適用于具有有限背景道路用戶的短場景片段。

在自然駕駛環(huán)境下驗證AV的安全性能本質(zhì)上是一個高維稀有事件估計問題。主要挑戰(zhàn)來自于‘稀有性’和‘維度詛咒’的復(fù)合效應(yīng)（如圖1a所示）。通過‘維度詛咒’，研究者指的是駕駛環(huán)境可以是時空復(fù)雜的，而定義這些環(huán)境所需的變量是高維的。

隨著變量空間的體積隨著維度的增加呈指數(shù)級增長，計算復(fù)雜度也呈指數(shù)級增長。通過‘稀有性’，研究者指的是安全關(guān)鍵事件的發(fā)生概率很低，也就是說，變量空間的大多數(shù)點都不是安全關(guān)鍵的，這些點對訓(xùn)練沒有或者提供嘈雜的信息。在這種情況下，即使有大量的數(shù)據(jù)，深度學(xué)習(xí)模型也很難學(xué)習(xí)，因為安全關(guān)鍵事件的有價值信息（例如策略梯度）可能被大量的非安全關(guān)鍵數(shù)據(jù)掩蓋。

近幾十年來，人工智能系統(tǒng)在解決‘維度詛咒’問題方面取得了快速進(jìn)展，例如圍棋的狀態(tài)空間有10³⁶⁰種情況，半導(dǎo)體芯片設(shè)計的狀態(tài)空間可能達(dá)到10^2,500級別。然而，在本項工作之前，同時解決‘維度詛咒’和‘稀有性詛咒’的問題一直是一個懸而未決的問題，這妨礙了將人工智能技術(shù)應(yīng)用于安全關(guān)鍵系統(tǒng)（如AV、醫(yī)療機(jī)器人和航空航天系統(tǒng)）。

圖1 用密集學(xué)習(xí)方法驗證安全關(guān)鍵人工智能

在此，研究者通過開發(fā)一種密集深度強(qiáng)化學(xué)習(xí)（D2RL）方法來解決這一挑戰(zhàn)?；舅枷胧亲R別并刪除非安全關(guān)鍵數(shù)據(jù)，利用安全關(guān)鍵數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。由于只有很小一部分?jǐn)?shù)據(jù)是安全關(guān)鍵的，其余數(shù)據(jù)的信息將被大幅密集化。

本質(zhì)上，D2RL方法通過刪除非關(guān)鍵狀態(tài)并重新連接關(guān)鍵狀態(tài)來編輯馬爾可夫決策過程，然后僅為編輯后的馬爾可夫過程訓(xùn)練神經(jīng)網(wǎng)絡(luò)（如圖1b所示）。因此，對于任何訓(xùn)練episode，終點狀態(tài)的獎勵將沿著僅包含關(guān)鍵狀態(tài)的編輯過的馬爾可夫鏈進(jìn)行反向傳播（如圖1c所示）。

與DRL方法相比，D2RL方法可以在不失偏差的情況下，將策略梯度估計的方差顯著降低多個數(shù)量級，根據(jù)方法中的定理1證明，這種方差降低可以使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并完成DRL方法無法完成的任務(wù)。

對于AV測試，研究者利用D2RL方法，通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練背景車輛（BVs）學(xué)習(xí)何時執(zhí)行哪些對抗性機(jī)動，以提高測試效率并確保評估無偏。這導(dǎo)致了一個基于人工智能的對抗性測試環(huán)境，可以將AV所需的測試英里數(shù)減少多個數(shù)量級，同時確保測試無偏。

研究者的方法可以應(yīng)用于復(fù)雜的駕駛環(huán)境，包括多個高速公路、十字路口和環(huán)形交叉口，這是以前的基于場景方法無法實現(xiàn)的。所提出的方法賦予環(huán)境中的測試代理智能，創(chuàng)造了一個智能測試環(huán)境，即使用人工智能驗證人工智能。這是一個范式轉(zhuǎn)換，并為與其他安全關(guān)鍵系統(tǒng)的加速測試和培訓(xùn)打開了大門。

為了證明研究者基于人工智能的測試方法的有效性，研究者使用大規(guī)模自然駕駛數(shù)據(jù)集訓(xùn)練了BV，并在物理測試軌道上進(jìn)行了模擬實驗和現(xiàn)場實驗。

具體來說，研究者使用開源自動駕駛系統(tǒng)Autoware，在美國移動性中心（ACM）的4公里長的物理高速公路測試軌道和Mcity的城市測試軌道上測試了一個4級AV。為了安全而準(zhǔn)確地使用D2RL訓(xùn)練的測試環(huán)境測試AV，研究者開發(fā)了一個增強(qiáng)現(xiàn)實測試平臺，它結(jié)合了物理測試軌道和微觀交通模擬器SUMO（城市移動仿真）。

如圖1d所示，通過同步實際AV和虛擬BV的運動，物理測試軌道上的實際AV可以與虛擬BV互動，就像在一個真實的交通環(huán)境中一樣，BV被指示與實際AV互動。對于模擬和現(xiàn)場實驗，研究者評估了撞車率、撞車類型和撞車嚴(yán)重程度。

研究者的模擬和現(xiàn)場測試結(jié)果表明，D2RL方法可以有效地學(xué)習(xí)智能測試環(huán)境，相對于直接在自然駕駛環(huán)境下測試AV的結(jié)果，可以顯著地加速多個數(shù)量級的AV評估過程（速度提高了10³到10⁵倍），而且沒有偏差。

圖2 D2RL 與 DRL 的角格生成實例比較

圖3 基于 D2RL 的智能測試環(huán)境性能評估

圖4 在物理測試軌道上進(jìn)行的實際 AV 測試實驗

綜上所述，研究結(jié)果證明了使用D2RL技術(shù)驗證AV的行為能力的安全性能。D2RL可以加速測試過程，并可用于模擬測試和測試軌道方法。它可以顯著增強(qiáng)現(xiàn)有的測試方法（如證偽方法、基于場景的方法和NDE方法），以克服它們在實際應(yīng)用中的局限性。D2RL還為利用人工智能技術(shù)驗證其他安全關(guān)鍵自主系統(tǒng)（如醫(yī)療機(jī)器人和航空航天系統(tǒng)）的機(jī)器智能打開了大門。

理想情況下，測試環(huán)境應(yīng)考慮AV的所有操作條件及其相關(guān)的罕見事件。例如，一個六層模型已被開發(fā)來結(jié)構(gòu)化場景的參數(shù)，包括道路幾何形狀、道路家具和規(guī)則、時間修改和事件、移動物體、環(huán)境條件和數(shù)字信息。

在本研究中，研究者主要關(guān)注兩個層面：移動物體和道路幾何形狀，即多個周圍車輛在不同幾何形狀的道路上進(jìn)行機(jī)動，這對于測試環(huán)境至關(guān)重要。研究者的方法可以擴(kuò)展到包括來自其他層面的參數(shù)，例如天氣條件，通過收集大規(guī)模的自然駕駛數(shù)據(jù)并利用這些領(lǐng)域的專業(yè)知識。

文獻(xiàn)信息

Feng, S., Sun, H., Yan, X.?et al.?Dense reinforcement learning for safety validation of autonomous vehicles.?Nature?615, 620–627 (2023). https://doi.org/10.1038/s41586-023-05732-2

原文鏈接：

https://www.nature.com/articles/s41586-023-05732-2?

原創(chuàng)文章，作者：菜菜歐尼醬，如若轉(zhuǎn)載，請注明來源華算科技，注明出處：http://www.xiubac.cn/index.php/2024/01/23/07295e369f/

国产三级精品三级在线观看,国产高清无码在线观看,中文字幕日本人妻久久久免费,亚洲精品午夜无码电影网

登上Nature封面的自動駕駛，這次有“人工智能”保駕護(hù)航！

相關(guān)推薦

登上Nature封面的自動駕駛，這次有“人工智能”保駕護(hù)航！