自動駕駛超全的公開課合集?|?從感知到定位建圖，再到規(guī)控與就業(yè)！
[導(dǎo)讀]無人駕駛近幾年在人們的視野中出現(xiàn)地越來越頻繁，并且隨著計(jì)算機(jī)科學(xué)、智能控制技術(shù)的發(fā)展，研究者和企業(yè)對無人駕駛的探索更加深刻。特斯拉、Waymo、蔚來、百度，國內(nèi)外企業(yè)大筆投入資金，推動了自動駕駛的發(fā)展進(jìn)程。自動駕駛是智能交通的必然趨勢，行業(yè)求職者也越來越多，深藍(lán)學(xué)院整理了20節(jié)自...
無人駕駛近幾年在人們的視野中出現(xiàn)地越來越頻繁，并且隨著計(jì)算機(jī)科學(xué)、智能控制技術(shù)的發(fā)展，研究者和企業(yè)對無人駕駛的探索更加深刻。特斯拉、Waymo、蔚來、百度，國內(nèi)外企業(yè)大筆投入資金，推動了自動駕駛的發(fā)展進(jìn)程。自動駕駛是智能交通的必然趨勢，行業(yè)求職者也越來越多，深藍(lán)學(xué)院整理了20節(jié)自動駕駛公開課合集，包括感知、定位建圖、規(guī)控以及就業(yè)等四個部分。
1
感知
1.無人駕駛中感知的挑戰(zhàn)與嘗試講師：鄒曉藝元戎啟行點(diǎn)云感知方向技術(shù)負(fù)責(zé)人畢業(yè)于華南理工大學(xué)，曾就職于百度自動駕駛事業(yè)部，目前負(fù)責(zé)自動駕駛感知模塊的算法研發(fā)。在自動駕駛中，感知系統(tǒng)相當(dāng)于自動駕駛汽車的眼睛，需要理解整個場景，包括檢測自動駕駛汽車周圍環(huán)境中的障礙物，同時需要對這些障礙物進(jìn)行跟蹤獲得速度和預(yù)測其在未來一定時間內(nèi)的軌跡。由于無人駕駛場景的復(fù)雜性和多樣性，對感知系統(tǒng)提出了非常高的挑戰(zhàn)。本次公開課重點(diǎn)介紹下感知基本的模塊和典型方法，同時分享一些實(shí)際路測場景中遇到的問題和一些思考。2.自動駕駛感知算法簡介講師：王弢小鵬汽車自動駕駛北美視覺感知負(fù)責(zé)人，原Drive.ai聯(lián)合創(chuàng)始人。畢業(yè)于斯坦福大學(xué)，目前主攻深度學(xué)習(xí)在自動駕駛領(lǐng)域的應(yīng)用。環(huán)境感知是自動駕駛的核心技術(shù)之一，由于環(huán)境的復(fù)雜多變，自動駕駛的感知面臨諸多挑戰(zhàn)。通常來說，量產(chǎn)的環(huán)境感知方案需要滿足準(zhǔn)確、完備、實(shí)時、經(jīng)濟(jì)等特性。? ??本次公開課將重點(diǎn)講解視覺感知算法的發(fā)展歷程以及發(fā)展趨勢，同時介紹量產(chǎn)的感知算法開發(fā)流程。3.自動駕駛感知前沿技術(shù)介紹講師：周寅Waymo研發(fā)經(jīng)理、特拉華大學(xué)博士
為了讓無人車自己思考，我們要先教會它如何理解周圍的世界。伴隨著深度學(xué)習(xí)的崛起和算力的提升，這些年環(huán)境感知性能得到了長足的進(jìn)步。本次公開課將圍繞scalability，重點(diǎn)介紹環(huán)境感知中的熱點(diǎn)研究方向和前沿技術(shù)動態(tài)。通過這節(jié)課，學(xué)員將對自動駕駛系統(tǒng)架構(gòu)有一個整體的理解，并且對感知系統(tǒng)的核心問題以及前沿動態(tài)有比較深入的認(rèn)識。4.自動駕駛純視覺3D物體檢測算法講師：王巖康奈爾大學(xué)博士
本次課程將針對自動駕駛場景，詳細(xì)介紹以相機(jī)為主的純視覺3D物體檢測算法，剖析以特斯拉為代表的使用純視覺的物體檢測方案的優(yōu)勢和劣勢。通過本次課程，你將學(xué)習(xí)如何用深度學(xué)習(xí)進(jìn)行深度估計(jì)、3D物體檢測，同時了解純視覺3D物體檢測存在的挑戰(zhàn)。5.3D物體檢測的發(fā)展與未來講師：祁芮中臺Waymo高級研究科學(xué)家、斯坦福大學(xué)博士、清華大學(xué)本科
3D物體檢測在增強(qiáng)現(xiàn)實(shí)、機(jī)器人與自動駕駛中都有著普遍的應(yīng)用。隨著業(yè)界需求的增加與深度學(xué)習(xí)的出現(xiàn)，相關(guān)的算法在近幾年有了長足的進(jìn)步。本次公開課將從技術(shù)發(fā)展的角度，介紹幾種經(jīng)典的3D物體檢測算法以及它們之間的聯(lián)系，并延伸討論目前方法的局限性和未來的研究方向。通過這節(jié)課，學(xué)員將能對3D物體檢測算法有一個全局的認(rèn)識，并且能了解潛在的研究機(jī)會。6.移動機(jī)器人視覺三維感知的現(xiàn)在與將來講師：王凱旋香港科技大學(xué)UAV group博士
相比于其他傳感器，相機(jī)能提供豐富的場景信息，同時在尺寸、重量、功耗及成本上有著巨大的優(yōu)勢，因此被廣泛應(yīng)用于移動機(jī)器人領(lǐng)域。在這個技術(shù)分享會上，我將介紹基于視覺的三維環(huán)境感知方案，即通過圖像序列對環(huán)境的三維結(jié)構(gòu)進(jìn)行估計(jì)和重建；將介紹基于多視角幾何的方案以及當(dāng)前基于深度學(xué)習(xí)的方案。這些方案被成功地應(yīng)用于無人機(jī)的自主飛行中。隨著技術(shù)的發(fā)展，我們也發(fā)現(xiàn)一些其他的場景表示方案， 我們將探討這些方案將會如何影響未來的實(shí)時三維場景重建技術(shù)。7.基于點(diǎn)云場景的三維物體檢測算法及應(yīng)用講師：史少帥香港中文大學(xué)多媒體實(shí)驗(yàn)室博士生，研究方向?yàn)橛?jì)算機(jī)視覺與深度學(xué)習(xí)，專注于深度學(xué)習(xí)在三維場景理解上的應(yīng)用。
3D object detection has been receiving increasing attention from both industry and academia thanks to its wide applications in various fields such as autonomous driving and robotics. In this tutorial we will first introduce the basic concepts of 3D object detection from point clouds, and then we will focus on three recent works to learn various deep learning methods about point-cloud-based 3D object detection.??8.基于三維點(diǎn)云場景的語義及實(shí)例分割講師：楊波牛津大學(xué)計(jì)算機(jī)系在讀博士，研究方向?yàn)橛?jì)算機(jī)視覺與深度學(xué)習(xí)。
講師：胡慶擁牛津大學(xué)計(jì)算機(jī)系在讀博士，國防科技大學(xué)碩士，研究方向?yàn)?D視覺、機(jī)器人、機(jī)器學(xué)習(xí)。
Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as autonomous driving, virtual reality, and robotics. In this tutorial, we will first give a brief introduction to the task of point cloud segmentation, as well as several milestones works in this area. Then, we will focus on two recent works from our group, including RandLA-Net, which is an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds, and 3D-BoNet, which is a novel, conceptually simple and general framework for instance segmentation on 3D point clouds.9.深度學(xué)習(xí)在點(diǎn)云識別中的應(yīng)用講師：劉永成中科院自動化所在讀博士，研究興趣包括3D點(diǎn)云處理、圖像分割、多標(biāo)簽圖像分類等。
講師：李瑞輝
香港中文大學(xué)計(jì)算機(jī)系在讀博士，主要研究方向?yàn)槿S點(diǎn)云處理，三維重建等。
Part I1. 背景簡介：3D表示及分析方法；點(diǎn)云識別面臨的挑戰(zhàn)2. 相關(guān)工作：規(guī)則化處理；PointNet系列；圖卷積方法；卷積核設(shè)計(jì)3. 一些探索：Relation-Shape CNN （CVPR 2019）；DensePoint （ICCV 2019）4. 總結(jié)展望Part II1. 背景介紹: 數(shù)據(jù)增廣 (Data Augment)，以及2D圖像中的AutoAugment的工作；2. 初次探索: AutoAugment 在3D點(diǎn)云分類中的應(yīng)用：PointAugment（CVPR 2020 Oral)10.點(diǎn)云上的卷積神經(jīng)網(wǎng)絡(luò)及其部分應(yīng)用講師：李伏欣美國俄勒岡州立大學(xué)助理教授，2009年獲中科院自動化研究所工學(xué)博士學(xué)位。
Convolutional Neural Networks (CNNs) have led to a revolution in the recognition of raster images. However, many data, especially 3D data, come naturally in the form of point clouds where raster-based convolution operations are not readily available to be used. In this tutorial we will discuss several recent work that make it possible to build a convolutional network or similar operations on point clouds.
2
定位建圖
1.視覺SLAM基礎(chǔ)講師：高翔慕尼黑工業(yè)大學(xué)博士后、清華大學(xué)自動化系博士
Lecture 1.三維幾何基礎(chǔ)知識介紹1).SLAM的定義、基礎(chǔ)框架與數(shù)學(xué)表達(dá)形式2).三維幾何學(xué)基礎(chǔ)知識3).狀態(tài)估計(jì)、非線性優(yōu)化與最小二乘的原理4).李群與李代數(shù)Lecture 2.SLAM前端與后端原理介紹1).特征點(diǎn)法的視覺里程計(jì)2).光流法的視覺里程計(jì)3).增量式優(yōu)化、批量式優(yōu)化與位姿圖2.語義信息增強(qiáng)的激光雷達(dá)SLAM講師：陳謝沅澧德國波恩大學(xué)博士生，師從Cyrill Stachniss教授，RoboCup機(jī)器人世界杯救援機(jī)器人組技術(shù)委員會成員。準(zhǔn)確可靠的定位與建圖是大多數(shù)移動機(jī)器人以及無人車系統(tǒng)的關(guān)鍵組成部分。激光雷達(dá)傳感器憑借其高精度以及對光照變化十分魯棒等優(yōu)點(diǎn)，目前被廣泛應(yīng)用于SLAM問題中。近年來，隨著深度學(xué)習(xí)的發(fā)展，語義信息在機(jī)器人定位與建圖中的起到了越來越重要的作用。語義信息包含對環(huán)境更高層級的理解，可以為SLAM提供更可靠的數(shù)據(jù)關(guān)聯(lián)，幫助SLAM在現(xiàn)實(shí)復(fù)雜地動態(tài)環(huán)境中更加魯棒地進(jìn)行運(yùn)動估計(jì)，從而實(shí)現(xiàn)更高精度地定位與建圖。同時，語義信息還可以幫助SLAM進(jìn)行更可靠的地點(diǎn)識別以及閉環(huán)檢測。3.深度學(xué)習(xí)與視覺SLAM講師：楊楠慕尼黑工業(yè)大學(xué)博士生，師從Daniel Cremers教授，主要研究方向?yàn)橐曈XSLAM及其與深度學(xué)習(xí)的融合。
在視覺SLAM領(lǐng)域，近年來以深度學(xué)習(xí)技術(shù)為代表的層次化圖像特征提取方法，并成功應(yīng)用于SLAM幀間估計(jì)和閉環(huán)檢測。深度學(xué)習(xí)算法是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域主流的識別算法，其依賴多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的層次化特征表示，與傳統(tǒng)識別方法相比，可以實(shí)現(xiàn)更高的識別準(zhǔn)確率。同時，深度學(xué)習(xí)還可以將圖像與語義進(jìn)行關(guān)聯(lián)，與SLAM技術(shù)結(jié)合生成環(huán)境的語義地圖，構(gòu)建環(huán)境的語義知識庫，供機(jī)器人進(jìn)行認(rèn)知與任務(wù)推理，提高機(jī)器人服務(wù)能力和人機(jī)交互的智能性。4.視覺SLAM開源代碼論文帶讀（ORB_SLAM2）講師：劉國慶ORB_SLAM2：視覺SLAM領(lǐng)域中特征點(diǎn)法的代表作，也是首個同時適用于單目、雙目和RGB-D相機(jī)的開源SLAM方案。代碼主要分為三個線程：前端實(shí)時定位跟蹤、后端優(yōu)化建圖與回環(huán)檢測。整套代碼幾乎涉及到了視覺SLAM系統(tǒng)的方方面面：從單目系統(tǒng)初始化、特征提取匹配，到LocalBA、GlobalBA的優(yōu)化設(shè)計(jì)，到關(guān)鍵幀的選取、地圖的復(fù)用，以及諸多巧妙設(shè)計(jì)的工程技巧等等。代碼結(jié)構(gòu)較為清晰，稱得上是最適合新手學(xué)習(xí)的第一套VSLAM代碼。5.因子圖的理論基礎(chǔ)與在機(jī)器人中的應(yīng)用講師：董靖佐治亞理工學(xué)院計(jì)算機(jī)博士，主要研究方向包括機(jī)器人學(xué)、機(jī)器人領(lǐng)域相關(guān)的感知問題。近十幾年來，作為一種概率圖模型，因子圖在機(jī)器人領(lǐng)域（特別是SLAM問題）中得到廣泛的應(yīng)用。在大規(guī)模SLAM問題上，因子圖與傳統(tǒng)卡爾曼濾波相比，具有速度快、精度高等優(yōu)點(diǎn)。在本次講座中，我們將初步了解因子圖模型以及因子圖在機(jī)器人學(xué)中的應(yīng)用。
3
規(guī)控
1.量產(chǎn)自動駕駛中的規(guī)劃控制現(xiàn)狀講師：肖志光小鵬汽車創(chuàng)始團(tuán)隊(duì)成員
小鵬汽車自動駕駛產(chǎn)品開發(fā)高級總監(jiān)小鵬XPILOT2.0輔助駕駛系統(tǒng)量產(chǎn)主導(dǎo)者規(guī)劃控制是自動駕駛核心技術(shù)之一，主要解決車在路上如何行駛的問題，需要綜合考慮行駛過程中的碰撞安全、交通規(guī)則、駕乘舒適性、節(jié)能高效等特性。本次公開課重點(diǎn)介紹自動駕駛中規(guī)劃控制的主要功能，并分享量產(chǎn)自動駕駛研發(fā)中的實(shí)際難點(diǎn)及解決思路。2.視覺導(dǎo)航：從狀態(tài)估計(jì)到運(yùn)動規(guī)劃講師：張子潮蘇黎世大學(xué)Robotics and Perception Group博士生，導(dǎo)師為Davide Scaramuzza教授。主要研究方向?yàn)橐曈XSLAM及其在移動機(jī)器人導(dǎo)航中的應(yīng)用。
1).基于視覺的狀態(tài)估計(jì)1.1)視覺SLAM簡介1.2) 移動機(jī)器人視覺SLAM算法的特點(diǎn)2).考慮感知約束的運(yùn)動規(guī)劃2.1) 理論工具:Fisher Information2.2) 基于Fisher Information的運(yùn)動規(guī)劃和地圖表示3).總結(jié)與展望3.視覺狀態(tài)估計(jì)及其在無人系統(tǒng)中的應(yīng)用講師：宋宇縱目科技無人駕駛事業(yè)部首席科學(xué)家，北京交通大學(xué)自動化系副教授。
感知、狀態(tài)估計(jì)、規(guī)劃、控制是機(jī)器人自主移動的核心要素，其中，狀態(tài)估計(jì)處于技術(shù)體系的核心位置。該報(bào)告將首先為大家梳理典型視覺（
1
感知
1.無人駕駛中感知的挑戰(zhàn)與嘗試講師：鄒曉藝元戎啟行點(diǎn)云感知方向技術(shù)負(fù)責(zé)人畢業(yè)于華南理工大學(xué)，曾就職于百度自動駕駛事業(yè)部，目前負(fù)責(zé)自動駕駛感知模塊的算法研發(fā)。在自動駕駛中，感知系統(tǒng)相當(dāng)于自動駕駛汽車的眼睛，需要理解整個場景，包括檢測自動駕駛汽車周圍環(huán)境中的障礙物，同時需要對這些障礙物進(jìn)行跟蹤獲得速度和預(yù)測其在未來一定時間內(nèi)的軌跡。由于無人駕駛場景的復(fù)雜性和多樣性，對感知系統(tǒng)提出了非常高的挑戰(zhàn)。本次公開課重點(diǎn)介紹下感知基本的模塊和典型方法，同時分享一些實(shí)際路測場景中遇到的問題和一些思考。2.自動駕駛感知算法簡介講師：王弢小鵬汽車自動駕駛北美視覺感知負(fù)責(zé)人，原Drive.ai聯(lián)合創(chuàng)始人。畢業(yè)于斯坦福大學(xué)，目前主攻深度學(xué)習(xí)在自動駕駛領(lǐng)域的應(yīng)用。環(huán)境感知是自動駕駛的核心技術(shù)之一，由于環(huán)境的復(fù)雜多變，自動駕駛的感知面臨諸多挑戰(zhàn)。通常來說，量產(chǎn)的環(huán)境感知方案需要滿足準(zhǔn)確、完備、實(shí)時、經(jīng)濟(jì)等特性。? ??本次公開課將重點(diǎn)講解視覺感知算法的發(fā)展歷程以及發(fā)展趨勢，同時介紹量產(chǎn)的感知算法開發(fā)流程。3.自動駕駛感知前沿技術(shù)介紹講師：周寅Waymo研發(fā)經(jīng)理、特拉華大學(xué)博士
為了讓無人車自己思考，我們要先教會它如何理解周圍的世界。伴隨著深度學(xué)習(xí)的崛起和算力的提升，這些年環(huán)境感知性能得到了長足的進(jìn)步。本次公開課將圍繞scalability，重點(diǎn)介紹環(huán)境感知中的熱點(diǎn)研究方向和前沿技術(shù)動態(tài)。通過這節(jié)課，學(xué)員將對自動駕駛系統(tǒng)架構(gòu)有一個整體的理解，并且對感知系統(tǒng)的核心問題以及前沿動態(tài)有比較深入的認(rèn)識。4.自動駕駛純視覺3D物體檢測算法講師：王巖康奈爾大學(xué)博士
本次課程將針對自動駕駛場景，詳細(xì)介紹以相機(jī)為主的純視覺3D物體檢測算法，剖析以特斯拉為代表的使用純視覺的物體檢測方案的優(yōu)勢和劣勢。通過本次課程，你將學(xué)習(xí)如何用深度學(xué)習(xí)進(jìn)行深度估計(jì)、3D物體檢測，同時了解純視覺3D物體檢測存在的挑戰(zhàn)。5.3D物體檢測的發(fā)展與未來講師：祁芮中臺Waymo高級研究科學(xué)家、斯坦福大學(xué)博士、清華大學(xué)本科
3D物體檢測在增強(qiáng)現(xiàn)實(shí)、機(jī)器人與自動駕駛中都有著普遍的應(yīng)用。隨著業(yè)界需求的增加與深度學(xué)習(xí)的出現(xiàn)，相關(guān)的算法在近幾年有了長足的進(jìn)步。本次公開課將從技術(shù)發(fā)展的角度，介紹幾種經(jīng)典的3D物體檢測算法以及它們之間的聯(lián)系，并延伸討論目前方法的局限性和未來的研究方向。通過這節(jié)課，學(xué)員將能對3D物體檢測算法有一個全局的認(rèn)識，并且能了解潛在的研究機(jī)會。6.移動機(jī)器人視覺三維感知的現(xiàn)在與將來講師：王凱旋香港科技大學(xué)UAV group博士
相比于其他傳感器，相機(jī)能提供豐富的場景信息，同時在尺寸、重量、功耗及成本上有著巨大的優(yōu)勢，因此被廣泛應(yīng)用于移動機(jī)器人領(lǐng)域。在這個技術(shù)分享會上，我將介紹基于視覺的三維環(huán)境感知方案，即通過圖像序列對環(huán)境的三維結(jié)構(gòu)進(jìn)行估計(jì)和重建；將介紹基于多視角幾何的方案以及當(dāng)前基于深度學(xué)習(xí)的方案。這些方案被成功地應(yīng)用于無人機(jī)的自主飛行中。隨著技術(shù)的發(fā)展，我們也發(fā)現(xiàn)一些其他的場景表示方案， 我們將探討這些方案將會如何影響未來的實(shí)時三維場景重建技術(shù)。7.基于點(diǎn)云場景的三維物體檢測算法及應(yīng)用講師：史少帥香港中文大學(xué)多媒體實(shí)驗(yàn)室博士生，研究方向?yàn)橛?jì)算機(jī)視覺與深度學(xué)習(xí)，專注于深度學(xué)習(xí)在三維場景理解上的應(yīng)用。
3D object detection has been receiving increasing attention from both industry and academia thanks to its wide applications in various fields such as autonomous driving and robotics. In this tutorial we will first introduce the basic concepts of 3D object detection from point clouds, and then we will focus on three recent works to learn various deep learning methods about point-cloud-based 3D object detection.??8.基于三維點(diǎn)云場景的語義及實(shí)例分割講師：楊波牛津大學(xué)計(jì)算機(jī)系在讀博士，研究方向?yàn)橛?jì)算機(jī)視覺與深度學(xué)習(xí)。
講師：胡慶擁牛津大學(xué)計(jì)算機(jī)系在讀博士，國防科技大學(xué)碩士，研究方向?yàn)?D視覺、機(jī)器人、機(jī)器學(xué)習(xí)。
Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as autonomous driving, virtual reality, and robotics. In this tutorial, we will first give a brief introduction to the task of point cloud segmentation, as well as several milestones works in this area. Then, we will focus on two recent works from our group, including RandLA-Net, which is an efficient and lightweight neural architecture to directly infer per-point semantics for large-scale point clouds, and 3D-BoNet, which is a novel, conceptually simple and general framework for instance segmentation on 3D point clouds.9.深度學(xué)習(xí)在點(diǎn)云識別中的應(yīng)用講師：劉永成中科院自動化所在讀博士，研究興趣包括3D點(diǎn)云處理、圖像分割、多標(biāo)簽圖像分類等。
講師：李瑞輝
香港中文大學(xué)計(jì)算機(jī)系在讀博士，主要研究方向?yàn)槿S點(diǎn)云處理，三維重建等。
Part I1. 背景簡介：3D表示及分析方法；點(diǎn)云識別面臨的挑戰(zhàn)2. 相關(guān)工作：規(guī)則化處理；PointNet系列；圖卷積方法；卷積核設(shè)計(jì)3. 一些探索：Relation-Shape CNN （CVPR 2019）；DensePoint （ICCV 2019）4. 總結(jié)展望Part II1. 背景介紹: 數(shù)據(jù)增廣 (Data Augment)，以及2D圖像中的AutoAugment的工作；2. 初次探索: AutoAugment 在3D點(diǎn)云分類中的應(yīng)用：PointAugment（CVPR 2020 Oral)10.點(diǎn)云上的卷積神經(jīng)網(wǎng)絡(luò)及其部分應(yīng)用講師：李伏欣美國俄勒岡州立大學(xué)助理教授，2009年獲中科院自動化研究所工學(xué)博士學(xué)位。
Convolutional Neural Networks (CNNs) have led to a revolution in the recognition of raster images. However, many data, especially 3D data, come naturally in the form of point clouds where raster-based convolution operations are not readily available to be used. In this tutorial we will discuss several recent work that make it possible to build a convolutional network or similar operations on point clouds.
2
定位建圖
1.視覺SLAM基礎(chǔ)講師：高翔慕尼黑工業(yè)大學(xué)博士后、清華大學(xué)自動化系博士
Lecture 1.三維幾何基礎(chǔ)知識介紹1).SLAM的定義、基礎(chǔ)框架與數(shù)學(xué)表達(dá)形式2).三維幾何學(xué)基礎(chǔ)知識3).狀態(tài)估計(jì)、非線性優(yōu)化與最小二乘的原理4).李群與李代數(shù)Lecture 2.SLAM前端與后端原理介紹1).特征點(diǎn)法的視覺里程計(jì)2).光流法的視覺里程計(jì)3).增量式優(yōu)化、批量式優(yōu)化與位姿圖2.語義信息增強(qiáng)的激光雷達(dá)SLAM講師：陳謝沅澧德國波恩大學(xué)博士生，師從Cyrill Stachniss教授，RoboCup機(jī)器人世界杯救援機(jī)器人組技術(shù)委員會成員。準(zhǔn)確可靠的定位與建圖是大多數(shù)移動機(jī)器人以及無人車系統(tǒng)的關(guān)鍵組成部分。激光雷達(dá)傳感器憑借其高精度以及對光照變化十分魯棒等優(yōu)點(diǎn)，目前被廣泛應(yīng)用于SLAM問題中。近年來，隨著深度學(xué)習(xí)的發(fā)展，語義信息在機(jī)器人定位與建圖中的起到了越來越重要的作用。語義信息包含對環(huán)境更高層級的理解，可以為SLAM提供更可靠的數(shù)據(jù)關(guān)聯(lián)，幫助SLAM在現(xiàn)實(shí)復(fù)雜地動態(tài)環(huán)境中更加魯棒地進(jìn)行運(yùn)動估計(jì)，從而實(shí)現(xiàn)更高精度地定位與建圖。同時，語義信息還可以幫助SLAM進(jìn)行更可靠的地點(diǎn)識別以及閉環(huán)檢測。3.深度學(xué)習(xí)與視覺SLAM講師：楊楠慕尼黑工業(yè)大學(xué)博士生，師從Daniel Cremers教授，主要研究方向?yàn)橐曈XSLAM及其與深度學(xué)習(xí)的融合。
在視覺SLAM領(lǐng)域，近年來以深度學(xué)習(xí)技術(shù)為代表的層次化圖像特征提取方法，并成功應(yīng)用于SLAM幀間估計(jì)和閉環(huán)檢測。深度學(xué)習(xí)算法是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域主流的識別算法，其依賴多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的層次化特征表示，與傳統(tǒng)識別方法相比，可以實(shí)現(xiàn)更高的識別準(zhǔn)確率。同時，深度學(xué)習(xí)還可以將圖像與語義進(jìn)行關(guān)聯(lián)，與SLAM技術(shù)結(jié)合生成環(huán)境的語義地圖，構(gòu)建環(huán)境的語義知識庫，供機(jī)器人進(jìn)行認(rèn)知與任務(wù)推理，提高機(jī)器人服務(wù)能力和人機(jī)交互的智能性。4.視覺SLAM開源代碼論文帶讀（ORB_SLAM2）講師：劉國慶ORB_SLAM2：視覺SLAM領(lǐng)域中特征點(diǎn)法的代表作，也是首個同時適用于單目、雙目和RGB-D相機(jī)的開源SLAM方案。代碼主要分為三個線程：前端實(shí)時定位跟蹤、后端優(yōu)化建圖與回環(huán)檢測。整套代碼幾乎涉及到了視覺SLAM系統(tǒng)的方方面面：從單目系統(tǒng)初始化、特征提取匹配，到LocalBA、GlobalBA的優(yōu)化設(shè)計(jì)，到關(guān)鍵幀的選取、地圖的復(fù)用，以及諸多巧妙設(shè)計(jì)的工程技巧等等。代碼結(jié)構(gòu)較為清晰，稱得上是最適合新手學(xué)習(xí)的第一套VSLAM代碼。5.因子圖的理論基礎(chǔ)與在機(jī)器人中的應(yīng)用講師：董靖佐治亞理工學(xué)院計(jì)算機(jī)博士，主要研究方向包括機(jī)器人學(xué)、機(jī)器人領(lǐng)域相關(guān)的感知問題。近十幾年來，作為一種概率圖模型，因子圖在機(jī)器人領(lǐng)域（特別是SLAM問題）中得到廣泛的應(yīng)用。在大規(guī)模SLAM問題上，因子圖與傳統(tǒng)卡爾曼濾波相比，具有速度快、精度高等優(yōu)點(diǎn)。在本次講座中，我們將初步了解因子圖模型以及因子圖在機(jī)器人學(xué)中的應(yīng)用。
3
規(guī)控
1.量產(chǎn)自動駕駛中的規(guī)劃控制現(xiàn)狀講師：肖志光小鵬汽車創(chuàng)始團(tuán)隊(duì)成員
小鵬汽車自動駕駛產(chǎn)品開發(fā)高級總監(jiān)小鵬XPILOT2.0輔助駕駛系統(tǒng)量產(chǎn)主導(dǎo)者規(guī)劃控制是自動駕駛核心技術(shù)之一，主要解決車在路上如何行駛的問題，需要綜合考慮行駛過程中的碰撞安全、交通規(guī)則、駕乘舒適性、節(jié)能高效等特性。本次公開課重點(diǎn)介紹自動駕駛中規(guī)劃控制的主要功能，并分享量產(chǎn)自動駕駛研發(fā)中的實(shí)際難點(diǎn)及解決思路。2.視覺導(dǎo)航：從狀態(tài)估計(jì)到運(yùn)動規(guī)劃講師：張子潮蘇黎世大學(xué)Robotics and Perception Group博士生，導(dǎo)師為Davide Scaramuzza教授。主要研究方向?yàn)橐曈XSLAM及其在移動機(jī)器人導(dǎo)航中的應(yīng)用。
1).基于視覺的狀態(tài)估計(jì)1.1)視覺SLAM簡介1.2) 移動機(jī)器人視覺SLAM算法的特點(diǎn)2).考慮感知約束的運(yùn)動規(guī)劃2.1) 理論工具:Fisher Information2.2) 基于Fisher Information的運(yùn)動規(guī)劃和地圖表示3).總結(jié)與展望3.視覺狀態(tài)估計(jì)及其在無人系統(tǒng)中的應(yīng)用講師：宋宇縱目科技無人駕駛事業(yè)部首席科學(xué)家，北京交通大學(xué)自動化系副教授。
感知、狀態(tài)估計(jì)、規(guī)劃、控制是機(jī)器人自主移動的核心要素，其中，狀態(tài)估計(jì)處于技術(shù)體系的核心位置。該報(bào)告將首先為大家梳理典型視覺（
下載文檔
