今年的ICML機(jī)器學(xué)習(xí)國(guó)際會(huì)議要來(lái)了!

北京時(shí)間7月19日,由百度主辦的ICML 2021 Expo也將正式召開(kāi),這也是本次由國(guó)內(nèi)企業(yè)申請(qǐng)主辦的唯一一個(gè)Expo。

在本次Expo上,來(lái)自百度的科研人員將介紹百度基于飛槳在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音、量子計(jì)算等多個(gè)技術(shù)領(lǐng)域的最新進(jìn)展和產(chǎn)業(yè)實(shí)踐積累,包含十個(gè)主題演講。

百度飛槳亮相ICML展現(xiàn)多面AI技術(shù)實(shí)力

ICML機(jī)器學(xué)習(xí)國(guó)際會(huì)議作為國(guó)際機(jī)器學(xué)習(xí)學(xué)會(huì)IMLS主辦的年度機(jī)器學(xué)習(xí)國(guó)際頂級(jí)會(huì)議,是國(guó)際機(jī)器學(xué)習(xí)領(lǐng)域探討前沿科技成果和技術(shù)實(shí)踐應(yīng)用的重要舞臺(tái)。

此次百度舉辦的Expo將從多個(gè)角度、全面展示飛槳在深度學(xué)習(xí)領(lǐng)域強(qiáng)大的技術(shù)優(yōu)勢(shì)和深厚的產(chǎn)業(yè)實(shí)踐積累。

飛槳PaddlePaddle作為我國(guó)首個(gè)自主研發(fā)、功能豐富、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái),目前已經(jīng)凝聚了320萬(wàn)開(kāi)發(fā)者、服務(wù)企事業(yè)單位12萬(wàn)家,涵蓋工業(yè)、能源、金融、醫(yī)療、農(nóng)業(yè)、城市管理等多個(gè)領(lǐng)域。

不久前,飛槳開(kāi)源框架正式升級(jí)到2.1版本,對(duì)自動(dòng)混合精度、動(dòng)態(tài)圖、高層API等進(jìn)行了優(yōu)化,在模型套件方面文心ERNIE全新開(kāi)源發(fā)布四大預(yù)訓(xùn)練模型,部署和硬件生態(tài)方面也持續(xù)拓展。

十大主題演講干貨十足期待碰撞技術(shù)火花

技術(shù)的發(fā)展離不開(kāi)研究者潛心鉆研,更需要相互交流碰撞靈感火花。本次百度舉辦的ICML 2021 Expo包含十個(gè)主題演講,期待與全球AI頂尖人才展開(kāi)廣泛交流與學(xué)習(xí),分享和探討百度飛槳最新技術(shù)成果與應(yīng)用心得。

以下為主題演講介紹:

PaddleCV: Rich and Practical CV Models from Industrial Practice

主題一:PaddleCV:工業(yè)實(shí)踐中豐富實(shí)用的CV模型

為了滿足企業(yè)低成本開(kāi)發(fā)和快速集成的需求,飛槳重點(diǎn)建設(shè)了大規(guī)模的官方模型庫(kù),包含經(jīng)過(guò)產(chǎn)業(yè)實(shí)踐長(zhǎng)期打磨的主流模型以及在國(guó)際競(jìng)賽中的奪冠模型。百度資深算法工程師將為大家?guī)?lái)飛槳視覺(jué)模型庫(kù)PaddleCV的技術(shù)分享。PaddleCV作為飛槳重點(diǎn)研發(fā)的視覺(jué)模型庫(kù),為開(kāi)發(fā)者提供了面向圖像分類(lèi)PaddleClas、目標(biāo)檢測(cè)PaddleDetection、圖像分割PaddleSeg、文本識(shí)別PaddleOCR、圖像生成PaddleGAN等視覺(jué)場(chǎng)景的多種端到端開(kāi)發(fā)套件和海量視覺(jué)方向模型,其中PaddleOCR和PaddleDetection開(kāi)發(fā)套件更是被眾多企業(yè)廣泛使用。飛槳開(kāi)發(fā)套件圍繞企業(yè)實(shí)際研發(fā)流程量身打造,服務(wù)企業(yè)遍布能源、金融、工業(yè)、農(nóng)業(yè)等眾多領(lǐng)域。

GP-NAS: Gaussian Process based Neural Architecture Search

主題二:GP-NAS:基于高斯過(guò)程的模型結(jié)構(gòu)自動(dòng)搜索技術(shù)

通過(guò)對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行模型結(jié)構(gòu)自動(dòng)搜索,NASNeural Architecture Search在各類(lèi)計(jì)算機(jī)視覺(jué)的任務(wù)中都超越了人工設(shè)計(jì)模型結(jié)構(gòu)的性能。GP-NAS旨在解決NAS中的三個(gè)重要問(wèn)題:如何衡量模型結(jié)構(gòu)與其性能之間的相關(guān)性?如何評(píng)估不同模型結(jié)構(gòu)之間的相關(guān)性?如何用少量樣本學(xué)習(xí)這些相關(guān)性?

為此,GP-NAS首先從貝葉斯視角來(lái)對(duì)這些相關(guān)性進(jìn)行建模。通過(guò)引入一種基于高斯過(guò)程的NAS新方法,并通過(guò)定制化的核函數(shù)和均值函數(shù)對(duì)相關(guān)性進(jìn)行建模。并且,均值函數(shù)和核函數(shù)都可以在線學(xué)習(xí),以實(shí)現(xiàn)針對(duì)不同搜索空間中的復(fù)雜相關(guān)性的自適應(yīng)建模。此外,通過(guò)結(jié)合基于互信息的采樣方法,可以通過(guò)最少的采樣次數(shù)就能估計(jì)/學(xué)習(xí)出GP-NAS的均值函數(shù)和核函數(shù)。在學(xué)習(xí)得到均值函數(shù)和核函數(shù)之后,GP-NAS就可以預(yù)測(cè)出不同場(chǎng)景,不同平臺(tái)下任意模型結(jié)構(gòu)的性能,并且從理論上得到這些性能的置信度。

GP-NAS不僅在CIFAR10和ImageNet等分類(lèi)任務(wù)上取得了SOTA的實(shí)驗(yàn)結(jié)果,在人臉識(shí)別任務(wù)上同樣取得了非常好的結(jié)果。本次分享還會(huì)介紹搜索空間的設(shè)計(jì)以及超網(wǎng)絡(luò)的一致性問(wèn)題,并介紹GP-NAS多次在國(guó)際比賽中奪冠的經(jīng)歷。

Multimodal-based 3D Object Detection

主題三:基于多模態(tài)的三維目標(biāo)檢測(cè)

精準(zhǔn)的估計(jì)周?chē)矬w的三維位置對(duì)于自動(dòng)駕駛系統(tǒng)非常重要。為了確保自動(dòng)駕駛系統(tǒng)的安全性,無(wú)人駕駛汽車(chē)通常利用多種傳感器如相機(jī)、Lidar等來(lái)感知周?chē)沫h(huán)境,在此次演講中,百度分別介紹了基于不同傳感器的三維物體檢測(cè)算法。

首先介紹了利用CAD模型和CAD模型free的兩種不同的基于單幀圖像的三維物體位置估計(jì)算法。相機(jī)成本低廉,可以提供詳細(xì)的紋理與顏色信息,實(shí)驗(yàn)表明對(duì)于距離較近的物體檢測(cè)效果明顯。

相比基于相機(jī)的估計(jì)算法,基于Lidar的三維物體檢測(cè)算法效果顯著提升。對(duì)于如何提升稀有類(lèi)別的檢測(cè)效果,始終是一個(gè)開(kāi)放的研究問(wèn)題。隨后介紹了一種簡(jiǎn)單有效的基于Rendering的三維物體增強(qiáng)策略,能有效地考慮不同前景物體之間、以及前景與背景物體之間的遮擋關(guān)系。在公開(kāi)數(shù)據(jù)集上的測(cè)試效果表明此算法對(duì)于所有類(lèi)別的檢測(cè)效果都有提升,尤其對(duì)于稀有類(lèi)別的檢測(cè)結(jié)果提升尤為顯著。

最后,介紹了一種簡(jiǎn)單有效的基于2D/3D場(chǎng)景分割的多模型融合框架,同時(shí)挖掘圖像和點(diǎn)云的優(yōu)勢(shì),能有效地提升三維物體的檢測(cè)結(jié)果。此前,該算法的升級(jí)版在ICRA2021 nuScenes三維物體檢測(cè)公開(kāi)賽上獲得冠軍。目前PaddlePadlle框架支持通用三維點(diǎn)云理解,包含基于點(diǎn)云的三維物體檢測(cè)、分割以及基于單幀圖像的三維物體位置估計(jì)等,將來(lái)會(huì)開(kāi)源更多的基于點(diǎn)云的三維深度模型。

PaddleSeg: A High-Efficient Development Toolkit for Image Segmentation

主題四:高效圖像分割工具——PaddleSeg

語(yǔ)義分割是非常重要并極具挑戰(zhàn)的視覺(jué)任務(wù),在人機(jī)交互、增強(qiáng)現(xiàn)實(shí)和無(wú)人駕駛領(lǐng)域有著重要的應(yīng)用價(jià)值。本次演講將介紹一個(gè)基于飛槳的語(yǔ)義分割算法平臺(tái)PaddleSeg,它提供了許多經(jīng)典的語(yǔ)義分割算法FCN、DeepLab、PSPNet等的實(shí)現(xiàn)。同時(shí),演講也會(huì)介紹百度最近基于PaddleSeg研發(fā)的一些新的語(yǔ)義分割算法。

Interpretable Deep Learning: Interpretation, Interpretability, Trustworthiness, and Beyond

主題五:可解釋的深度學(xué)習(xí)——解釋性、可解釋性、可信賴性和超越性

深度學(xué)習(xí)模型目前已經(jīng)在許多領(lǐng)域——比如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、生物、醫(yī)療等達(dá)到甚至超過(guò)了人類(lèi)的水平。然而,深度學(xué)習(xí)模型一直被當(dāng)做黑盒使用,其決策過(guò)程和判斷標(biāo)準(zhǔn)始終讓人難以理解。

基于目前主流的可解釋性算法,在本次演講中將系統(tǒng)地介紹深度學(xué)習(xí)模型的可解釋性,包括可解釋性的重要性、可解釋性算法的分類(lèi)以及如何評(píng)測(cè)這些算法的可靠性。百度開(kāi)源了基于飛槳的可解釋性算法代碼庫(kù)InterpretDL,集成了十?dāng)?shù)種可解釋性算法,其中也包含了百度關(guān)于可解釋性的最新研究工作,并將對(duì)其中的兩項(xiàng)工作進(jìn)行詳細(xì)的介紹。百度的開(kāi)源庫(kù)InterpretDL全面解耦了算法與模型,并提供詳盡的教程,方便易用,同時(shí)滿足學(xué)術(shù)界和工業(yè)界的需求。

Paddle Graph Learning and Its Applications

主題六:飛槳圖神經(jīng)網(wǎng)絡(luò)框架PGL及其應(yīng)用

在本次演講中,百度將會(huì)介紹高效易用的大規(guī)模圖神經(jīng)網(wǎng)絡(luò)框架飛槳PGL。圖神經(jīng)網(wǎng)絡(luò)最大的特點(diǎn)是能夠建模樣本與樣本的連接信息,但是編碼樣本之間的關(guān)系,在原生的深度學(xué)習(xí)框架中一般都比較復(fù)雜。飛槳PGL采用消息傳遞范式作為圖神經(jīng)網(wǎng)絡(luò)的編程接口,使得圖神經(jīng)網(wǎng)絡(luò)的編寫(xiě)變得十分便利;并且針對(duì)圖神經(jīng)網(wǎng)絡(luò)場(chǎng)景做了大量的性能優(yōu)化,包括提出并行消息聚合、多卡并行FullBatch訓(xùn)練等技術(shù),大大提升了圖神經(jīng)網(wǎng)絡(luò)的工業(yè)實(shí)用性。

本演講將展示飛槳PGL在圖神經(jīng)網(wǎng)絡(luò)的研究上面取得的進(jìn)展,并且分享具體案例,介紹如何通過(guò)萬(wàn)億規(guī)模圖引擎以及參數(shù)服務(wù)器的整合,落地工業(yè)級(jí)圖神經(jīng)網(wǎng)絡(luò)應(yīng)用。

Unified Modal Learning: Motivation, Practice and Beyond

主題七:統(tǒng)一模式學(xué)習(xí)——?jiǎng)訖C(jī)、實(shí)踐與超越

現(xiàn)有的預(yù)訓(xùn)練技術(shù)關(guān)注于分開(kāi)解決單模態(tài)任務(wù)或者多模態(tài)任務(wù),忽視了使用一個(gè)統(tǒng)一的預(yù)訓(xùn)練模型同時(shí)解決單模、多模問(wèn)題帶來(lái)的好處以及對(duì)應(yīng)的挑戰(zhàn)。反觀人類(lèi)則非常擅長(zhǎng)從多源異構(gòu)數(shù)據(jù)中聯(lián)合學(xué)習(xí),從而更好地理解物理世界的相關(guān)概念。

基于此,百度提出統(tǒng)一模態(tài)學(xué)習(xí),目標(biāo)是從大規(guī)模圖像、文字、圖文對(duì)等數(shù)據(jù)中聯(lián)合學(xué)習(xí),并具備同時(shí)解決單模態(tài)任務(wù)和多模態(tài)任務(wù)的能力?；陲w槳,百度提出了一個(gè)統(tǒng)一模態(tài)學(xué)習(xí)框架UNIMO,并在多個(gè)自然語(yǔ)言處理和視覺(jué)-語(yǔ)言多模態(tài)任務(wù)上取得了領(lǐng)先成績(jī)。百度希望統(tǒng)一模態(tài)學(xué)習(xí),能夠提供一條通向通用人工智能的可能思路,并且借助社區(qū)的力量共同建設(shè)。

FedCube: Federated Learning and Data Federation for Collaborative Data Processing

主題八:FedCube——用于協(xié)作數(shù)據(jù)處理的聯(lián)邦學(xué)習(xí)和數(shù)據(jù)聯(lián)合

近年來(lái),數(shù)據(jù)和計(jì)算資源通常分布在用戶終端、各個(gè)地區(qū)或組織的設(shè)備中。由于法律或法規(guī)的限制,分布式數(shù)據(jù)和計(jì)算資源不能在不同地區(qū)或組織之間直接聚合或共享,用于數(shù)據(jù)處理或機(jī)器學(xué)習(xí)任務(wù)。聯(lián)邦學(xué)習(xí)和數(shù)據(jù)聯(lián)邦在遵守法律法規(guī)、確保數(shù)據(jù)安全和數(shù)據(jù)隱私的前提下,有效利用分布式數(shù)據(jù)和計(jì)算資源,訓(xùn)練機(jī)器學(xué)習(xí)模型和協(xié)同處理數(shù)據(jù)。

在本次演講中,百度展示包括PaddleFL在內(nèi)的聯(lián)邦學(xué)習(xí)系統(tǒng)的功能架構(gòu),并介紹了基于百度聯(lián)邦學(xué)習(xí)系統(tǒng)的研究工作。

Generalizing from a Few Examples by PaddleFSL

主題九:基于飛槳的小樣本學(xué)習(xí)工具庫(kù)PaddleFSL

人工智能領(lǐng)域欣欣向榮,但現(xiàn)有技術(shù)通常需要大量標(biāo)注數(shù)據(jù)和高算力的高性能計(jì)算設(shè)備支撐。與之對(duì)比,人類(lèi)卻可以利用已學(xué)習(xí)的知識(shí),快速?gòu)膸讉€(gè)示例中學(xué)到規(guī)則,這使得現(xiàn)在的人工智能距離“像人”還有較大距離。小樣本學(xué)習(xí)FSL研究如何快速泛化到僅包含幾個(gè)標(biāo)注數(shù)據(jù)的新任務(wù),是縮小人工智能和人類(lèi)學(xué)習(xí)之間差距的重要一環(huán)。

此外,FSL使對(duì)罕見(jiàn)情況的學(xué)習(xí)成為可能,例如在藥物發(fā)現(xiàn)中給定一些標(biāo)記分子來(lái)預(yù)測(cè)新的分子特性。鑒于高質(zhì)量的標(biāo)記數(shù)據(jù)獲取成本高,FSL的應(yīng)用還有助于降低工業(yè)應(yīng)用中收集大規(guī)模監(jiān)督數(shù)據(jù)的收集、標(biāo)注、處理和計(jì)算消耗。

在本次演講中,百度將介紹基于飛槳的FSL工具包PaddleFSL。它包含了很多簡(jiǎn)單易用的FSL方法,支持圖像分類(lèi)、關(guān)系抽取等常見(jiàn)應(yīng)用,同時(shí)易于擴(kuò)展到新應(yīng)用。百度希望PaddleFSL可以助力學(xué)術(shù)界和工業(yè)界的研究和開(kāi)發(fā)者在各種場(chǎng)景下輕松探索FSL。

Paddle Quantum: Towards Quantum Artificial Intelligence

主題十:量槳——邁向量子人工智能

人工智能是新一輪產(chǎn)業(yè)變革的重要驅(qū)動(dòng),量子計(jì)算則是備受矚目的前沿技術(shù),二者的融合孕育出新的方向:量子人工智能,該演講則帶來(lái)了百度在該方向的最新進(jìn)展?；谏疃葘W(xué)習(xí)平臺(tái)飛槳,百度研發(fā)了國(guó)內(nèi)首個(gè)量子機(jī)器學(xué)習(xí)工具集“量槳”,旨在加速人工智能與量子計(jì)算的融合創(chuàng)新。

近期量槳發(fā)布2.1版本,運(yùn)行效率平均提升20,通過(guò)量子神經(jīng)網(wǎng)絡(luò)、量子核方法、含噪量子電路等模塊,開(kāi)發(fā)者們可以在量槳上便捷地進(jìn)行人工智能、組合優(yōu)化、量子化學(xué)方面的應(yīng)用研發(fā)。借助深度學(xué)習(xí)對(duì)量子技術(shù)的賦能,量槳LOCCNet發(fā)現(xiàn)了新的糾纏提純方案,相比業(yè)界現(xiàn)有方案取得了更好效果。此外,量槳官網(wǎng)提供了豐富教程與案例,助力開(kāi)發(fā)者入門(mén)與研發(fā)。百度量子平臺(tái)以量脈、量槳、量易伏為主體,旨在將用戶和量子服務(wù)緊密結(jié)合,賦能教育、科學(xué)研究、工業(yè)生產(chǎn)等領(lǐng)域,構(gòu)建開(kāi)放、可持續(xù)的百度量子生態(tài),最終實(shí)現(xiàn)“人人皆可量子”的美好愿景。