中國福建網(wǎng)

當(dāng)前位置:中國福建網(wǎng) > 科技 > 正文

香港科技大學(xué)屈華民教授十條干貨:可視化是大數(shù)據(jù)最后一公里

作者: 編輯 來源:互聯(lián)網(wǎng) 發(fā)布時間:2020-07-31

┊文章閱讀:

“相隔一年,世界已經(jīng)巨變,技術(shù)變革提前并且加速,與其擔(dān)憂,不如擔(dān)當(dāng)。”馬云在2020世界人工智能大會上講到。

疫情之下,對于愿意思考未來的企業(yè)家來說,機(jī)會才剛剛開始。新科技將改變未來商業(yè)世界版圖。

港科大EMBA中英雙語課程以云課堂,參觀實驗室,專題報告,知識轉(zhuǎn)移四部曲的方式開展了「走進(jìn)科大實驗室」系列活動,邀請到首屈一指的科研教授,與大家一起分享世界級的科研成果,一起感受科技的力量,以及其蘊(yùn)含的巨大商機(jī)。

早于18世紀(jì)的英國,已采用地圖顯示流行病者的分布;時至今日,美國總統(tǒng)選舉、世界疫情的走勢,將可視化大數(shù)據(jù)的應(yīng)用顯露無遺。根據(jù)頂級期刊的論文發(fā)表量,香港科技大學(xué)VisLab是世界最大的可視化數(shù)據(jù)研究所之一,位列全球前五名之內(nèi),研發(fā)成果為頂尖企業(yè)Microsoft、IBM、華為、騰訊、博世采用,其領(lǐng)軍人屈華民教授,深入淺出地闡述可視化技術(shù)的發(fā)展,以及應(yīng)用實例,帶大家走進(jìn)香港科大實驗室。

一、什么是數(shù)據(jù)可視化?

我們從網(wǎng)絡(luò)、城市、財務(wù)、物流、農(nóng)業(yè)、傳感器等來源收集大量數(shù)據(jù),然后進(jìn)行提取和整合,篩選出合用的數(shù)據(jù),再進(jìn)行大數(shù)據(jù)計算與數(shù)據(jù)挖掘,而可視化就是數(shù)據(jù)分析的最后一公里路程,用圖像形式把有用的數(shù)據(jù)送到終端用戶手里,應(yīng)用范圍包括財務(wù)與風(fēng)險管理、基因農(nóng)業(yè)、智慧城市、網(wǎng)上購物、健康管理等各個領(lǐng)域。而數(shù)據(jù)有四大特性:數(shù)量大;動態(tài)高;變化多、形態(tài)豐富,如文字、視頻、音檔等形態(tài);價值懸殊,部分極有具參考價值,部分是完全無用的數(shù)據(jù)。

二、為什么要將數(shù)據(jù)可視化?

正因為以上四大特性,而可視化是數(shù)據(jù)分析最后一公里路程,以圖表、圖像方式展示,讓人們可從復(fù)雜海量的數(shù)據(jù)中,獲得新見解、洞察趨勢,可見其關(guān)鍵的作用。根據(jù)Harvard Business Review的研究,指出全球最大日用品生產(chǎn)商寶潔,已肯定可視化數(shù)據(jù)有助決策,從根本上升級數(shù)據(jù)的使用,并規(guī)范成為管理的工具之一,提升決策和執(zhí)行的效益。

美國在2016年公布的「美國人工智能研發(fā)戰(zhàn)略規(guī)劃」中,當(dāng)中戰(zhàn)略二是:「開發(fā)人工智能與人類協(xié)作的有效方法 」,肯定了人工智能和人類的結(jié)合,然而人工智能是根據(jù)原始的數(shù)據(jù)進(jìn)行演算,過程中要讓人類讀懂?dāng)?shù)據(jù),可視化數(shù)據(jù)擔(dān)當(dāng)關(guān)鍵的橋梁作用;在技術(shù)上,可視化和用戶界面需要進(jìn)一步開發(fā)改良,以幫助人們理解大量現(xiàn)代數(shù)據(jù)集和各種來源的信息。

在2019年六月,全球領(lǐng)先的CRM廠商Salesforce斥資157億美元收購全球最大的分析平臺Tableau。Tableau正是一家交互式數(shù)據(jù)可視化軟件公司,成立于2003年一月,一直專注于商用智能技術(shù)的開發(fā)和應(yīng)用,其收購價反映數(shù)據(jù)可視化的價值。

三、讀圖力之開發(fā)

既然有視像化之?dāng)?shù)據(jù),人們也需要掌握一定的讀圖力,從中理解事情的趨勢,甚至藉此作出判斷。以新冠肺炎各國發(fā)病的走勢圖為例,整理者將美國、英國、中國及比利時的病例數(shù)量按時間線表達(dá),各國的高峰期、平穩(wěn)期、下降期的走勢曲線,比較下發(fā)現(xiàn)走勢相若,有閱讀者領(lǐng)會的到中國控制疫情的能力,也有人從自然發(fā)展的曲線作出判斷,相信各國的信息都是真實的,反映不同閱讀者從中得到的領(lǐng)悟,層次也有高低分別,這跟他們的讀圖能力有直接的關(guān)系。而剛才提及的「美國人工智能研發(fā)戰(zhàn)略規(guī)劃」,其中一項戰(zhàn)略就是要求大學(xué)生掌握可視化數(shù)據(jù)的讀圖力,藉以解決問題,同時訓(xùn)練左右腦思維。

最初級的讀圖能力,適用于普羅大眾?,F(xiàn)在許多媒體已采用圖像來說故事、展示數(shù)據(jù),例如 《紐約時報》中文網(wǎng)于2020年中發(fā)表的一篇文章:「美國人工智能領(lǐng)域的秘密武器:中國人才」,數(shù)字顯示,有54中國學(xué)生于美國取得研究院學(xué)位,而現(xiàn)在留在美國人工智能領(lǐng)域工作的中國研究院畢業(yè)生,剛巧是54,光是看數(shù)字,會令人誤會,所有于美國取得研究院學(xué)位的中國學(xué)生,全數(shù)留美工作;但是,因著圖像的補(bǔ)充,顯示54于美國工作的中國研究院畢業(yè)生中,有若干百分比是來自中國及其他國家的研究院,簡單的一張圖像,清晰地顯示了兩者的不同。

至于中級的讀圖能力,需經(jīng)過一定培訓(xùn)方可掌握。例如 《彭博新聞》以地圖形式整合國內(nèi)用于土地上的經(jīng)費(fèi),金融新聞會按地區(qū)描畫出家庭的消費(fèi)習(xí)慣等,內(nèi)含復(fù)雜多元化的數(shù)據(jù),要求讀者有一定讀圖力去理解。

高級的讀圖力,響應(yīng)由形態(tài)眾多,如文字、視頻、音檔等整合分析而成的可視化數(shù)據(jù),主要是研究人員處理信息系統(tǒng),以及向科技企業(yè)報告時采用,閱讀者有如開車時要手腳并用,相互協(xié)調(diào),才能洞悉出事情的脈絡(luò)發(fā)展。

四、數(shù)據(jù)可視化應(yīng)用實例──智慧校園

智慧校園是可視化技術(shù)的應(yīng)用實例,發(fā)揮向公眾展示數(shù)據(jù)的成效。數(shù)年前,港科大工學(xué)院入口處裝置了大型展示屏,主要通過校園逾四千個Wifi網(wǎng)絡(luò)熱點(diǎn),按Wifi接入手機(jī)、計算機(jī)的信息去收集各點(diǎn)的人流數(shù)據(jù),藉以估算實時的數(shù)字;建基于互聯(lián)網(wǎng)絡(luò),我們已可取得意想不到的應(yīng)用。例如統(tǒng)計大學(xué)圖書館、餐廳飯?zhí)玫裙苍O(shè)施的人流,甚至實時按樓層、班房歸納使用量的分布,再透過公眾數(shù)字展示版顯示,師生可按圖索驥,決定使用時機(jī),解決尖峰時期的人滿之患;數(shù)據(jù)收集后成為歷史數(shù)據(jù),我們可配合實時的數(shù)據(jù),推測公共車的等候時間,等車人數(shù)等,方便師生們計劃出行時機(jī)。此外,可收集宿生出入宿舍的頻率,追蹤久未離開房間者的去向,預(yù)防意外發(fā)生,而當(dāng)中涉及私隱的問題,須清楚研究。校園展至可視化數(shù)據(jù)的大型顯示屏,可應(yīng)用至大型商場、產(chǎn)業(yè)園區(qū),有助尖峰時期導(dǎo)引人流。

五、數(shù)據(jù)可視化應(yīng)用實例──智慧教育

智慧教育是科技產(chǎn)業(yè)中,其中一個面對重大變革的范疇。網(wǎng)上有大量的數(shù)學(xué)習(xí)題,小孩子并不享受做練習(xí)的過程,可能因為挫折感太大。網(wǎng)上習(xí)題的好處是可以不停重復(fù)嘗試,缺點(diǎn)是反復(fù)嘗試依然是錯誤帶來的失落感,孩子被懲罰的感覺強(qiáng)烈。過程沒有老師指導(dǎo),在錯誤的習(xí)題時被卡住,非常無助。系統(tǒng)可以善用數(shù)據(jù),分析整合用戶常犯錯誤的地方,當(dāng)孩子進(jìn)入常犯的一個瓶頸位置時,熒幕可以發(fā)出提示,像不少棋手利用圍棋人工智能程序AlphaGo學(xué)習(xí),每一步棋由AlphaGo發(fā)出提示,顯示不同步法的成功概率,棋手作出最具勝算的一步;數(shù)學(xué)習(xí)題的提示,根據(jù)相同道理,以數(shù)據(jù)可視化告訴小孩子,不同計算方法的成功率,從而啟發(fā)孩子作出判斷,找到對的答案。歷史數(shù)據(jù)更可統(tǒng)計出孩子運(yùn)算的軌跡,哪一步驟最多人出錯,哪一類提示最受歡迎等,從而減少孩子在計算過程中的挫敗感,提升學(xué)習(xí)興趣。

另外,系統(tǒng)分析數(shù)據(jù)后,更可作出個人化的推薦方案,例如喜歡挑戰(zhàn)難度的孩子,可選擇只有20成功率的習(xí)題,一般或需要鼓勵的孩子,可選50至90成功率的習(xí)題,小孩子可按進(jìn)度選擇不同難度的習(xí)題,配合個人的能力表現(xiàn),發(fā)揮才能,正是大數(shù)據(jù)對教育的威力。

《紐約時報》將2012年稱為「MOOC元年」MOOC-Open Online Course,大規(guī)模開放在線課程),是學(xué)術(shù)界巨變的開始。然而,MOOC的最大缺憾,是難以收集學(xué)生的反饋。教學(xué)視頻瀏覽量的多寡,并不足夠給教學(xué)者提供改善的建議,智慧教育透過數(shù)據(jù)分析,了解瀏覽者在視頻的那一個時間點(diǎn)停頓、快進(jìn)或回放,按時間軸將數(shù)據(jù)可視化,教學(xué)者便一目了然,知道學(xué)生在哪一部分需要更多時間去理解,哪一張簡報需要改善,哪些部分可縮短講學(xué),優(yōu)化整體教學(xué)流程。

六、虛擬現(xiàn)實+可視化的實現(xiàn)

智慧校園和智慧教育分別解釋了數(shù)據(jù)可視化的展示,以及給師生建議洞識的優(yōu)點(diǎn);在科大工學(xué)院外有一幅歷史墻,則把可視化及虛擬現(xiàn)實結(jié)合起來。歷史墻以傳統(tǒng)墻報板的形式,展示出工學(xué)院的各個里程碑,由成立至2016年25周年院慶為止,至于2016年后的發(fā)展,游人可以用手機(jī)掃描墻上的QR-Code,最新的里程發(fā)展就會顯現(xiàn)在手機(jī)或平板計算機(jī)上,時間軸不會因此中斷,并把真實與虛擬結(jié)合起來。

七、數(shù)據(jù)可視化應(yīng)用實例──智慧企業(yè)

對于傳統(tǒng)的生產(chǎn)及物流產(chǎn)業(yè),透明化的數(shù)據(jù),對智慧企業(yè)大派用場。我們的研究團(tuán)隊,曾跟華為諾亞方舟實驗室企業(yè)智能團(tuán)隊聯(lián)合進(jìn)行研究,成果《PlanningVis: A Visual Analytics Approach to Production Planning in Smart Factories》發(fā)表在IEEE VIS 2019上。研究基于企業(yè)智能團(tuán)隊研發(fā)的智慧排產(chǎn)引擎,通過交互式可視分析的方式,幫助決策者模擬在生產(chǎn)環(huán)境發(fā)生變化,包括工廠停產(chǎn)、原材料供應(yīng)延期等情況,分析變化對生產(chǎn)制造產(chǎn)生的影響,從而迅速地對生產(chǎn)計劃做出調(diào)整。

在2018年9月,臺風(fēng)山竹登陸深圳,分析師通過關(guān)閉相應(yīng)工廠兩天來模擬山竹可能造成的影響。對比山竹造成工廠停產(chǎn)的影響,可以看到該工廠停產(chǎn)會導(dǎo)致訂單的延遲率上升。通過在其他時間段增加工廠的產(chǎn)能,可以降低訂單的延遲率,但由于未能在最優(yōu)的日期生產(chǎn);此外,生產(chǎn)成本有所增加,分析師再以圖像展示出某些產(chǎn)品受臺風(fēng)山竹影響后的生產(chǎn)情況,在調(diào)整生產(chǎn)計劃后的生產(chǎn)情況,或在不同計劃間的變化。可以看出,原本在生產(chǎn)周期前段停產(chǎn)的部分,通過在其他日期增加生產(chǎn)的方式得到了彌補(bǔ)。因此,通過PlanningVis的what-if分析功能,分析師就可以提前判斷出哪些工廠需要提前增加產(chǎn)能來應(yīng)對山竹的影響,以及這些調(diào)整可能會帶來的成本變化。

智慧排產(chǎn)引擎,讓執(zhí)行者看到完整的局面,按照模擬的數(shù)據(jù)分析,根據(jù)不同制約條件,如低成本、高穩(wěn)定性或保證供應(yīng)量等,人跟機(jī)器合作,重新編配惡劣天氣下的生產(chǎn)安排,選擇最優(yōu)化的排產(chǎn)方案,減少天災(zāi)等事故引致的損失。宏觀審視工業(yè)4.0,其特點(diǎn)是在整個價值鏈中,不論是人、設(shè)備,還是系統(tǒng),全都緊密地聯(lián)接一起;而所有相關(guān)信息都實時可用,供應(yīng)商、制造商和客戶之間的訊息透明化;管理人可以根據(jù)不同的標(biāo)準(zhǔn),如成本、資源、客戶需求等,不斷優(yōu)化價值鏈中的組成部件。從歷史維度看工業(yè)革命,是從織布機(jī)發(fā)展到信息物理系統(tǒng),是翻天覆地的變化。

八、數(shù)據(jù)可視化應(yīng)用實例──智慧金融

以數(shù)據(jù)分析不同投資組合的優(yōu)劣,行之有效,而數(shù)據(jù)可視化則可配合Barra因子模型MSCI再下一城。分析模型根據(jù)十個風(fēng)格因子,包括貝塔、動量、收益率、殘差波動率、增長、賬面/股價比、杠桿、流動性、非線性規(guī)模去演算,而十個因子相互獨(dú)立,互不關(guān)聯(lián);因應(yīng)投資的各個因子,獨(dú)立顯示各投資組合的表現(xiàn),又或以短期買賣跟長期持有相同的股票,演算經(jīng)歷相同時間后的表現(xiàn),比對分析,讓投資者更清晰地作出選擇。

九、可解釋人工智能有何重要性?

以人工智能分析大數(shù)據(jù),大大增強(qiáng)了大數(shù)據(jù)的應(yīng)用性;而可解釋人工智能XAI是下一個焦點(diǎn)課題。所謂可解釋,是其行為或預(yù)測可以被人類理解,知道人工智能為何能做出特定決定。曾經(jīng)有廠商反映,利用人工智能推測產(chǎn)品銷情,推薦的方案,根本不知道推算的理由,最終或成功或失敗,都無法追究原因,因而沒有信心依推薦執(zhí)行。

人工智能通過深度學(xué)習(xí)作出判斷,例如根據(jù)八百萬張貓圖片為基礎(chǔ),進(jìn)行分析本整合,最終學(xué)懂判別出一只貓;然而,研究者以對抗攻擊挑戰(zhàn)人工智能的辨別能力,例如在圖片加上不同小圓點(diǎn)、顏色等小改動,人類仍可認(rèn)出是貓,但人工智能就無法判別了。在實際應(yīng)用上,當(dāng)人工智能演算出最佳的結(jié)果,卻無法解釋背后的理據(jù),直接影響抉擇的公平和安全性,假如人工智能學(xué)習(xí)了一些帶偏見的數(shù)據(jù),有機(jī)會加強(qiáng)偏見度,作出錯誤決策;當(dāng)應(yīng)用在醫(yī)診時,為病人斷癥得出癌癥,卻無法提供解釋原因,結(jié)果能否可信?這些都是人工智能需要解釋的原因。

歐盟已定立人工智能相關(guān)法例,規(guī)定銷售任何通過人工智能作決策的產(chǎn)品時,例如貸款、信用卡等,如批核與否由人工智能演算決定,終端用戶如要求背后理據(jù),銷售一方必須提供合理解釋,法例建立透明度權(quán)利框架,客戶有要求解釋的權(quán)利,以及對完全自動化決定的質(zhì)疑權(quán)。

善用人工智能,人和機(jī)器協(xié)同創(chuàng)新,也有好的新創(chuàng)見,曾有研究案例顯示,研究人員使用失敗實驗,在機(jī)器學(xué)習(xí)的輔助下再進(jìn)行研究,最終發(fā)現(xiàn)新材料,人與機(jī)器合作始終是最佳的模式。

十、香港科大實驗室研發(fā)技術(shù)已被著名企業(yè)采用

過去數(shù)年,科大大數(shù)據(jù)可視分析實驗室一直致力研究數(shù)據(jù)可視化、人機(jī)交互、人工智能、大數(shù)據(jù)、移動增強(qiáng)現(xiàn)實等項目。在可視化領(lǐng)域頂級期刊發(fā)表量,是世界排名前二的可視化團(tuán)隊,有 62篇TVCG論文;也是亞洲最大的可視化團(tuán)隊,世界上最大的可視化團(tuán)隊之一,當(dāng)中包括36名成員,其中包括17名博士,曾三次擔(dān)任IEEE VIS論文聯(lián)合主席。實驗室參與多個重大項目,包括由香港ITF項目,資助金額一千六百萬港幣的「一個針對電子學(xué)習(xí)的學(xué)習(xí)設(shè)計,數(shù)據(jù)分析和可視化的開放性框架」,國家973項目「網(wǎng)絡(luò)信息空間大數(shù)據(jù)計算理論」,資助金額達(dá)三千萬人民幣等。

在2019年,我們跟MIT(麻省理工學(xué)院),以及浙江大學(xué)的研究人員,共同開發(fā)了一種交互式工具,首次實現(xiàn)讓用戶對自動化機(jī)器學(xué)習(xí)(AutoML)系統(tǒng)的工作方式和流程進(jìn)行查看和控制,提高系統(tǒng)定制化程度,向打開機(jī)器學(xué)習(xí)「黑盒子」的目標(biāo)邁進(jìn)了一大步。現(xiàn)時,實驗室開發(fā)的技術(shù)已被Microsoft、IBM、華為、騰訊等著名科技企業(yè)采用。

展望將來,可視化技術(shù)的商機(jī)無限,包括普適的數(shù)據(jù)可視分析系統(tǒng),垂直領(lǐng)域的可視分析系統(tǒng),如智能制造、Fintech之應(yīng)用;大屏展示系統(tǒng);媒體及宣傳推廣采用的數(shù)據(jù)動畫;另配合5G時代來臨,VR和VIS(虛擬現(xiàn)實及虛擬現(xiàn)實模擬)需求將大增;最后是電子教育,經(jīng)過多年耕耘,我相信其真正價值已逐步顯現(xiàn)。

關(guān)于香港科大EMBA|中英雙語課程

香港科技大學(xué)自1991年創(chuàng)校以來,在短短二十幾年時間里,已躋身世界頂尖大學(xué)之列。香港科大商學(xué)院是擁有國際地位的著名商學(xué)院,研究實力及多項課程在世界排名中均位列前茅,金融時報評選中凱洛格-香港科大EMBA課程連續(xù)9次位列全球第一,全球MBA課程連續(xù)3年排名全球二十強(qiáng),泰晤士報全球年輕大學(xué)排名中香港科大連續(xù)3次位列亞洲第一。

香港科大EMBA中英雙語課程為亞洲及大中華地區(qū)行政人員、企業(yè)家而設(shè),致力于全面提升學(xué)員的綜合領(lǐng)導(dǎo)管理能力,培養(yǎng)具有創(chuàng)新精神和全球視野的國際化人才。自2002年開辦以來,香港科大EMBA中英雙語課程將世界最前沿的管理知識和中國管理實踐相結(jié)合,并融合香港中西合璧的獨(dú)特文化和管理經(jīng)驗,為亞洲及大中華地區(qū)的企業(yè)家及高管提供了一個跨越地域和文化界限的終身學(xué)習(xí)平臺。課程將在16個月內(nèi),通過9個核心模塊、3個進(jìn)階提升、4個大洲環(huán)球游學(xué)模塊、3個層面提升領(lǐng)導(dǎo)力等,為學(xué)員展現(xiàn)一張完整清晰的學(xué)習(xí)藍(lán)圖。

十余年來,課程吸引亞洲最杰出以及最具影響力的商業(yè)領(lǐng)袖和管理精英,EMBA校友網(wǎng)絡(luò)遍布全球。

  • 分類目錄
  • 軟文發(fā)布平臺
  • 勞務(wù)外包公司
  • 帆布水池
  • 運(yùn)維開發(fā)網(wǎng)
  • 小程序開發(fā)
  • 淘寶優(yōu)惠券
  • IT新聞
  • 淘寶erp
  • 植物提取物網(wǎng)
  • 站長網(wǎng)
  • 源碼論壇
  • 激光打標(biāo)機(jī)
  • 丹泊儀器
  • 礦山生態(tài)修復(fù)
  • 青島月子會所
  • 知識付費(fèi)
  • 辦公家具
  • 呱呱贊小程序
  • 淄博java培訓(xùn)
  • 小程序開發(fā)
  • seo外包公司
  • 盈江新財網(wǎng)
  • 工程拍照軟件
  • 速賣通論壇
  • 極客網(wǎng)
  • 甘州文化網(wǎng)
  • 優(yōu)鞋論壇
  • 寧波小程序開發(fā)
  • 域名論壇
  • 微軟crm
  • andon系統(tǒng)
  • 鄭州網(wǎng)站建設(shè)
  • seo學(xué)習(xí)網(wǎng)
  • 奢侈品回收
  • 一對一輔導(dǎo)
  • 黑客視野新聞