不知你有沒有看過美劇《別對我說謊》，故事的主人公通過觀察人的面部表情和身體動作探測人們是否在說謊。這個故事的靈感來源于美國心理學家保羅·艾克曼的真實研究。保羅·艾克曼研究發(fā)現(xiàn)，不同文化的面部基本情緒(快樂、悲傷、憤怒、厭惡、驚訝和恐懼)都有共通性。表情比言語更真實，如果我們能探索一條化抽象情緒為可視數(shù)據(jù)的道路，就有機會為各行各業(yè)帶來全新的解決方案。

情緒智能識別在國內(nèi)還是個比較新的概念，2017年，我們在深入了解微軟人臉識別和情緒識別API后，才有了將這項技術(shù)落地的信心和決心，并先后在新零售和幼教行業(yè)推出了情緒智能識別SaaS解決方案。在討論技術(shù)落地之前，讓我先來分享一下為什么情緒智能識別能夠高效地解決問題。

情緒智能識別的價值

情緒智能識別不僅是一門技術(shù)，更是一種管理思維——把抽象、微妙的體驗數(shù)據(jù)化為管理依據(jù)，將業(yè)務需求與客戶反饋緊密地結(jié)合在一起。

如何評估商場的服務、招商或經(jīng)營策略的表現(xiàn)?商家傳統(tǒng)的做法是發(fā)放大量調(diào)查問卷，這樣做往往成本高、偏差大;我們的做法是在商場的出入口安裝(或升級)雙向攝像頭，檢測大量顧客出入商場的“歡笑率”差值，比如，顧客來時的“歡笑率”為7%，離開時僅有4%，期待未滿足的原因有可能是商場管理，也可能是其他問題(比如兩口子吵架，打車體驗不佳等)，無論是什么原因，客觀數(shù)據(jù)擺在這里，商場一旦及時改變策略或手段，就有機會提高魅力指數(shù)。相比之下，統(tǒng)計大量單次購買的行為數(shù)據(jù)沒有規(guī)律可循，成本也很高昂。此外，我們利用面部智能計算的零售商戶客流動線，冷熱區(qū)分析也首次以最高精度呈現(xiàn)了客流動態(tài)的多樣化規(guī)律，可以為招商需求評估提供真正的大數(shù)據(jù)評估支持。

多年前，招商銀行曾在柜員服務上創(chuàng)新，邀請客戶通過按鍵反饋服務體驗(通常包括非常不滿意，不滿意，滿意，非常滿意四個按鈕)，后來成為行業(yè)通行的方法后，這一反饋機制的效果卻失真了——因為大多數(shù)客戶出于人情按了“非常滿意”鍵?，F(xiàn)在，看到了我們的情緒智能識別技術(shù)，招商銀行非常敏銳地與我們探討在柜臺自動檢測客戶的體驗，以及在在等待多少分鐘時出現(xiàn)了不適感，從而隨機應變，比如請客戶經(jīng)理緩和一下氣氛等。又比如，非常重視消費者體驗的麥當勞，采用自助點單觸屏對顧客進行分流，卻發(fā)現(xiàn)仍有痛點沒有解決，比如，四個人在一起點餐，往往花費很長時間才能商量出結(jié)果，這對于排在自助點菜隊的顧客簡直是“災難”。而如果我們的情緒智能識別技術(shù)，麥當勞可以在“災難”跡象出現(xiàn)時，及時請門店人員提前解決。

類似的例子還有，如果有一套系統(tǒng)可以在聽眾大規(guī)模分神、玩手機、甚至打盹時提醒一下演講人，演講人就可以實時調(diào)整氣氛，提高演講效果。比如，中國科技館為小朋友設計了物理、化學等演示實驗，通過我們的情緒智能技術(shù)收集體驗數(shù)據(jù)，中國科技館能夠不斷調(diào)整講解與互動方式，引導孩子們聚精會神地聽講。

情緒智能識別在幼教行業(yè)的全新嘗試

我們在新零售賽道上有所沉淀后，決心拓展一個新領域——幼教行業(yè)，希望通過足夠多的樣本量，找到幼兒情緒、課程效果、教師引導等因素之間的關(guān)聯(lián)，探尋出一條標準化的評判機制，幫助孩子安全、快樂地成長。

外界環(huán)境變化對于孩子的心理影響非常明顯。有一次，我們?yōu)橐粋€幼兒園班級測試教學效果，三個身強體壯的陌生男士因為在幼兒園里臨時參觀而突然出現(xiàn)在孩子面前，系統(tǒng)即刻檢測到大部分孩子出現(xiàn)了恐懼情緒。通過我們每天1000次以上的情緒掃描，我們能為每個孩子建立個人的情緒檔案，每當情緒嚴重波動時，系統(tǒng)就自動為幼兒園管理者報警，幫助幼兒園管理員及時排查隱患;2016年《中國兒童發(fā)展綱要(2011-2020年)》統(tǒng)計監(jiān)測報告顯示，截止到2016年，全國共有2080所特殊教育學校，這些學校聚集了患有智力障礙、癲癇癥、自閉癥的孩子，我們也在努力測試使用情緒智能識別系統(tǒng)及時識別這些孩子發(fā)病的危險信號，比如笑容對于癲癇病患者是非常危險的。

很多家長在選擇興趣班時很困惑，因為他們不知道孩子真正喜歡什么。有一位家長曾根據(jù)主觀經(jīng)驗給兒子報了繪畫班，一年后，孩子偶然試聽了聲樂班，才興高采烈地表明自己喜歡唱歌。這個故事啟發(fā)我們，孩子的天賦和興趣需要挖掘，如果能夠通過長期追蹤興趣數(shù)據(jù)形成標準，這樣的數(shù)據(jù)可以指導家長和老師因材施教，幫助孩子走向適合的軌道。

情緒識別還能幫助園長們更有效地激勵員工。過去由于缺乏清晰的評價機制，幼兒園在給教師發(fā)獎金時也經(jīng)常無從下手。園長們通常從哪個班級投訴事件少，哪個老師更溫柔等主觀因素去判斷績效，結(jié)果往往不夠客觀真實。通過在教室里安裝雙向攝像頭，我們能夠分別統(tǒng)計出教師和孩子的“歡笑率”，我們還計劃與微軟亞洲研究院合作，不但提高兒童情緒的識別精度，而且計劃增加微軟認知服務中的“聲音智能識別”，以聲音數(shù)據(jù)(具體教學場景下的教學點)配合情緒數(shù)據(jù)幫助幼兒園客觀評價擁有不同教學水平和理念的教師對孩子的實際影響。

從情緒智能識別技術(shù)到新場景

蜜棗網(wǎng)本質(zhì)上是一家數(shù)據(jù)公司，通過對數(shù)據(jù)的分析與挖掘，來尋找行業(yè)規(guī)律，解決實際應用挑戰(zhàn)，從而為行業(yè)管理者提供決策輔助，進一步提升管理運營效率。

我們在與線下零售商合作時，發(fā)現(xiàn)一個巨大挑戰(zhàn)是線下數(shù)據(jù)的維度比較少。比如在線下購物場景里，消費者的體驗包含了產(chǎn)品、環(huán)境、服務與自身需求之間多個要素之間的互動關(guān)系，而在傳統(tǒng)技術(shù)下，這些場景數(shù)據(jù)是無法獲取，更無從分析了。

而且，從商業(yè)的本質(zhì)來說，技術(shù)要解決現(xiàn)實挑戰(zhàn)，不僅要技術(shù)創(chuàng)新，而且還要考慮實施成本，因此，從創(chuàng)業(yè)開始，我們就同時關(guān)注技術(shù)的橫向和縱向發(fā)展。云平臺是一個重大的技術(shù)突破，它所提供的部署能力，計算能力，以及在業(yè)務靈活性方面的巨大優(yōu)勢讓我們從一開始就使用了SaaS平臺來為多個客戶實現(xiàn)業(yè)務部署。同時，我們也關(guān)注機器學習、人工智能等縱向技術(shù)，因為在解決一些計算能力要求非常高的場景里，這些技術(shù)將提供強大的計算能力并實現(xiàn)突破性的結(jié)果。

因此，我們一直關(guān)注著技術(shù)領域里的動態(tài)，并隨時檢測創(chuàng)新技術(shù)對我們業(yè)務的提升可能。蜜棗網(wǎng)從2015年就可以關(guān)注機器學習，而到2017年，面部及情緒智能進入了我們的視野。在全球，只有包括微軟在內(nèi)的2-3家公司同時具備平臺寬度和技術(shù)深度，這與蜜棗網(wǎng)在實際應用中解決問題所需要的技術(shù)研發(fā)、業(yè)務管理、分析服務的支持非常吻合。

同時，不管是線下零售業(yè)還是幼教領域，都需要通過硬件設備獲取信息，分析有效信息，提供云端SaaS服務。硬件設備獲取的信息將存儲在云端，通過智能識別，為客戶提供分析和增值服務，這些服務使用云平臺將極大地節(jié)省存儲，計算以及部署的成本。

而為實現(xiàn)在實際應用中獲取體驗數(shù)據(jù)的要求，需要研發(fā)基礎的人臉識別算法，實現(xiàn)對原始數(shù)據(jù)的分析?；A算法需要大量的原始數(shù)據(jù)積累，設計合理的算法，測試算法的通用性，收集數(shù)據(jù)和研發(fā)測試的周期較長，實現(xiàn)難度高。此外，研發(fā)人員自身設計架構(gòu)以實現(xiàn)服務的穩(wěn)定運行，保證系統(tǒng)的可靠性，工作較為繁瑣。

隨后，通過調(diào)研多家平臺，我們選擇了Azure。微軟的優(yōu)勢在于依靠深厚的積累，能提供充足的技術(shù)支持和安全保障。例如，微軟很早就在人工智能領域進行了研究與應用，并提供認知服務，針對影像、語言、語音等方面進行分析。在微軟提供的豐富基礎技術(shù)中，我們總能找到合適的技術(shù)，加快研發(fā)進程，提高應用效果。

在Azure眾多的存儲方式中，我們選擇了Azure的Blob存儲，這種存儲方式在存儲圖片時顯示出了其強大的實力.首先，它內(nèi)置了多種語言的操作API，支持包括python，php，java等主流語言，我們可以很方便的調(diào)用其API接口，實現(xiàn)對Blob存儲的增加刪除等操作;Azure的Blob存儲也可以通過URL來進行訪問，Azure會為存儲在Blob上的文件分配一個外部能夠訪問到的URL，通過使用這個URL，我們可以很方便地將圖片在頁面上展示出來;Blob存儲也支持多種配置參數(shù)，可以選擇合適的復制存儲策略保證數(shù)據(jù)的持續(xù)性與高可用性，也可以根據(jù)訪問數(shù)據(jù)的頻次進行冷熱訪問層的選擇等。通過使用Azure的Blob存儲服務，我們構(gòu)建了具有高可用性，成本低廉的圖片存儲服務，為后續(xù)的圖片識別展示等操作提供了堅實的基礎;此外，Blob服務比磁盤等本地存儲的成本低90%，所以對于商業(yè)用戶來說也是最佳性價比的選擇。

通過Azure提供的認知服務，我們能夠?qū)崿F(xiàn)快速分析影像數(shù)據(jù)，將其解析為結(jié)構(gòu)化數(shù)據(jù)，為進一步實現(xiàn)與應用場景結(jié)合的情景分析奠定了基礎。經(jīng)過我們在多個場景的測試，Azure認知服務的人臉識別和情緒識別技術(shù)，準確性和通用性都滿足了我們對于基礎算法的需求。

人臉識別技術(shù)在真實零售場景里的挑戰(zhàn)很多，比如光線條件對識別精度的影響，穿戴遮擋對識別精度的影響，微軟加速器通過幫助我們對接微軟亞洲研究院的專家，都找到了很好的解決方法。

我們通過調(diào)用Azure的認知服務對所有有效基礎數(shù)據(jù)進行分析，最后將分析結(jié)果結(jié)合實際應用情景相關(guān)的歸因算法，設計并滿足了實際應用服務的需求。Azure的認知服務部署簡單，測試方便，幫助我們極大地節(jié)省了對基礎算法的數(shù)據(jù)積累和算法研發(fā)的時間和成本，使得我們可以把更多的精力集中到將認知技術(shù)與實際應用相結(jié)合的算法和應用中，可以快速推進實際應用的部署和實現(xiàn)，如線下零售業(yè)的客流體驗分析系統(tǒng)和幼教領域的安全成長管理系統(tǒng)。

在線下零售業(yè)，我們通過Azure的認知服務對消費者屬性(如性別、年齡、情緒等)進行分析，結(jié)合實際購物體驗場景，有效分析客流動態(tài)，及時反饋客戶滿意度，對異常情況做出警示，開創(chuàng)性地在業(yè)內(nèi)第一次實現(xiàn)了消費者動線的捕捉，并提供更多維度的分析包括冷熱區(qū)及停留分析等等業(yè)界創(chuàng)新技術(shù)。

在幼教領域Azure的面部和情緒認知服務幫助我們識別每個兒童的身份和情緒，結(jié)合我們對課程內(nèi)容及教學方法的數(shù)據(jù)分析，開創(chuàng)了幼教領域第一個對教學效果和學生興趣進行分析的全新算法。這些計算結(jié)果結(jié)合Azure的云端部署，可以輕松簡單地在手機及移動端為家長提供孩子的成長檔案，并為老師改進課程提高學生興趣提供更有效的幫助，未來我們還將加入Azure認知服務中的語音語義識別技術(shù)，從更多維度理解兒童成長與教師教學之間的互動效果，從而持續(xù)利用人工智能技術(shù)推動兒童教育的發(fā)展。

當然，在創(chuàng)新技術(shù)的應用中，各種挑戰(zhàn)層出不窮，比如兒童的面部識別精度就比成人要低很多，同時，兒童的表情也非常豐富，有時人工智能并不能像老師一樣讀懂孩子的心。因此，我們也需要不斷與面部智能的專家深入應用場景來探討解決困難。微軟亞洲研究院與微軟加速器不僅關(guān)注技術(shù)研發(fā)，也積極扶持創(chuàng)業(yè)企業(yè)。我們在與微軟亞洲研究院的探討中也得到了非常多的認知技術(shù)幫助，并且有機會使用最新的認知智能技術(shù)來為零售和幼教領域的工作者提供幫助。這不僅是對技術(shù)發(fā)展的支持與創(chuàng)新，更是對社會回饋的最佳方式。

最近，我讀了一本叫做《集裝箱改變世界》的書：海運運輸本來沒有標準化流程，是由互不相連的段落組成的，而且貨物是散裝的。后來，美國公路貨運公司的一位CEO馬爾科姆·麥克萊恩作為海運行業(yè)的外來者，憑借前瞻的視野，創(chuàng)新的技術(shù)以及堅韌的努力，克服了無數(shù)重大挑戰(zhàn)而于1956年研制發(fā)明的集裝箱，成為了整個運輸業(yè)的標準化工具，為全球運輸業(yè)，乃至全球經(jīng)濟都帶來了巨大的進步。我們相信，AI技術(shù)也有如此潛能，它不會取代人，而是幫助人類更好地解決問題：即使是經(jīng)驗豐富的教師，也無法在一瞬間識別班上60多個孩子的喜怒哀樂，而AI能夠“不知疲倦”地識別視野范圍內(nèi)每個孩子的情緒。人的智慧經(jīng)驗結(jié)合AI的計算力，可以幫助幼教行業(yè)成就更多，哪怕我們一開始只能觸及全國1%的幼教市場，我們也能幫助到45萬幼兒接受更好地教育，更加快樂的成長，在未來依靠自己的天賦幸福生活，這就是我們前進的動力。