隨著AI在各個(gè)領(lǐng)域的持續(xù)深入應(yīng)用，AI技術(shù)與傳統(tǒng)行業(yè)不斷的融合，智能時(shí)代成為世界新起點(diǎn)。而城市大腦、安防視頻結(jié)構(gòu)化、人臉識(shí)別、智慧制造、金融建模、智能機(jī)器人、新材料發(fā)現(xiàn)、腦神經(jīng)科學(xué)、醫(yī)學(xué)影像分析等，人工智能時(shí)代的科學(xué)研究和工程實(shí)踐都極度依賴(lài)計(jì)算力的支持。

在智能安防相關(guān)項(xiàng)目中，由于攝像頭數(shù)量巨大、品牌龐雜、同一路圖像需要多種結(jié)構(gòu)化分析、結(jié)構(gòu)化前端可執(zhí)行的結(jié)構(gòu)化內(nèi)容有限、非結(jié)構(gòu)化數(shù)據(jù)量大等問(wèn)題，大多數(shù)用戶(hù)仍然主要依靠后端進(jìn)行數(shù)據(jù)結(jié)構(gòu)化處理。

今天我們給大家?guī)?lái)的是一款全新的依托國(guó)產(chǎn)AI芯片設(shè)計(jì)的超強(qiáng)算力云端AI計(jì)算加速卡，比特大陸算豐SC5+，其在評(píng)測(cè)中體現(xiàn)出的高算力、高性能功耗比、強(qiáng)勁視頻解碼能力、全鏈路加速能力、友好的工具鏈等諸多讓人眼前一亮的特性，都使得該設(shè)備成為一款云端AI計(jì)算基礎(chǔ)設(shè)施的上佳選擇。

標(biāo)準(zhǔn)規(guī)范設(shè)計(jì) 廣泛兼容適配

此次測(cè)試編輯拿到手上的比特大陸算豐SC5+云端AI計(jì)算加速卡外觀設(shè)計(jì)簡(jiǎn)約大氣，采用標(biāo)準(zhǔn)半高半長(zhǎng)尺寸設(shè)計(jì)，通過(guò)實(shí)物比較，該加速卡和英偉達(dá)的P4、T4等是同一規(guī)格尺寸，據(jù)比特大陸技術(shù)人員介紹，該加速卡還可以和英偉達(dá)的P4、T4等在同一臺(tái)算力服務(wù)器中混合使用，充分地考慮了客戶(hù)的利舊應(yīng)用。

和華為Atlas300 AI加速卡的設(shè)計(jì)很相似，SC5+加速卡上搭載了3顆比特大陸自研的BM1684高性能計(jì)算芯片，該芯片已經(jīng)是比特大陸最近三年中推出的第三代云端AI芯片，其可靠性和穩(wěn)定性都已經(jīng)得到了充分的市場(chǎng)驗(yàn)證和認(rèn)可。

另外，該加速卡還可適配各類(lèi)x86服務(wù)器，國(guó)產(chǎn)CPU系統(tǒng)如飛騰、申威、兆芯等;適配各類(lèi)主流Linux操作系統(tǒng)(CentOS/Ubuntu /Debian)，包括國(guó)產(chǎn)麒麟、Deepin;同時(shí)算豐SC系列加速卡產(chǎn)品也是國(guó)內(nèi)首批支持百度PaddlePaddle深度學(xué)習(xí)開(kāi)源框架的硬件產(chǎn)品之一。在2020年3月，百度的Paddle Lite推理開(kāi)源框架宣布和比特大陸實(shí)現(xiàn)全面適配。

令人驚喜的澎湃算力

天下武功，唯快不破。對(duì)安防各類(lèi)以視頻、圖片為核心AI分析要素的業(yè)務(wù)場(chǎng)景而言，每秒的圖片吞吐量（image/second）指標(biāo)至關(guān)重要，這意味著單張?jiān)贫思铀倏ㄗ畲蟮姆逯礎(chǔ)I分析處理能力指標(biāo)越高算力越強(qiáng)。

從標(biāo)稱(chēng)算力來(lái)看，該加速卡可提供高達(dá)105.6T INT8算力(Winograd加速器打開(kāi)的條件下)，以及6.6T FP32算力，支持高精度的浮點(diǎn)計(jì)算和大容量的整型數(shù)值計(jì)算。

a&s此次選擇了評(píng)價(jià)AI芯片最常用的RESNET50開(kāi)源模型，采用業(yè)界通用的ImageNet標(biāo)準(zhǔn)的公開(kāi)數(shù)據(jù)集（5萬(wàn)張圖片），在SC5+加速卡標(biāo)稱(chēng)最強(qiáng)的INT8計(jì)算性能上進(jìn)行了實(shí)跑測(cè)試。在INT8，RESNET 50，Batch=4條件下SC5+圖片吞吐性能達(dá)到3000+ image/second，超過(guò)NVIDIA T4約10%。其他各類(lèi)模型下的吞吐性能也同樣超過(guò)T4（如下圖）。在Mobilenet v1模型下，SC5+的吞吐性能則更是達(dá)到了驚人的9000張以上。

超高算力獲得比

內(nèi)外兼修，方成高手。通過(guò)計(jì)算得知，SC5+加速卡在VGG16等模型下的實(shí)際算力輸出可以達(dá)到70T以上，這意味著其所使用的BM1684芯片的實(shí)際利用率達(dá)到了驚人的75%以上，相比之下，英偉達(dá)GPU的利用率則處于40%-50%的區(qū)間。

以VGG19算力性能實(shí)測(cè)為例：

初始設(shè)置：輸入人臉圖片數(shù)量為50,000張（分辨率為224×224，RGB 3通道模式），線程數(shù)為3；計(jì)算精度：整數(shù)數(shù)據(jù)計(jì)算INT8；

VGG19模型設(shè)置：

基于Caffe 1.0.0-rc3（Convolutional Architecture for Fast Feature Embedding，卷積神經(jīng)網(wǎng)絡(luò)框架），Batch Size為32，其余為配置文件默認(rèn)參數(shù)，模型單次運(yùn)行所消耗的算力為39.26Gops；

通過(guò)上述環(huán)境配置，可以精確計(jì)算出，在進(jìn)行標(biāo)準(zhǔn)的VGG19模型運(yùn)算時(shí)，SC5+加速卡輸出的實(shí)際算力為75.2T。

換句話說(shuō)，雖然英偉達(dá)的GPU標(biāo)稱(chēng)算力指標(biāo)遠(yuǎn)遠(yuǎn)高于比特大陸提供的SC5+加速卡，而通過(guò)實(shí)測(cè)得出的結(jié)論來(lái)看，實(shí)際的算力獲得比顯然是比特大陸遙遙領(lǐng)先，由此也可以看出比特大陸的AI芯片架構(gòu)設(shè)計(jì)確實(shí)有其獨(dú)到之處。對(duì)最終客戶(hù)來(lái)說(shuō)，同樣花一塊錢(qián)，實(shí)際獲得的算力遠(yuǎn)遠(yuǎn)超過(guò)同類(lèi)產(chǎn)品，相信所有的客戶(hù)都會(huì)愿意自己花費(fèi)真金白銀買(mǎi)到的是實(shí)際算力而非是紙面上標(biāo)稱(chēng)很高的算力指標(biāo)。

優(yōu)勢(shì)盡顯的性能功耗比

同樣的，在性能功耗比方面，單位功耗下的SC5+輸出實(shí)際算力超出NVIDIA T4的指標(biāo)接近一倍，證明SOPHON AI芯片框架的能效比優(yōu)勢(shì)明顯（如下圖）。

性能功耗比：TESLA T4 vs SC5+

強(qiáng)大的視頻解碼能力

對(duì)安防應(yīng)用場(chǎng)景而言，大量高清網(wǎng)絡(luò)視頻流的接入是最普遍應(yīng)用的場(chǎng)景，攝像頭的圖像格式更是與日俱新，不斷提升，從200萬(wàn)，300萬(wàn)，500萬(wàn)，到現(xiàn)在的800萬(wàn)乃至千萬(wàn)級(jí)像素的網(wǎng)絡(luò)攝像機(jī)已經(jīng)開(kāi)始應(yīng)用，AI解析首先需要對(duì)這些超高分辨率的視頻或者圖像進(jìn)行解碼還原，再進(jìn)行各類(lèi)AI算法的解析計(jì)算。

SC5+具備高達(dá)2880fps，約合114路1080P@25fps高清視頻流的硬解碼能力，堪稱(chēng)國(guó)產(chǎn)解碼能力最強(qiáng)的AI加速卡。最大解碼分辨率可支持到8K級(jí)別(半實(shí)時(shí))。

在圖片解碼能力方面，SC5+單卡具備1440 img/s以上的圖片解碼能力。最大圖片解碼分辨率可以達(dá)到32768*32768 pixels。這使得SC5+在解析某些超大型的拼接圖像時(shí)，如工業(yè)流水線的長(zhǎng)畫(huà)幅連續(xù)檢測(cè)圖像、高分辨率全景攝像機(jī)生成的多畫(huà)面拼接圖像等，具備充足的解碼能力。

高度可擴(kuò)展的視頻轉(zhuǎn)碼能力

SC5+具備支持將接入的全部視頻資源轉(zhuǎn)換為不低于32Kbps低碼流(25幀、CIF分辨率)和不低于1Mbps高碼流（25幀）兩種符合H.264標(biāo)準(zhǔn)的碼流。并可隨板卡的數(shù)量增加進(jìn)行線性擴(kuò)展，支持超大容量的視頻接入轉(zhuǎn)碼。

視頻轉(zhuǎn)碼功能在當(dāng)前主流AI加速卡上并不多見(jiàn)，對(duì)于視頻上云需求越來(lái)越普遍而帶寬條件又不能滿(mǎn)足需求的視頻大聯(lián)網(wǎng)系統(tǒng)，比如高速公路、電力、森林防火等跨地域分散廣密度低的視頻監(jiān)控場(chǎng)景，SC5+ AI加速卡無(wú)疑是非常好的選擇。

人臉識(shí)別算法實(shí)測(cè)性能強(qiáng)大

測(cè)試人員在PC服務(wù)器上安裝1塊SC5+加速卡。首先接入16路網(wǎng)絡(luò)視頻流，對(duì)視頻進(jìn)行全鏈路的視頻解碼、視頻前后處理、人臉檢測(cè)和識(shí)別比對(duì)等操作，在16路1080P視頻流輸入的情況下，每路視頻畫(huà)面實(shí)時(shí)呈現(xiàn)多個(gè)測(cè)試人臉圖像，SC5+加速卡的單顆芯片可以完全實(shí)時(shí)的滿(mǎn)幀處理人臉檢測(cè)、跟蹤、比對(duì)，并輸出識(shí)別比對(duì)結(jié)果（如下圖）。

實(shí)測(cè)中，將輸入視頻路數(shù)增加到48路1080P，每路視頻畫(huà)面同時(shí)呈現(xiàn)多個(gè)測(cè)試人臉圖像，所有的AI計(jì)算任務(wù)被均勻分配到3顆計(jì)算芯片上，單張板卡可以完全實(shí)時(shí)的滿(mǎn)幀處理48路人臉檢測(cè)和跟蹤（如下圖）。

此次測(cè)試僅僅是滿(mǎn)幀處理情況，并未做業(yè)務(wù)流程的部署優(yōu)化，所使用的人臉?biāo)惴ㄒ彩腔陂_(kāi)源算法修改的測(cè)試算法。如果采用AI用戶(hù)的自有算法和適度優(yōu)化后，可以實(shí)現(xiàn)更高路數(shù)的人臉識(shí)別和視頻結(jié)構(gòu)化分析能力，可以說(shuō)該加速卡的端到端的全流程加速能力確實(shí)十分強(qiáng)大。

簡(jiǎn)單易上手的系統(tǒng)軟件

本次測(cè)試中，測(cè)試人員也體驗(yàn)了比特大陸的AI開(kāi)發(fā)工具包BMNNSDK2，比特大陸的算豐AI芯片的多種產(chǎn)品（板卡、模組、邊緣盒子）均使用同一套統(tǒng)一的工具鏈和系統(tǒng)軟件。

其中的工具鏈對(duì)開(kāi)發(fā)人員非常友好，支持Caffe、TensorFlow、Pytorch、Mxnet、Darknet、PaddlePaddle等眾多的深度學(xué)習(xí)框架，編譯和校準(zhǔn)工具自動(dòng)化程度很高，非常易用；

伴隨SC5+加速卡，比特大陸同步提供了底層驅(qū)動(dòng)程序、編譯器、推理部署工具、BM-SMI性能監(jiān)視工具等一系列軟件工具；

對(duì)應(yīng)的開(kāi)發(fā)SDK接口軟件包中包括神經(jīng)網(wǎng)絡(luò)運(yùn)行庫(kù)、視頻編解碼庫(kù)、圖像編解碼庫(kù)、圖像處理庫(kù)等；為了方便部分初級(jí)開(kāi)發(fā)者和應(yīng)用集成開(kāi)發(fā)者，比特大陸還提供專(zhuān)門(mén)用于上層應(yīng)用系統(tǒng)對(duì)接的Python開(kāi)發(fā)接口，開(kāi)發(fā)代碼量從幾百上千行簡(jiǎn)化到幾行幾十行；而對(duì)于專(zhuān)業(yè)開(kāi)發(fā)者，比特大陸提供了BMLANG面向TPU的高級(jí)編程模型，可以充分地支持自定義算子在AI芯片上實(shí)現(xiàn)加速運(yùn)算。

產(chǎn)品特色

1、硬件采用標(biāo)準(zhǔn)化規(guī)范設(shè)計(jì)，同時(shí)還可與其他加速卡混合使用，利舊性強(qiáng);

2、兼容各類(lèi)服務(wù)器和操作系統(tǒng)，應(yīng)用場(chǎng)景廣泛。

3、具有超強(qiáng)算力、超高算力獲得比和性能功耗比，性?xún)r(jià)比高。

4、強(qiáng)大的視頻解碼能力，每張卡支持約114路1080P@25fps硬解碼，最大解碼分辨率可達(dá)8K。

5、完備易用的工具鏈，AI用戶(hù)二次開(kāi)發(fā)方便快捷。

點(diǎn)評(píng)

武林至尊，寶刀屠龍，倚天不出，誰(shuí)與爭(zhēng)鋒。在AI+安防這個(gè)江湖中，英偉達(dá)無(wú)疑是號(hào)令江湖已久，而本次我們測(cè)試的比特大陸SC5+計(jì)算加速卡就是初次亮相江湖的倚天劍，無(wú)論在各個(gè)方面的表現(xiàn)都達(dá)到并有所超越國(guó)際主流產(chǎn)品的水平，算力強(qiáng)勁，利用率高，全流程加速能力強(qiáng)大，易用易維護(hù)，確實(shí)是一款云端AI計(jì)算基礎(chǔ)設(shè)施建設(shè)的首選產(chǎn)品。

即使有了天下最神奇的劍法，還需要一把神兵利劍來(lái)成就江湖中的高手劍客。預(yù)計(jì)比特大陸算豐SC5+會(huì)在眾多的智慧城市、城市大腦、云端算力中心、雪亮工程、醫(yī)療影像、智慧制造等領(lǐng)域，加速各類(lèi)型AI應(yīng)用場(chǎng)景的普及。

重要規(guī)格參數(shù)