淺談AI跑分機制，蘇黎世ETHZ測試軟件解讀

智能手機技術正迎來摩爾定律的發展瓶頸，移動處理器的性能增長越來越慢，但用戶對計算能力的需求增速卻並未減緩，甚至在人工智能、大數據、物聯網等興起後，對計算能力、計算功耗和計算成本反而有了新的要求。目前單純的CPU或GPU性能已經無法滿足新型運算的需求，而隨著移動AI時代的到來，AI芯片也成為突破摩爾定律的希望，但AI芯片的性能有多強，目前的評判標準也大不相同。

以往說到對一款芯片的性能評判，最簡單粗暴的方式就是借助於跑分軟件，例如知名的GeekBench、3DMark、安兔兔、魯大師等，這些性能測試軟件在曾經的CPU+GPU協作時代聞名遐邇，一度成為對性能評估的直觀工具。但是面對AI芯片復雜而不斷叠代的運算模型和跳出傳統框架的算力邏輯，使得傳統測試軟件對AI芯片的測試方法追趕已顯得力不從心。

例如近期聯發科推出的全新Helio P90單系統SoC解決方案，這款芯片在AI方面為用戶展現了極強的算力，憑借APU 2.0的運算加速，該芯片的綜合跑分數據高達25645分，一舉超過了高通驍龍855平臺的22082分，大勝同級別的其他競爭對手，引起業界震動。而隨著跑分數據的公布，一個很少為人知的專用AI跑分軟件ETHZ AIBenchmark(也被稱之為蘇黎世跑分)也浮出了水面。

聯發科P90在蘇黎世跑分軟件中擊敗競爭對手，實現AI性能領先。(圖/網絡)

這款針對AI芯片的跑分軟件由有著“歐陸第一名校”之稱的蘇黎世聯邦理工學院研發，該校所屬的人工智能實驗室在全球機器視覺、深度學習和機械工程等方面都有著深厚的積累，培養出了無數人工智能領域的人才。而這款AI跑分軟件也是其在針對性測試領域的集大成之作，因為對AI的綜合能力有一個準確的判斷受到了業內的認可，包括華為P20、iPhone X等同樣鎖定AI的手機均非常看中這款測試軟件的得分表現。

相比於傳統的跑分測試軟件，蘇黎世聯邦理工學院研發的這款AIBenchmark在對AI的評測上可以說是與眾不同。例如為了確定智能手機是否功能強大，且能否以快速運行最新的深度神經網絡來執行基於AI的任務，它就提供了8大項的核心測試環節：

MobileNet-V1神經網絡的目標識別/分類

對象識別/初始分類-V3神經網絡

人臉識別

圖像去模糊

基於CPU、NPU、DSP的VG-19神經網絡圖像超分辨率

僅在CPU上的SRGAN神經網絡的圖像超分辨率

語義圖像分割

照片增強

AI基準測試中使用到的深度學習模型的特征總結(圖/網絡)

相比於傳統的跑分測試軟件來說，這8大測試環節基本上已經可以覆蓋到目前大部分的AI實踐運算，例如AI物體識別(測試1/2/3)、AI影像分類(測試7)、AI圖像增強(測試4/5/6/8)等，而它為了完整發揮平臺的AI算力，它不只支持Android神經網絡API，也可以支持芯片廠商定制的程序，以充分調動芯片廠商CPU、GPU、ISP等多個硬件進行協同處理。

例如在針對聯發科P90的AI算力測試部分，蘇黎世的跑分機制就將其分為了三組，第一組(測試1，2，3項目)中，將使用完全由Android神經網絡API(NNAPI)支持的CNN模型，測試會對移動設備進行硬件加速，主要測試的部分圍繞著視覺感知來進行，包括常見的目標識別、目標分類和人臉識別等抽象級圖形部分。但為達到這一環節的測試需要芯片組有每秒10到100G的MACs(每秒乘累加次數)的運算能力，基本上目前大部分的設備都可以完成這一部分的操作。

第二組(測試7)真要針對的是圖形語言分割部分。與第一組的圖像分類相比，這部分主要是獲得像素級圖像理解以方便後期的分割動作，這項測試意味著每個像素必須被獨立歸類，例如行人、家具、道路，天空，植被等，此外還必須進行圖形的主題深度估計和運算估計，這部分基本上要求到50到500G MACs的運算能力，考慮一般低性能的設備很難實現快速準確的分割設計，所以這部門對算力其實已經有了很高的要求。

第三組(測試4、5、6、8)則是使用CNN結構(Convolutional Neural Network，卷積神經網絡技術，即基於深度學習)的端到端的超分辨率算法SRCNN(Super-Resolution)進行的圖形像素化部分，主要測試的部分包括圖形去模糊、多元化的圖像超分辨率和圖形增強，目前傳統的手動編碼框架對物體識別的精度基本上都沒有超過74%，而2012年引入的深度神經網絡(DNNS)則將這一準確率提高到84%，不過在微軟、Google等企業的推動下，這部分的準確率已經高達96%，不僅遠超出人類的辨別能力，而且也大幅改善了AI的實用能力。

不過由於這個部分中ResNet架構和CNN將會發揮重大的作用，由於涉及到圖片的重構、模擬、訓練和補充，不僅需要消耗極大量的浮點運算和視覺還原(涉及在GPU或特制AI加速器上運行神經網絡)，還對設備在CPU、GPU、NPU(APU)等提出了相當大的協作處理能力，通常要求每秒高達200-5000 GMACs的運算能力，如果不是定位高端芯片或設備基本很難完成這一項，而聯發科P90最終也以其高達1127 GMACs的算力，在這一領域取得第一的優異成績。

從ETHZ蘇黎世AI Benchmark的工作機制來看，目前國產AI跑分軟件在AI層面似乎就顯得初級了些，這些跑分軟件目前大部分都僅使用了Inception V3，ResNet 34，VGG16(測試2、3、5)這三項神經網絡的測試指標，而這三項指標雖然也能判別AI識別圖像的能力，但還只能停在浮點運算或者是智能識圖方面，且基本上都是通過算法和統計和評估AI時，測試框架非常單一，對於AI芯片今後能作為廣泛用途的項目測試或是較新的算法則根本沒有涉足，所以目前市面上常見的傳統AI跑分測試軟件其實很難客觀的對AI芯片做出正確評價。

雖然ETHZ蘇黎世跑分軟件並不是第一個測試AI性能的應用，但就目前來看它確實是最全面的的AI評分軟件。它不僅能夠把AI性能測試細分為9個部分進行檢測，大家熟知的智能識圖僅僅只是其中一項，其他的還包括人臉，圖像降噪，畫面分割等項目均包含在內，不僅實現了對主流AI應用的測試，還進一步深入到對AI未來技術框架的能力探索評估中。當然更具意義的是，此前人工智能開發主要由PC和服務器上使用，很少考慮智能手機操作環境中的需求，而ETHZ蘇黎世跑分顯然有助於智能手機廠商對AI的不斷優化。

所以從ETHZ蘇黎世跑分軟件中我們也發現，聯發科Helio P90確實有其亮點所在，得益於獨特的AI專核和APU 2.0加速引擎，這款芯片實現了前所未有的AI算力突破，高達25645分的成績不僅位居第一，而且也實現了對其競爭對手高通的反擊。另外根據數據顯示，聯發科P90的AI 算力高達 1127GMACs(每秒可操作11270億次定點乘累加次數)，而例如驍龍845的成績大約是每秒600 GMAC、麒麟970的數值大概是450 GMAC左右，所以聯發科P90在AI領域實際上已經走到了行業前列。

從目前聯發科專註AI的策略來看，這個思路是對的。更關鍵的是，聯發科正在以AI體驗作為重心點，基於Helio P90的AI算力推出了3D人體姿態識別與追蹤、AI焦點直播、AI人像留色、AI降噪夜拍等一系列讓用戶能感知到的應用特性，以用戶體驗取代了傳統的跑分和參數，不僅顛覆了智能手機市場的遊戲規則，也讓聯發科在新高端的品牌轉型之路上站穩了腳跟。

來源：搜狐