東西6月17日報道本周四上午，國際頂級學(xué)術(shù)期刊《科學(xué)》公布了清華大學(xué)神經(jīng)擬態(tài)芯片的最新研究成果。

2019年8月，史教授團(tuán)隊研發(fā)的全球首款異構(gòu)融合類腦計算芯片天空運(yùn)動登上國際頂級學(xué)術(shù)期刊《自然》封面，并展示了這款芯片如何驅(qū)動自動駕駛自行車實現(xiàn)自動控制平衡，識別語音命令，檢測前方行人，自動避障。

這一成果被當(dāng)時的《自然》主編Skipper博士譽(yù)為人工智能領(lǐng)域的重要里程碑，成為2019年科學(xué)界的研究熱點(diǎn)之一。

這一次，在以前工作的基礎(chǔ)上，該團(tuán)隊開發(fā)了一種28納米神經(jīng)模擬芯片，命名為TianjicX。

天機(jī)cX的峰值動態(tài)能效為3.2TOPS/W，片上存儲帶寬為5.12tb/s，單位面積計算能力高達(dá)0.2TOPS/mm2，支持計算資源的自適應(yīng)分配和各任務(wù)執(zhí)行時間的調(diào)度。

研究團(tuán)隊構(gòu)建了搭載該芯片的多智能任務(wù)移動機(jī)器人天機(jī)貓，并將其設(shè)計成一只貓，參與貓捉老鼠的游戲。

實驗結(jié)果表明，與NVIDIA Jetson TX2相比，在天機(jī)cX上運(yùn)行多個網(wǎng)絡(luò)的延遲大幅降低約98.74%，動態(tài)功耗降低50.66%。

筆者認(rèn)為，天機(jī)cX為移動智能機(jī)器人計算硬件的研發(fā)開辟了一條新的路徑，使其能夠低延遲，低功耗地在本地執(zhí)行密集復(fù)雜的任務(wù)，支持多種跨計算范式神經(jīng)網(wǎng)絡(luò)模型以多種協(xié)調(diào)方式在機(jī)器人中并行執(zhí)行。

地址:doi:10.1126/sci robotics . abk 2948

1.設(shè)計移動智能機(jī)器人的硬件必須滿足三個核心要求。

移動機(jī)器人的長遠(yuǎn)目標(biāo)是在處理復(fù)雜未知環(huán)境時達(dá)到接近人類水平的智能。

最近幾年來，伴隨著人工智能的快速發(fā)展，各種神經(jīng)網(wǎng)絡(luò)算法被廣泛應(yīng)用于機(jī)器人中神經(jīng)網(wǎng)絡(luò)算法通常是計算密集型的為了在移動機(jī)器人上高效實現(xiàn)各種神經(jīng)網(wǎng)絡(luò)，創(chuàng)新計算機(jī)硬件和高效計算顯得尤為必要

1.需要低延遲地支持多個神經(jīng)模型的本地并發(fā)執(zhí)行，這是提高實時處理能力的關(guān)鍵。

2.在處理動態(tài)場景時，必須靈活部署多個模型，以實現(xiàn)低延遲，高效率和高并發(fā)性之間的平衡。

3.為了在開放環(huán)境中實現(xiàn)高硬件利用率和適應(yīng)性，必須支持異步執(zhí)行和靈活交互。

可是，現(xiàn)有的計算硬件解決方案在滿足這些要求時面臨不同的困難由于底層架構(gòu)或執(zhí)行模型的固有瓶頸，現(xiàn)有的計算硬件無法在本地實現(xiàn)很多低延遲，高效率的密集型算法

通用處理器通常無法提供大規(guī)模并行計算，導(dǎo)致機(jī)器人系統(tǒng)執(zhí)行神經(jīng)網(wǎng)絡(luò)時成本低，功耗高圖形處理器具有很強(qiáng)的可編程性和高并行性，但頻繁的片外內(nèi)存訪問和與CPU的交互導(dǎo)致其功耗高，利用率低

最近幾年來，世界上出現(xiàn)了許多性能大大提高的AI計算硬件基于FPGA和特定應(yīng)用設(shè)計的深度學(xué)習(xí)加速器可以通過定制的架構(gòu)優(yōu)化提供更高效的加速

這些加速器基于傳統(tǒng)的馮諾依曼架構(gòu)，但伴隨著神經(jīng)網(wǎng)絡(luò)多樣性和多任務(wù)性的顯著增加，其硬件利用率和調(diào)度靈活性將面臨巨大挑戰(zhàn)，難以同時在機(jī)器人中實現(xiàn)許多不同的高性能算法。

相比之下，非馮諾依曼架構(gòu)的神經(jīng)擬態(tài)芯片是同時執(zhí)行多個神經(jīng)網(wǎng)絡(luò)模型的更好選擇。

目前，神經(jīng)擬態(tài)芯片通常采用預(yù)先配置內(nèi)核的方式，通過空間切片來流水線化神經(jīng)網(wǎng)絡(luò)每個內(nèi)核在不同的執(zhí)行周期重復(fù)執(zhí)行預(yù)配置操作，導(dǎo)致資源分配不靈活，資源利用率不足

因此，清華大學(xué)的研究人員開發(fā)了一種神經(jīng)模擬芯片TianjicX。

天基信芯片

芯片在任務(wù)執(zhí)行和協(xié)作過程中具有時空靈活性，即硬件具有自適應(yīng)分配任務(wù)的計算資源和執(zhí)行時間的能力。

2.三個關(guān)鍵層次的拆卸:架構(gòu)，芯片和機(jī)器人系統(tǒng)。

天機(jī)cX可以實現(xiàn)跨計算范式的神經(jīng)網(wǎng)絡(luò)模型的真正并發(fā)執(zhí)行，包括神經(jīng)網(wǎng)絡(luò)，脈沖神經(jīng)網(wǎng)絡(luò)及其混合，應(yīng)用于多智能任務(wù)機(jī)器人。

為多智能任務(wù)機(jī)器人設(shè)計計算硬件面臨兩個關(guān)鍵挑戰(zhàn):一是滿足延遲并發(fā)的性能要求，尤其是不同神經(jīng)網(wǎng)絡(luò)實現(xiàn)的性能要求，第二，在支持任務(wù)間交互的同時，保持每個任務(wù)的獨(dú)立執(zhí)行不受干擾。

為了克服這些挑戰(zhàn)，研究人員從架構(gòu)，芯片和模型部署等不同層面進(jìn)行了一系列設(shè)計。

面向多任務(wù)機(jī)器人的仿神經(jīng)計算平臺

多任務(wù)機(jī)器人神經(jīng)擬態(tài)計算平臺的關(guān)鍵設(shè)計包括三個層次:1)溪流執(zhí)行模型，2)專用編譯器的天機(jī)cX芯片，3)基于天機(jī)cX的機(jī)器人系統(tǒng)。

1.架構(gòu):設(shè)計溪流執(zhí)行模型。

研究人員首先開發(fā)了Rivulet執(zhí)行模型，通過可配置的原語序列和同步—異步混合執(zhí)行機(jī)制來解決效率，靈活性和適應(yīng)性之間的關(guān)鍵沖突，從而彌合機(jī)器人需求和具體硬件實現(xiàn)之間的差距。

Rivulet模型抽象了神經(jīng)網(wǎng)絡(luò)的基本執(zhí)行活動，將神經(jīng)網(wǎng)絡(luò)和SNN統(tǒng)一為靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)，為資源分配和任務(wù)調(diào)度提供了一個具體的可操作和可描述的實體。

在此基礎(chǔ)上，研究團(tuán)隊構(gòu)建了時空切片相結(jié)合的資源模型來管理多個小流，并通過虛擬分組以同步—異步混合分組的方式設(shè)計了小流的實現(xiàn)，可以支持多個獨(dú)立或交互的小流。

小溪執(zhí)行模型的解釋

該模型為天機(jī)芯片的架構(gòu)奠定了基礎(chǔ)。

2.芯片:28納米工藝，160個FCore內(nèi)核。

為了有效地實現(xiàn)流模型，計算硬件需要支持高效的多流執(zhí)行，核心進(jìn)程控制，虛擬分組以及流之間的通信，調(diào)制和相互調(diào)度。

在這方面，研究人員開發(fā)了一種基于28納米互補(bǔ)金屬氧化物半導(dǎo)體的神經(jīng)模擬芯片TianjicX。

該芯片集成了160個可配置的跨計算范式核心，大規(guī)模并行計算單元和豐富的片上存儲，采用非馮諾依曼高度并行多核分布式架構(gòu)，滿足Rivulet的運(yùn)算要求。

天基信硬件架構(gòu)

為了支持高效的跨范式計算和靈活的可編程性和調(diào)度能力，研究人員從生物神經(jīng)元中汲取靈感，設(shè)計了具有統(tǒng)一功能核心的微架構(gòu)在內(nèi)核中，平衡計算和調(diào)度的專用控制器本地管理每個內(nèi)核，從而提高通用性和效率

研究人員還設(shè)計了具有多精度計算的統(tǒng)一原語指令集，以支持人工神經(jīng)網(wǎng)絡(luò)，SNN和交叉建模的高可編程性和通用性，并進(jìn)一步將原語劃分到不同的硬件模塊中，以確保硬件資源的最大共享。

此外，通過核心的事件驅(qū)動設(shè)計和多級分組，不同的神經(jīng)網(wǎng)絡(luò)可以根據(jù)環(huán)境的動態(tài)變化異步執(zhí)行和全局交互研究團(tuán)隊還進(jìn)一步開發(fā)了使用時空映射方法部署模型的編譯器棧，充分利用了天機(jī)cX的靈活性，可以根據(jù)不同場景的實際需求靈活配置多個任務(wù)

編譯器堆棧包含轉(zhuǎn)換器，映射器和代碼生成器。

3.機(jī)器人系統(tǒng):可以實時完成很多智能任務(wù)。

天機(jī)cX芯片可以提高機(jī)器人在復(fù)雜動態(tài)環(huán)境下處理多用途，多智能任務(wù)的能力。

具體來說，靈活的資源分配可以提高硬件利用率，滿足機(jī)器人不同的性能需求獨(dú)立的執(zhí)行上下文使機(jī)器人能夠并發(fā)和異步地執(zhí)行多個任務(wù)，支持任務(wù)間的交互，可以保證機(jī)器人多個模塊的順利協(xié)作

研究團(tuán)隊制作了一個配備了天機(jī)cX芯片和多模態(tài)傳感器的移動機(jī)器人天機(jī)貓，并設(shè)計了一個天機(jī)貓扮演貓的貓鼠游戲。

通過實現(xiàn)不同的神經(jīng)網(wǎng)絡(luò)和SNN模型，機(jī)器人可以實時完成許多任務(wù)，如語音識別，聲源定位，目標(biāo)檢測和識別，避障和決策。

03.詳細(xì)解釋一下芯片特性，還有《捉迷藏》中的能效超過英偉達(dá)TX2。

天機(jī)cX芯片采用UMC 28nm高性能緊湊型CMOS工藝，F(xiàn)BGA—225封裝芯片的物理布局如下圖所示

天機(jī)cX芯片的芯片布局，F(xiàn)Core核心區(qū)和FCore核心區(qū)劃分

該芯片包括160 FCore和一個用于片間通信的高速串行化/去串行化接口該控制器僅占用FCore面積的1%左右，但它顯著提高了任務(wù)執(zhí)行和交互的靈活性和效率核心存儲模塊由五個靜態(tài)隨機(jī)存取存儲器(SRAM)模塊組成，總?cè)萘繛?44千字節(jié)通過高位寬并行讀寫訪問接口，在400MHz時鐘頻率下，整個芯片的存儲器訪問帶寬可以達(dá)到5.12tb/s

天基信芯片的主要特性和性能

研究人員通過實驗評估了天機(jī)cX芯片的性能，主要關(guān)注功耗，延遲和吞吐量。

兩種主流的神經(jīng)網(wǎng)絡(luò)模型MobileNet和ResNet50是通過不同的映射策略實現(xiàn)的下圖是天機(jī)cX芯片的處理速度與功耗的關(guān)系

評估MobileNet和ResNet50的性能和功耗，演示GPU，CPU和神經(jīng)網(wǎng)絡(luò)加速器的性能。

為了進(jìn)行對比，研究人員還繪制了不同類型的GPU，CPU和深度學(xué)習(xí)加速器的性能對比。

可以看出，天機(jī)cX以適中的功耗實現(xiàn)了對MobileNet的高速圖像處理，可見其在邊緣應(yīng)用上的競爭力另外，天機(jī)cX可以低功耗處理ResNet50

實驗結(jié)果顯示了天機(jī)cX支持大規(guī)模人工神經(jīng)網(wǎng)絡(luò)，SNN和混合脈沖/非脈沖模型的潛力。

代表性SNN和混合動力車型的性能和功耗

通過優(yōu)化映射策略，可以進(jìn)一步提高TianjicX的性能研究結(jié)果表明，天機(jī)cX具有處理多尺度，跨范式的單個神經(jīng)網(wǎng)絡(luò)模型的能力，這是支持神經(jīng)網(wǎng)絡(luò)模型多任務(wù)處理的關(guān)鍵

為了展示天璣cX在多任務(wù)智能機(jī)器人應(yīng)用方面的能力，天璣cat是一個移動機(jī)器人開發(fā)平臺，它是在一輛經(jīng)過改裝的移動汽車的基礎(chǔ)上構(gòu)建的，配備了天璣cX芯片陣列和多模態(tài)傳感器，如下圖所示。

天機(jī)貓機(jī)器人，開發(fā)板，天機(jī)cX芯片陣列材料圖

開發(fā)板由4個4×1陣列的天機(jī)cX芯片組成，可以根據(jù)需要控制一個或多個芯片值得注意的是，這些芯片可以單獨(dú)激活接下來的實驗中，只激活了一個天機(jī)cX芯片來實現(xiàn)各種神經(jīng)網(wǎng)絡(luò)，其他三個芯片都沒有激活

研究人員進(jìn)一步在復(fù)雜的動態(tài)環(huán)境中設(shè)計了一個具有挑戰(zhàn)性的貓捉老鼠游戲。

天機(jī)貓機(jī)器人場景五種主要狀態(tài)示意圖

天機(jī)貓扮演一只貓的角色，試圖抓住一只隨機(jī)奔跑的電子鼠各種障礙物隨機(jī)動態(tài)放置在不同位置

這只機(jī)器貓需要通過視覺識別，聲音追蹤或兩者結(jié)合的方式追蹤鼠標(biāo)，然后在不與障礙物發(fā)生碰撞的情況下向鼠標(biāo)移動，最后追上它。

在這個過程中，使用了多種神經(jīng)網(wǎng)絡(luò)算法來實現(xiàn)實時場景中的語音識別，聲源定位，目標(biāo)檢測，避障和決策因此，這些神經(jīng)網(wǎng)絡(luò)算法的協(xié)同和并發(fā)處理是關(guān)鍵

在這項工作中，輕量級檢測卷積神經(jīng)網(wǎng)絡(luò)用于端到端多目標(biāo)檢測，SNN作為聲音處理神經(jīng)網(wǎng)絡(luò)的事件驅(qū)動開關(guān)，CNN—GRU(門控循環(huán)單元)混合網(wǎng)絡(luò)用于估計聲源位置，基于SNN的神經(jīng)狀態(tài)機(jī)(NSM)用于多網(wǎng)絡(luò)調(diào)度和策略決策。

SN可以通過固有的神經(jīng)元動力學(xué)記憶時間信息，并將信息編碼成二進(jìn)制脈沖序列其基于閾值的機(jī)制自然類似于決定是否激活聲音定位網(wǎng)絡(luò)的開關(guān)因此，研究者選擇SNN模型作為本課題中的切換神經(jīng)網(wǎng)絡(luò)

SN和GRU使用相同的基于CNN的特征提取器進(jìn)行語音預(yù)處理該算法以異步和并行的方式部署在單個天機(jī)cX芯片上根據(jù)不同網(wǎng)絡(luò)對計算性能的要求，采用混合時空映射方法對天機(jī)cX芯片有限的硬件資源進(jìn)行優(yōu)化分配

多任務(wù)的資源占用:這些網(wǎng)絡(luò)都映射在一個天機(jī)cX芯片上，實現(xiàn)靈活的資源共享。

整個系統(tǒng)占用128個FCore，這些FCore被分配給四個步驟組，以事件驅(qū)動的方式執(zhí)行。

天機(jī)cX上外部事件驅(qū)動異步并行多任務(wù)執(zhí)行圖

特別是，由audio—CNN提取的特征被GRU和SNN共享因此，通過在空間和時間上對rivulet進(jìn)行切片，兩個網(wǎng)絡(luò)可以重用同一個FCore集群與兩個未優(yōu)化的獨(dú)立FCore集群相比，存儲消耗降低了8.2%，但處理時間沒有增加

由于即時原語機(jī)制，任務(wù)之間的協(xié)作和數(shù)據(jù)傳輸不需要由其他硬件來調(diào)度與NVIDIA Jetson TX2相比，天機(jī)cX上多個網(wǎng)絡(luò)的計算響應(yīng)延遲降低了約98.74%

相對于多個神經(jīng)網(wǎng)絡(luò)在GPU中的串行執(zhí)行，整個機(jī)器人系統(tǒng)可以采用事件驅(qū)動的方式靈活運(yùn)行，具有高度的并行性。

每個神經(jīng)網(wǎng)絡(luò)只在更新外部傳感器的相應(yīng)輸入時執(zhí)行，所以功耗低此外，多任務(wù)處理的特點(diǎn)是高效的異步并行執(zhí)行和交互，對單個任務(wù)對其輸入的響應(yīng)影響可以忽略不計

各神經(jīng)網(wǎng)絡(luò)模型的延遲，功耗，功效如下圖所示。

在同時處理五個神經(jīng)網(wǎng)絡(luò)時，這款catch me if you can在一個天機(jī)cX芯片中使用了128個核，總動態(tài)功耗約為0.6W與TX2相比，天機(jī)cX的動態(tài)功耗降低了50.66%。

這些結(jié)果表明，對于多任務(wù)智能機(jī)器人應(yīng)用，天機(jī)cX能夠以低延遲和高能效實現(xiàn)高實時性能。

04.結(jié)論:未來我們將探索神經(jīng)擬態(tài)的硬件和機(jī)器人計算的更多可能性。

移動機(jī)器人的快速發(fā)展帶來了根據(jù)其獨(dú)特需求設(shè)計替代計算硬件的機(jī)會。

神經(jīng)擬態(tài)體系結(jié)構(gòu)不僅可以用于提高智能水平，還可以為替代計算體系結(jié)構(gòu)設(shè)計方法提供思路，包括以分散方式進(jìn)行資源分配，事件驅(qū)動的執(zhí)行和調(diào)度，通過類似神經(jīng)網(wǎng)絡(luò)的活動進(jìn)行近似計算，用特殊硬件體系結(jié)構(gòu)實現(xiàn)通用系統(tǒng)等等。

與傳統(tǒng)的神經(jīng)擬態(tài)芯片相比，天機(jī)cX可以充分利用智能算法的數(shù)據(jù)局部性，提高內(nèi)存利用率，支持多種數(shù)據(jù)移動模式，增強(qiáng)可編程性。