新聞資訊

自計算機(jī)時代來臨以來，全世界一直致力于精密計算機(jī)芯片的研發(fā)。正如我們所知，數(shù)字世界是無窮無盡的 1 和 0 的結(jié)果，芯片上處理的常數(shù)和具有明確的答案。但是在精確度不太重要的情況下可以進(jìn)行什么樣的計算呢？

在計算中，處理過程中花費的大部分時間和精力都花在了在設(shè)備的處理器和內(nèi)存之間來回移動電子上。多年來，IBM 的研究人員一直致力于開發(fā)模擬內(nèi)存計算機(jī)芯片，計算是在內(nèi)存本身中進(jìn)行的。這些芯片的目標(biāo)既是為了節(jié)省能源，也是為了構(gòu)建可用于訓(xùn)練和推理人工智能系統(tǒng)的設(shè)備。

我們使用計算機(jī)計算的內(nèi)容始終需要精確。

您無法猜測火箭的飛行路徑，或者希望您的稅務(wù)軟件能夠計算出您當(dāng)年應(yīng)該支付的金額。但生活中有些事情并不一定要那么準(zhǔn)確。例如，如果你在一個國家學(xué)習(xí)如何開車，你就會知道即使你從未見過另一個國家，你也很可能能夠弄清楚停車標(biāo)志看起來像另一個國家。

在今年的 IEEE 國際電子設(shè)備會議 (IEDM) 上，IBM 研究人員展示了詳細(xì)介紹未來高效模擬芯片如何用于深度學(xué)習(xí)（用于訓(xùn)練和推理）的工作。

在構(gòu)建 AI 系統(tǒng)時，您必須根據(jù)數(shù)據(jù)訓(xùn)練模型。首次訓(xùn)練模型時，模型推斷您想要什么的能力很差，無論是識別貓的照片還是尋找新的藥物創(chuàng)意。您可能必須運行該模型，根據(jù)您的結(jié)果調(diào)整其權(quán)重，然后再次運行該模型，重復(fù)直到它達(dá)到您所追求的準(zhǔn)確度水平。因此，在已經(jīng)訓(xùn)練好的模型上運行推理比從頭開始訓(xùn)練模型要容易一些也就不足為奇了。

但這并非沒有挑戰(zhàn)的任務(wù)。研究員 Julian Buechel 在 IEDM 上發(fā)表了一篇論文，稱 IBM 的一組研究人員一直在研究如何將模型的權(quán)重準(zhǔn)確地映射到模擬存儲芯片上以運行推理任務(wù)。

該團(tuán)隊的工作表明相變存儲器設(shè)備有可能用于將神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重映射到模擬傳導(dǎo)設(shè)備值。這些電導(dǎo)值需要準(zhǔn)確，在過去，研究人員不得不向設(shè)備的每個cell發(fā)送電脈沖以弄清楚它是如何加權(quán)的，這可能很耗時。回讀時，每個電池不會輸出大量電流，這也意味著在嘗試確定它們的權(quán)重時出錯的可能性很高。

該團(tuán)隊沒有讀取每個cell，而是測試了是否有可能一次讀取神經(jīng)網(wǎng)絡(luò)一層中的所有細(xì)胞。畢竟，重要的是對應(yīng)于每一層的矩陣向量乘法運算的整體精度，而不是單個單元格的唯一精度，它可能會在測量一個設(shè)備和下一個設(shè)備之間的時間上動搖，或者在測量中有微小的偏差一個細(xì)胞和下一個細(xì)胞之間的電阻。通過該組的方法，模型的每一層都可以并行測試，他發(fā)現(xiàn)在神經(jīng)網(wǎng)絡(luò)（例如 CIFAR10 上的 ResNet9）的測試中，模型在模擬硬件上運行的準(zhǔn)確率更高，更準(zhǔn)確。比過去在模擬硬件上的努力更精確。該方法也與技術(shù)無關(guān)。

雖然這種方法還遠(yuǎn)非完美，但它是使推理精度更接近數(shù)字加速器的關(guān)鍵一步，最終實現(xiàn)模擬內(nèi)存計算芯片的商業(yè)化。

創(chuàng)建可以訓(xùn)練 AI 的系統(tǒng)比構(gòu)建可以推斷的系統(tǒng)更具挑戰(zhàn)性。由 Takashi Ando 領(lǐng)導(dǎo)的 IBM 研究人員與位于奧爾巴尼的 AI 硬件中心的合作伙伴公司 Tokyo Electron (TEL) 合作，一直致力于研究如何在模擬硬件上訓(xùn)練 AI。在訓(xùn)練 AI 模型時，您將數(shù)據(jù)輸入網(wǎng)絡(luò)，對其進(jìn)行分類，然后通過網(wǎng)絡(luò)反向傳播誤差以微調(diào)權(quán)重。（推理實際上是訓(xùn)練的一個子集，您只需使用訓(xùn)練旅程的分類部分。）

使用傳統(tǒng)算法微調(diào)模型需要一個具有完美對稱電導(dǎo)變化的設(shè)備來準(zhǔn)確更新權(quán)重，但目前還沒有這樣的設(shè)備。該領(lǐng)域的研究人員傾向于使用現(xiàn)有技術(shù)，例如傳統(tǒng)的 ReRAM 設(shè)備，但 IBM 團(tuán)隊嘗試了一些不同的方法。該團(tuán)隊采用全棧方法，協(xié)同優(yōu)化算法和硬件。這是已知的第一個在最先進(jìn)的 CMOS 技術(shù)上應(yīng)用為 AI 訓(xùn)練定制的算法和硬件的工作。

在使用模擬硬件訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，您需要尋找誤差函數(shù)的梯度；如果它們很陡，則可以大量更新權(quán)重。傳統(tǒng)上，梯度和權(quán)值信息存儲在同一個模擬設(shè)備中，對設(shè)備的對稱性要求很高。該團(tuán)隊一直在研究一種稱為 Tiki-Taka 的算法（是的，就像不斷來回傳球的足球風(fēng)格），旨在通過將梯度和權(quán)重信息分離到兩個不同的系統(tǒng)中來放寬對稱性要求。

對于實驗，該團(tuán)隊一直在定制一個基于 14 納米 CMOS 的 ReRAM 陣列來測試他們的想法。

使用基于 ReRAM 陣列統(tǒng)計數(shù)據(jù)的模擬，研究人員發(fā)現(xiàn)，通過優(yōu)化 ReRAM 材料，他們可以在 MNIST 數(shù)據(jù)上獲得 97% 的準(zhǔn)確率（浮點準(zhǔn)確率 98.2%）和 Tiki-Taka 算法同時進(jìn)行。TEL 利用其制造實力和與位于奧爾巴尼的 IBM Research 的長期密切合作關(guān)系，正在幫助開發(fā)新型 ReRAM 材料的沉積和蝕刻工藝。需要做更多的工作來實現(xiàn)大型 DNN 的浮點精度，但在 IEDM 上介紹這項工作的 Nanbo Gong 表示，該團(tuán)隊確定了實現(xiàn)這一目標(biāo)的途徑。

通過這兩項努力，IBM 研究院離我們可以在節(jié)能模擬硬件上訓(xùn)練和運行 AI 系統(tǒng)的未來越來越近。

振華航空今日熱賣型號：

XC6SLX100-2FGG484I

XC6SLX150-2FGG484I

XC6SLX150-3FGG676C

XC6SLX150-3FGG676I

XC6SLX9-2TQG144C

XC6SLX9-2FTG256C

XC6SLX16-2CSG324I

公司：深圳振華航空半導(dǎo)體有限公司

公司熱線：400-8855-170

聯(lián)系方式：18926507567     QQ:549400747

公司網(wǎng)址：spotatoes.com

公司主營FPGA和存儲芯片，誠信經(jīng)營，大量現(xiàn)貨庫存，歡迎您隨時咨詢。