移動端


當(dāng)前位置：興旺寶>資訊首頁> 技術(shù)前沿

中國科學(xué)院上海高等研究院提出Bit-Cigma：面向人工智能的高效比特稀疏性感知矩陣乘法加速架構(gòu)

2025-03-08 14:23:26來源：中國科學(xué)院上海高等研究院 閱讀量：3510 評論

分享：

　　近日，中國科學(xué)院上海高等研究院(以下簡稱“上海高研院”)祝永新研究員和黃尊愷副研究員團(tuán)隊與上海科技大學(xué)王春東研究員合作，在通用矩陣乘法加速器領(lǐng)域取得重要進(jìn)展，提出了一種名為Bit-Cigma的創(chuàng)新硬件架構(gòu)。該架構(gòu)通過優(yōu)化比特稀疏性和重構(gòu)浮點運算流程，成功突破了現(xiàn)有矩陣乘法加速器設(shè)計中的技術(shù)瓶頸。相關(guān)成果已于2025年2月發(fā)表于計算機(jī)體系結(jié)構(gòu)領(lǐng)域的頂級期刊IEEE Transactions on Computers。
 
　　矩陣乘法是人工智能與科學(xué)計算的核心基礎(chǔ)，廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練、復(fù)雜系統(tǒng)模擬等關(guān)鍵任務(wù)。這些領(lǐng)域?qū)τ嬎隳芰Φ囊髽O高，需要在處理浮點數(shù)運算和量化整數(shù)運算時具備出色的性能和精度。然而，現(xiàn)有矩陣乘法加速器設(shè)計長期面臨兩大挑戰(zhàn)：其一，二進(jìn)制數(shù)據(jù)表示中的比特級冗余導(dǎo)致計算資源浪費，成為計算效率的瓶頸；其二，浮點數(shù)對階依賴高延遲、重資源的方法，成為吞吐量與計算精度的瓶頸。
 
　　針對上述挑戰(zhàn)，Bit-Cigma架構(gòu)通過一系列創(chuàng)新技術(shù)實現(xiàn)了重大突破。該架構(gòu)是一種可擴(kuò)展的比特稀疏感知架構(gòu)，能夠靈活支持多種數(shù)據(jù)類型，為各類矩陣乘法任務(wù)提供卓越的性能、精度和效率。研究團(tuán)隊提出了一種緊湊型規(guī)范有符號數(shù)(CCSD)編碼技術(shù)，以減半于傳統(tǒng)方法的硬件成本實現(xiàn)高效片上稀疏化，通過最大化比特稀疏性顯著削減冗余計算。針對大規(guī)模矩陣運算，團(tuán)隊設(shè)計了分段式處理方法，將矩陣分解為大小合適的數(shù)據(jù)塊并動態(tài)執(zhí)行浮點數(shù)對階，從而在避免增加硬件資源的同時確保計算零誤差，大幅提升處理速度與吞吐量。
 
　　大量實驗表明，基于CCSD的Bit-Cigma架構(gòu)相比當(dāng)前最先進(jìn)的浮點數(shù)和量化整數(shù)加速器，性能提升3-4倍，能效提高超過10倍，且實現(xiàn)了其他加速器無法達(dá)到的零計算誤差。Bit-Cigma架構(gòu)和CCSD技術(shù)為通用矩陣乘法提供了更高效、高性能的解決方案，有望支持各種應(yīng)用，并為未來的以硬件為中心的高性能系統(tǒng)奠定基礎(chǔ)。
 
　　該研究工作由上海高研院團(tuán)隊牽頭完成，得到了國家重點研發(fā)計劃、國家科技部SKA專項、國家工信部高質(zhì)量專項和上海市人才發(fā)展基金等項目的資助支持。
 
圖1：論文中提出的Bit-Cigma 矩陣乘法加速架構(gòu)
版權(quán)與免責(zé)聲明：1.凡本網(wǎng)注明“來源：興旺寶裝備總站”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：興旺寶裝備總站”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源（非興旺寶裝備總站）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點或和對其真實性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個人從本網(wǎng)轉(zhuǎn)載時，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問題，請在作品發(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。
我來評論

昵稱 驗證碼

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個字符)

所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)

    相關(guān)新聞