財(cái)聯(lián)社3月14日訊（編輯 周子意）當(dāng)芯片制造商都在試圖將芯片往小了設(shè)計(jì)時(shí)，而這家公司卻反其道而行之。

半導(dǎo)體初創(chuàng)公司Cerebras Systems公司周三（3月13日）推出了一款新的芯片WSE-3，而它的尺寸卻類似晶圓大小，或者說(shuō)比一本書還要大，單體面積達(dá)到約462.25平方厘米。它是目前最大GPU面積的56倍。

據(jù)悉，該款芯片將4萬(wàn)億個(gè)晶體管組織在90萬(wàn)個(gè)核心中。

該芯片針對(duì)人工智能訓(xùn)練的工作負(fù)載進(jìn)行了優(yōu)化。Cerebras公司聲稱，配備了2048個(gè)WSE-3芯片的服務(wù)器集群可以在一天內(nèi)訓(xùn)練出市場(chǎng)上最先進(jìn)的開(kāi)源語(yǔ)言模型之一Llama 2 70B。

替代英偉達(dá)

Cerebras是一家美國(guó)人工智能芯片的獨(dú)角獸企業(yè)，它背后的投資團(tuán)隊(duì)也都實(shí)力夠硬。最新一筆融資是在2021年由Alpha Wave Venture和阿布扎比增長(zhǎng)基金領(lǐng)投，融資金額2.5億美元，其他的投資人士包括：OpenAI創(chuàng)始人山姆·奧特曼、AMD前首席技術(shù)官Fred Weber等。

2021年，Cerebras公司首次亮相了WSE-2芯片，集成了1.2萬(wàn)億個(gè)晶體管、40萬(wàn)個(gè)核心。在同行都在將晶圓分割成數(shù)百顆獨(dú)立芯片之時(shí)，Cerebras公司則是選擇將整個(gè)晶圓做成一顆芯片。

而最新發(fā)布的WSE-3則是從WSE-2改進(jìn)而來(lái)的。它較WES-2又增加了1.4萬(wàn)億個(gè)晶體管，并擁有90萬(wàn)個(gè)計(jì)算核心、44GB的板載SRAM內(nèi)存。強(qiáng)化部分是通過(guò)從7納米制造工藝更新到5納米節(jié)點(diǎn)所實(shí)現(xiàn)的。

據(jù)該公司稱，WSE-3在人工智能工作負(fù)載方面的性能是其前身的兩倍，它的峰值速度可以達(dá)到每秒125千萬(wàn)億次計(jì)算。

Cerebras還將WSE-3定位為比英偉達(dá)顯卡更為高效的替代品。根據(jù)Cerebras官網(wǎng)的數(shù)據(jù)，該芯片4萬(wàn)億個(gè)晶體管數(shù)完全碾壓了英偉達(dá)H100 GPU的800億個(gè)；核處理器數(shù)是單個(gè)英偉達(dá)H100 GPU的52倍；片上存儲(chǔ)量是H100的880倍。

WSE-3芯片為Cerebras公司的CS-3超級(jí)計(jì)算機(jī)提供動(dòng)力，CS-3可用于訓(xùn)練具有多達(dá)24萬(wàn)億個(gè)參數(shù)的人工智能模型，對(duì)比由WSE-2和其他常規(guī)人工智能處理器驅(qū)動(dòng)的超級(jí)計(jì)算機(jī)，這一數(shù)據(jù)是個(gè)重大飛躍。

加速數(shù)據(jù)傳輸

雖說(shuō)將晶圓大小的芯片和單個(gè)英偉達(dá)H100 GPU相比較并不公平，不過(guò)若從數(shù)據(jù)傳輸速度的角度來(lái)看，不將晶圓切割成單獨(dú)的芯片確實(shí)有它的優(yōu)勢(shì)。

根據(jù)Cerebras公司的說(shuō)法，使用單一的大型處理器可以提高人工智能訓(xùn)練工作流程的效率。當(dāng)WSE-3上的4萬(wàn)億個(gè)晶體管在晶圓上互連時(shí)，將會(huì)大大加快生成式人工智能的處理時(shí)間。

人工智能模型就是相對(duì)簡(jiǎn)單的代碼片段的集合，這些代碼片段被稱為人工神經(jīng)元。這些神經(jīng)元被重新組織成集合（稱為層）。

當(dāng)人工智能模型接收到一個(gè)新任務(wù)時(shí)，它的每一層都會(huì)執(zhí)行任務(wù)的一部分，然后將其結(jié)果與其他層生成的數(shù)據(jù)結(jié)合起來(lái)。

由于神經(jīng)網(wǎng)絡(luò)太大，無(wú)法在單個(gè)GPU上運(yùn)行，因此，這些層需要分布在數(shù)百個(gè)以上的GPU上，通過(guò)頻繁地交換數(shù)據(jù)來(lái)協(xié)調(diào)它們的工作。

基于神經(jīng)網(wǎng)絡(luò)架構(gòu)的具體特性，只有獲得前一層的全部或部分激活數(shù)據(jù)，才能在開(kāi)始分析數(shù)據(jù)，并提供給下一層。也就意味著，如果這兩層的數(shù)據(jù)運(yùn)行在不同的GPU上，信息在它們之間傳輸可能需要很長(zhǎng)時(shí)間。芯片之間的物理距離越大，數(shù)據(jù)從一個(gè)GPU轉(zhuǎn)移到另一個(gè)GPU所需的時(shí)間就越長(zhǎng)，這會(huì)減慢處理速度。

而Cerebras的WSE-3有望縮短這一處理時(shí)間。如果一個(gè)人工智能模型的所有層都在一個(gè)處理器上運(yùn)行，那么數(shù)據(jù)只需要從芯片的一個(gè)角落傳輸?shù)搅硪粋€(gè)角落，而不是在兩個(gè)顯卡之間傳輸。減少數(shù)據(jù)必須覆蓋的距離可以減少傳輸時(shí)間，從而加快處理速度。

該公司指出，在如今的服務(wù)器集群中，數(shù)以萬(wàn)計(jì)的GPU被用來(lái)處理一個(gè)問(wèn)題，而若是將芯片數(shù)量減少50倍以上，就可以降低互連成本以及功效，同時(shí)或許也可以解決消耗大量電力的問(wèn)題。

Cerebras聯(lián)合創(chuàng)始人兼CEO Andrew Feldman稱，“當(dāng)我們八年前開(kāi)始這一旅程時(shí)，每個(gè)人都說(shuō)晶圓級(jí)處理器是白日夢(mèng)…WSE-3是世界上最快的人工智能芯片，專為最新的尖端人工智能工作而打造。”

對(duì)于新推出地WSE-3芯片，分析公司Intersect360 Research首席執(zhí)行官Addison Snell認(rèn)為，Cerebras的WSE-3人工智能芯片和CS-3系統(tǒng)可以使部分高性能計(jì)算用戶受益。

他指出，“該芯片在相同的成本和功率下將性能提高了一倍。”

不過(guò)，Tirias Research創(chuàng)始人Jim McGregor則較為現(xiàn)實(shí)地指出，盡管這家初創(chuàng)公司增長(zhǎng)迅速，并且有能力提高其平臺(tái)的可擴(kuò)展性，但與占主導(dǎo)地位的人工智能供應(yīng)商英偉達(dá)相比，它仍然是一家規(guī)模較小的公司。

他還指出，Cerebras專注于人工智能的一個(gè)方面，那就是訓(xùn)練，不過(guò)訓(xùn)練只是大型語(yǔ)言模型市場(chǎng)的一個(gè)利基市場(chǎng)。而英偉達(dá)提供了許多其他方面產(chǎn)品。