什麽是TOPS,爲什麽它對AI很重要?

科爾同學 2024-04-26 16:51:13

簡單來說,TOPS(每秒萬億次操作)是一個用來衡量、簡化和宣傳人工智能個人電腦(AI PC)中神經處理單元(NPU)性能的術語。TOPS並不是一個完美的衡量標准,很多因素會影響到一個系統處理AI任務的能力。盡管如此,它仍然提供了一個快速參考,讓你了解NPU的速度以及它與競爭對手的比較。

隨著我們進入AI PC的世界,很多新的術語和縮寫開始出現,它們解釋了新的硬件和能力。

你可能已經注意到,許多現代筆記本電腦——很快台式機也會這樣,隨著AMD宣布其Ryzen PRO 8000系列——都配備了包含NPU的處理器(CPU),以提高特定于AI的性能。

隨著NPU的出現,我們需要一個新的衡量標准來衡量性能,這就是“TOPS”這個術語發揮作用的地方。

什麽是TOPS?

TOPS簡單地表示一個系統每秒可以執行多少萬億次操作。TOPS可以用來衡量整體系統性能,也可以用于特定硬件。

例如,NVIDIA的RTX 4090顯卡可以提供超過1300 TOPS的性能,無論是用于遊戲還是加速AI任務。它是市場上最強大的GPU之一,但這個數字仍然有點令人困惑。

英特爾的Core Ultra CPU——該公司首次提供NPU的産品——總體提供34 TOPS(包括CPU、集成GPU和NPU),其中大約10 TOPS專門用于NPU。AMD的Ryzen 8040移動CPU將NPU性能提高到16 TOPS,即將推出的高通骁龍X Elite將搭載一個能夠達到45 TOPS的NPU。

預計英特爾、AMD和高通將繼續在未來幾代産品中提高NPU性能。我們現在知道,英特爾下一代Lunar Lake CPU將提供一個45 TOPS的NPU,AMD表示希望在其下一代移動芯片中將NPU性能提高三倍。

這些芯片制造商都在利用TOPS來宣傳他們的産品,主要是爲了簡化和宣傳系統性能,幫助用戶了解他們將能得到什麽。

爲什麽用TOPS來衡量AI性能?

TOPS當然並不代表分析NPU性能的全部。就像2020年下一代遊戲機即將問世時的TFLOPs熱潮一樣,TOPS被用來簡化和宣傳系統性能,讓更多的人了解。一個能夠提供比競爭對手多兩到三倍TOPS的NPU看起來很牛,但這個指標最終缺乏細微差別。

還有很多其他因素會影響NPU的性能。理論上,一個特定的NPU,比如說100 TOPS,可能針對特定任務進行了調整,在這項任務上它可以比另一個爲不同任務調整的200 TOPS的NPU表現得更好。

衡量電腦的整體性能通常使用具體的基准測試和抽象的觀察。例如,在筆記本電腦評測中,我們使用專門的測試軟件提供了大量的數據指標,但也會提供系統在現實世界場景中性能的“感覺”。

目前已經有針對NPU的基准測試,它們是衡量特定任務能力的一個基礎。

TOPS也被用來爲板載AI工具設置硬件基准。微軟已經爲在不依賴連接到微軟服務器的情況下在本地運行Copilot設置了40 TOPS的要求。

所以,即使TOPS不是判斷NPU性能的最佳指標,它確實爲買家提供了一個標准,他們可以大致比較AI PC。

我們應該關心TOPS嗎?

如果你是普通的電腦用戶,處理電子郵件、浏覽網頁,你可以繼續不擔心NPUs和衡量它們性能的方法。

如果你正在購買新筆記本電腦,如果你對新興的AI PC世界感興趣,你想關注某些可以幫你讓生活更輕松的AI工具的要求。可以關心一下NPUs及其以TOPS衡量。

0 阅读:2

科爾同學

簡介:IT、數碼、網絡知識分享交流