「地表最快」AI 芯片發佈,哈佛輟學的本科生挑戰英偉達

愛範兒 於 28/06/2024 發表 收藏文章
在談到 AI、大模型、算力等關鍵詞時,如果要提及硬件產品,很多人應該會不假思索的説出英偉達。

一位華爾街分析師曾如此評論到:

引用人工智能領域正在進行一場戰爭,而英偉達是唯一的軍火商。

的確,在 AI 時代下,英偉達的地位是獨特又難以撼動的。但現在,有一位勇者準備正式挑戰這一局面。


2022 年,Gavin Uberti 和 Chris Zhu 創立了 Etched.ai。他們從一開始就獲得了包括 Ebay 前 CEO Devin Wenig 在內的 536 萬美元的種子輪投資。
在剛剛宣佈融資 1.2 億美元后,Etched 又發佈了目前的最快的 AI 芯片 —— Sohu。


此 Sohu 非彼搜狐,它號稱可以在毫秒級別的時間裏處理數千個單詞。每秒能處理超過 50 萬個 tokens,運行 Llama 70B 模型。

什麼概念呢?這就相當於可以在兩秒內寫完《聖經》,或者一年寫 15 萬億個 tokens。


據 Etched 官網介紹,Sohu 在硬件層面上集成了 Transformer 架構,是首個專為 Transformer 模型設計的專用芯片(ASIC)。

正是這種專用性,才為 Sohu 帶來了性能的巨大提升。相較於英偉達 H100,Sohu 的推理速度相提升了 8 至 10 倍。

一個搭載八片 Sohu 芯片的服務器,可以取代整整 160 個英偉達 H100 GPU。


對於編程場景,Sohu 可以通過蒙特卡洛樹搜索,並行相應數百個結果,給出最優秀的答案。


無論是語音助手還是智能客服,Sohu 都能做到在幾毫秒內分析數千個單詞。

並且 Sohu 還支持多重推測解碼,可以以極快的速度實時生成新的內容。


作為全球首款 Transformer 專用集成電路(ASIC)芯片,每張 Sohu 芯片只有一個核心,使用了台積電 4nm 製造工藝,並配有 144GB HBM3E 高帶寬內存。

相比英偉達的下一代 Blackwell(B200)GPU,Sohu 的速度提高了一個量級,價格也會更加便宜。


短短兩年時間,Etched 從零開始成長到現在這番模樣,實在是一個「奇蹟」。

Chris Zhu 是一名華裔,他和 Gavin Uberti 一起創立了 Etched,二人也都有着豐富的背景。


Gavin Uberti 和 Chris Zhu 都曾就讀於哈佛大學,度過了一段本科生活。後來出於一些原因,他們選擇休學一年,並在 OctoAI 找到了一份實習工作。

當時二人的工作內容,主要是負責 ApacheTVM 開源編譯器和微內核開發。但在實習時,他們發現 Arm 的指令集中的一些設計十分低效,使得他們的工作效率很差。

Gavin Uberti 説到:「這個問題無法解決,每次工作時我都得面對這個問題,這讓我和 Chris 覺得我們必須做得更好。」


在思考如何解決這個問題時,他們突然發現可以利用這個思路來設計一款 AI 加速芯片。
於是兩人便選擇了從哈佛輟學,創辦了一家專注於 LLM 的 AI 芯片初創公司 —— Etched。


在 Gavin Uberti 看來,通用公版設計無法帶來獲得突破性的性能提升,所以他們才研發 Transformer 架構下的專用加速芯片。

Gavin Uberti 曾説:

引用必須在單一架構上下大力氣,讓芯片處理 AI 任務,目標太大了,必須要針對更具體的任務來設計芯片…… 我們認為英偉達最終會這麼做。


目前主流的 AI 產品如 ChatGPT、Claude、Gemini 和 Sora 等,都是基於 Transformer 架構驅動的。

作為全球首款 Transformer ASIC 芯片,再配上如此亮眼的成績,Etched 自然也是吸引了一大波關注。


6 月 25 日,Etched 宣佈完成 1.2 億美元的 A 輪融資。這次融資由紐約風投機構 Primary Venture Partners 和 Positive Sum Ventures 共同領投。

其天使投資人陣容也十分強大,包括風險投資家 Peter Thiel、GitHub 首席執行官 Thomas Dohmke、自動駕駛公司 Cruise 的聯合創始人 Kyle Vogt, 以及 Quora 的聯合創始人 Charlie Cheever,


在 2022 年創立之初,Etched 就看中了 Transformer 將會佔據主導地位的未來。Gavin Uberti 表示,「我們正在人工智能領域下最大的賭注。」

引用如果我們賭對了,Sohu 將改變世界。這就是我們敢於下注的原因。


資料來源:愛範兒(ifanr)
標籤: AI 芯片  

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→