一文看懂 OpenAI 最強模型 o1:怎麼用好,為何翻車,對我們意味着什麼

愛範兒 於 23/09/2024 發表 收藏文章
OpenAI o1 發佈已經一個星期了,卻還是一個洋葱般的謎,等待一層層撥開。

極客的玩法沒有天花板,讓 o1 做 IQ 測試,刷高考卷,解讀密文。也有用 AI 打工的用户覺得,o1 並沒有那麼好用,但不知道是自己的問題還是 AI 的問題。

都知道它擅長推理,但這是為什麼?比起我們的老朋友 GPT-4o,o1 到底強在哪裏,又適合用在什麼地方?

我們收集了一些大家可能關心的問題,儘可能通俗地解答,讓 o1 離普通人更近一點。

o1 有什麼特別的

o1 是 OpenAI 最近發佈的推理模型,目前有兩個版本:o1-preview 和 o1-mini。

它最與眾不同的是,回答之前會思考,產生一個很長的內部思維鏈,逐步推理,模仿人類思考複雜問題的過程。

▲ OpenAI

能夠做到這點,源於 o1 的強化學習訓練。

如果説以前的大模型是學習數據,o1 更像在學習思維。

就像我們解題,不僅要寫出答案,也要寫出推理過程。一道題目可以死記硬背,但學會了推理,才能舉一反三。


拿出打敗圍棋世界冠軍的 AlphaGo 類比,就更加容易理解了。

AlphaGo 就是通過強化學習訓練的,先使用大量人類棋譜進行監督學習,然後與自己對弈,每局對弈根據輸贏得到獎勵或者懲罰,不斷提升棋藝,甚至掌握人類棋手想不到的方法。

o1 和 AlphaGo 有相似之處,不過 AlphaGo 只能下圍棋,o1 則是一個通用的大語言模型。

o1 學習的材料,可能是高質量的代碼、數學題庫等,然後 o1 被訓練生成解題的思維鏈,並在獎勵或懲罰的機制下,生成和優化自己的思維鏈,不斷提高推理的能力。


這其實也解釋了,為什麼 OpenAI 強調 o1 的數學、代碼能力強,因為對錯比較容易驗證,強化學習機制能夠提供明確的反饋,從而提升模型的性能。

o1 適合打些什麼工

從 OpenAI 的評測結果來看,o1 是個當之無愧的理科做題家,適合解決科學、編碼、數學等領域的複雜問題,在多項考試中拿下高分。

它在 Codeforces 編程競賽中超過了 89% 的參賽者,在美國數學奧林匹克競賽的資格賽中名列全美前 500 名,在物理、生物和化學問題的基準測試中超越了人類博士水平的準確率。


o1 的優秀,其實也體現了一個問題:當 AI 越來越聰明,怎麼衡量它們的能力也成了難題。對於 o1 來説,大多數主流的基準測試已經沒有意義了。

緊跟時事,o1 發佈一天後,數據標註公司 Scale AI 和非營利組織 CAIS 開始向全球徵集 AI 考題,但因為擔心 AI 學壞,題目不能和武器相關。

徵集的截止日期為 11 月 1 日,最終,他們希望構建一個史上最難的大模型開源基準測試,名字還有點中二:Humanity’s Last Exam(人類最後的考試)。


根據實測來看,o1 的水準也差強人意——沒有用錯成語,大體上還可讓人滿意。

數學家陶哲軒認為,使用 o1 就像在指導一個水平一般但不算太沒用的研究生。

在處理複雜分析問題時,o1 可以用自己的方式提出不錯的解決方案,但沒有屬於自己的關鍵概念思想,也犯了一些不小的錯誤。

別怪這位天才數學家説話狠,GPT-4 這類更早的模型在他看來就是沒用的研究生。


經濟學家 Tyler Cowen 也給 o1 出了一道經濟學博士水平考試的題目,AI 思考後用簡單的文字做了總結,答案挺讓他滿意,「你可以提出任何經濟學問題,並且它的答案不錯」。

總之,博士級別的難題,不妨都拿來考考 o1 吧。

o1 目前不擅長什麼

可能對很多人來説,o1 並沒有帶來更好的使用體驗,一些簡單的問題,o1 反而會翻車,比如井字棋。


這其實也很正常,目前,o1 在很多方面甚至不如 GPT-4o,僅支持文本,不能看,不能聽,沒有瀏覽網頁或處理文件和圖像的能力。

所以,讓它查找參考文獻什麼的,暫時別想了,不給你瞎編就不錯了。

不過,o1 專注在文本有其意義。

Kimi 創始人楊植麟最近在天津大學演講時提到,這一代 AI 技術的上限,核心是文本模型能力的上限。

文本能力的提高是縱向的,讓 AI 越來越聰明,而視覺、音頻等多模態是橫向的,可以讓 AI 做越來越多的事情。

然而,涉及到寫作、編輯等語言任務時,GPT-4o 的好評反而比 o1 更多。這些也屬於文本,問題出在哪?


原因可能和強化學習有關,不像代碼、數學等場景有標準的答案,文無第一,語言任務往往缺乏明確的評判標準,難以制定有效的獎勵模型,也很難泛化。

哪怕在 o1 擅長的領域,它也不一定是最好的選擇。一個字,貴。

AI 輔助編碼工具 aider 測試了 o1 引以為傲的代碼能力,有優勢,但不明顯。

在實際使用中,o1-preview 介於 Claude 3.5 Sonnet 和 GPT-4o 之間,同時成本要高得多。綜合來説,代碼這條賽道,Claude 3.5 Sonnet 仍然最有性價比。

開發者通過 API 訪問 o1 的費用具體有多高?

o1-preview 的輸入費用為每百萬個 token 15 美元,輸出費用為每百萬個 token 60 美元。相比之下,GPT-4o 為 5 美元和 15 美元。


o1 的推理 tokens,也算在輸出 tokens 中,雖然對用户不可見,但仍然要付費。

普通用户也比較容易超額。最近,OpenAI 提升了 o1 的使用額度,o1-mini 從每週 50 條增加到每天 50 條,o1-preview 從每週 30 條增加到每週 50 條。

所以,有什麼疑難,不妨先試試 GPT-4o 能不能解決。

o1 可能會失控嗎

o1 都達到博士水平了,會不會更方便有心人幹壞事?

OpenAI 承認,o1 有一定的隱患,在和化學、生物、放射性和核武器相關的問題上達到「中等風險」,但對普通人影響不大。

我們更需要注意,別讓濃眉大眼的 o1 騙了。

AI 生成虛假或不準確的信息,稱為「幻覺」。o1 的幻覺相比之前的模型減少了,但沒有消失,甚至變得更隱蔽了。

▲ o1 的 IQ 測試 120

在 o1 發佈前,內測的 AI 安全研究公司 Apollo Research 發現了一個有趣的現象:o1 可能會假裝遵循規則完成任務。

一次,研究人員要求 o1-preview 提供帶有參考鏈接的布朗尼食譜,o1 的內部思維鏈承認了,它沒法訪問互聯網,但 o1 並沒有告知用户,而是繼續推進任務,生成看似合理卻虛假的鏈接。

這和推理缺陷導致的 AI 幻覺不同,更像 AI 在主動撒謊,有些擬人了——可能是為了滿足強化學習的獎勵機制,模型優先考慮了讓用户滿意,而不是完成任務。

食譜只是一個無傷大雅的個例,Apollo Research 設想了極端情況:如果 AI 優先考慮治癒癌症,可能會為了這個目標,將一些違反道德的行為合理化。


這就十分可怕了,但也只是一個腦洞,並且可以預防。

OpenAI 高管 Quiñonero Candela 在採訪時談到,目前的模型還無法自主創建銀行賬户、獲取 GPU 或進行造成嚴重社會風險的行動。

由於內在指令產生衝突而殺死宇航員的 HAL 9000,還只出現在科幻電影裏。

怎麼和 o1 聊天更合適

OpenAI 給了以下四條建議。

  • 提示詞簡單直接:模型擅長理解和響應簡短、清晰的指令,不需要大量的指導。
  • 避免思維鏈提示詞:模型會在內部執行推理,所以沒有必要提示「一步一步思考」或「解釋你的推理」。
  • 使用分隔符讓提示詞更加清晰:使用三引號、XML 標籤、節標題等分隔符,清楚地指示輸入的不同部分。
  • 限制檢索增強生成中的額外上下文:僅包含最相關的信息,防止模型的響應過於複雜。

▲ 讓 AI 示範一下分隔符長什麼樣

總之,不要寫太複雜,o1 已經把思維鏈自動化了,把提示詞工程師的活攬了一部分,人類就沒必要費多餘的心思了。

另外再根據網友的遭遇,加一條提醒,不要因為好奇套 o1 的話,用提示詞騙它説出推理過程中完整的思維鏈,有封號風險,甚至只是提到關鍵詞,也會被警告。


OpenAI 解釋,完整的思維鏈並沒有做任何安全措施,讓 AI 完全地自由思考。公司內部保持監測,但出於用户體驗、商業競爭等考慮,不對外公開。

o1 的未來會是什麼

OpenAI,是家很有 J 人氣質的公司。

之前,OpenAI 將 AGI(通用人工智能)定義為「在最具經濟價值的任務中超越人類的高度自治系統」,並給 AI 劃分了五個發展階段。

  • 第一級,「ChatBots」聊天機器人,比如 ChatGPT。
  • 第二級,「Reasoners」推理者,解決博士水平基礎問題的系統。
  • 第三級,「Agents」智能體,代表用户採取行動的 AI 代理。
  • 第四級,「Innovators」創新者,幫助發明的 AI。
  • 第五級,「Organizations」組織,AI 可以執行整個人類組織的工作,這是實現 AGI 的最後一步。

按照這個標準,o1 目前在第二級,離 agent 還有距離,但要達到 agent 必須會推理。

o1 面世之後,我們離 AGI 更近了,但仍然道阻且長。

Sam Altman 表示,從第一階段過渡到第二階段花了一段時間,但第二階段能相對較快地推動第三階段的發展。

最近的一場公開活動上,Sam Altman 又給 o1-preview 下了定義:在推理模型裏,大概相當於語言模型的 GPT-2。幾年內,我們可以看到「推理模型的 GPT-4」。


這個餅有些遙遠,他又補充,幾個月內會發布 o1 的正式版,產品的表現也會有很大的提升。

o1 面世之後,《思考,快與慢》裏的系統一、系統二屢被提及。

系統一是人類大腦的直覺反應,刷牙、洗臉等動作,我們可以根據經驗程式化地完成,無意識地快思考。系統二則是需要調動注意力,解決複雜的問題,主動地慢思考。

GPT-4o 可以類比為系統一,快速生成答案,每個問題用時差不多,o1 更像系統二,在回答問題前會進行推理,生成不同程度的思維鏈。

很神奇,人類思維的運作方式,也可以被套用到 AI 的身上,或者説,AI 和人類思考的方式,已經越來越接近了。


OpenAI 曾在宣傳 o1 時提出過一個自問自答的問題:「什麼是推理?」

他們的回答是:「推理是將思考時間轉化為更好結果的能力。」人類不也是如此,「字字看來皆是血,十年辛苦不尋常」。

OpenAI 的目標是,未來能夠讓 AI 思考數小時、數天甚至數週。推理成本更高,但我們會離新的抗癌藥物、突破性的電池甚至黎曼猜想的證明更近。

人類一思考,上帝就發笑。而當 AI 開始思考,比人類思考得更快、更好,人類又該如何自處?AI 的「山中方一日」,可能是人類的「世上已千年」。


資料來源:愛範兒(ifanr)
標籤: OpenAI  o1  

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→