超越人類,GPT-3撰寫“雞湯文”登頂 Hacker News 榜首!

雷鋒網 於 19/08/2020 發表 收藏文章
GPT-3再一次證明了自己的實力。

近日,來自加州大學伯克利分校計算機科學系的Liam Porr,使用筆名“adolos”在博客上發佈了一篇文章迅速登上了當日YC新聞平台Hacker News榜首。

這篇文章名為《感覺效率不高?或許應該停止思考(Feeling unproductive? Maybe you should stop overthinking)》,發佈短短几個小時,訪問量就超過了26000。


聽起來好像無非就是一篇熱文,不過有趣的是,這篇文章是出自GPT-3之手,而參與評論互動的網友幾乎都以為是人類撰寫的。

之後,Liam Porr還利用GPT-3撰寫了多篇文章,收割了一大波粉絲。

GPT-3撰文,登上新聞平台榜首

Liam Porr最近對GPT-3的強大性能表現也略有耳聞,出於好奇心,他和幾位博士生對其進行了測試。考慮到GPT-3在常識和基礎邏輯方面並不太擅長,但在文字表現力很好,Liam Porr決定讓它撰寫一些不需要嚴密邏輯的雞湯文,看看效果怎麼樣。

Liam Porr説,他只負責文章的標題和簡介,其他的內容幾乎沒有任何編輯,都是從GPT-3生成的結果複製粘貼的。

結果出人意料的是,GPT-3撰寫的第一篇文章——《感到工作效率不高?或許應該停止思考》就登上了新聞平台榜首!

接下來,我們一起來感受下它的內容創作:

首先GPT-3提出,過度思考(OT)是嘗試提出別人已經考慮過的想法的行為,會導致不切實際,不可能甚至愚蠢的想法。


隨後它也給出了應對方案:或許我們可以依靠“創新性思維”。


引用創造性思維與過度思考完全相反。不用大腦來分析一切,而是用它來創造事物。從編寫故事,繪製圖片到建立模型,任何事情都可以。

當進行創造性思維時,大腦會更有效地工作。它變得更加活躍,並且對新思想更加開放。它還可以幫助跳出思路,從不同的角度看待事物。

那麼,如何養成創造性思維的習慣呢,它認為:


引用我發現,養成創造性思維習慣的最佳方法是每天參與其中。可以通過每天留出一定的時間來完成一些創意工作。具體可以從每天開始做一項活動開始。例如,每天花15分鐘繪畫,或者花一個小時寫作。一旦養成了每天進行一項創意活動的習慣,就可以增加花費的時間。

引用我建議每天不要超過兩個小時。如果超過,可能只是在浪費時間,沒有真正從事創造性思維。

最後,GPT-3還對此給出了詳細的説明和舉例(全文見文末鏈接)。這篇文章一經發布,短短几個小時內,瀏覽量就超過了26000,有70多名用户參與評論,其中有網友評價稱,它與最近看的TED演講一樣深刻。


看到這裏,是不是你很難想象這些文字出自機器學習算法,大部分網友也是如此。在評論區,只有一個人懷疑它可能是由AI算法生成的,而這一言論又遭到了很多人的反對。


Liam Porr稱,他從確定主題,到文章迅速傳播,成為當日最佳熱文,整個過程僅用了幾個小時,而且幫助他贏得了一大批訂閲粉絲。

GPT-3:1750億參數超大模型

GPT-3是一款自然語言處理模型,由總部位於舊金山的OpenAI耗巨資打造而成,被視為NLP領域的最強模型,它能夠基於人類作家的提示自動完成文本編寫、語義搜索、情感分析、翻譯等任務。

與所有深度學習系統一樣,GPT-3也在尋找數據模式。為簡化起見,該程序已針對龐大的文本集進行了訓練,並根據統計規律進行了挖掘。這些規則對於人類來説是未知的,但是它們被存儲為GPT-3神經網絡中不同節點之間數十億個加權連接。


重要的是,此過程中無需人工干預:該程序無需任何指導即可查找和查找模式,然後將其用於文本提示。如果您在GPT-3中輸入“ fire”一詞,程序會根據其網絡中的權重得出“ truck”和“ alarm”等詞。

GPT-3是第三版,與之前的GPT、GPT-2或其他NLP模型相比,其與眾不同在於,它在兩個方面達到了史無前例的高度,一是參數量,達到了1750億,比剛推出時世界最大NLP模型Tururing大10倍,比同系列的GPT-2高出116倍。

二是數據集。具體數值很難估計。不過,英語維基百科的全部內容(涵蓋約600萬篇文章)僅佔其訓練數據集的0.6%。這意味着數據集的文本類型非常豐富,包括新聞報道、詩歌、小説、宗教、科學、生活等等。除此之外,它還涵蓋了其他數字化書籍和各種Web鏈接。可以理解為,人類所能查詢到的知識領域均在其中。

另外,GPT-3出色的性能表現,還依賴於強大的算力支撐。今年5月份,Microsoft和OpenAI推出了一款超級計算機,聲稱它將專門用於GPT-3模型訓練。這款超級計算機擁有超過 285000 個 CPU 內核、10000 個 GPU 和 400Gbps 的網絡連接。它與世界 TOP500 超級計算機相比,位列 Top 5 第五名。


不過,GPT-3強大的文本生成能力,也引發了過一些輿論爭議,比如傳播垃圾郵件或製造虛假新聞。此前的GPT-2就由於擔心 “技術的惡意應用”,OpenAI並沒有直接向公眾公開,而是採用了分階段的方法,先發布較小版本的AI模型並評估結果,然後再發布較大的模型。

總體來講,GPT-3比GPT-2(15億參數)大三個數量級。深度學習語言模型中的關鍵問題之一是內存範圍。隨着AI生成的文本變長,AI開始失去連貫性。實驗表明,較大的神經網絡通常具有較長的內存跨度,這意味着GPT-3中被濫用的可能性比GPT-2大得多。

不過這一次,OpenAI好像沒有為GPT-3製造垃圾郵件或虛假新聞而擔憂。近日,OpenAI首席執行官薩姆·奧特曼(Sam Altman)在一條推文中聲稱:

引用大家把GPT-3捧得太高了,這個AI偶爾也會犯愚蠢的錯誤。GPT-3只是暫時的驚鴻一瞥,未來我們還有很多問題要解決。

事實確實如此,許多實驗表明,GPT-3儘管取得了非常大的進步,但仍然難以解決一些基本任務,比如其在圖靈測試中並未通過常識和一些邏輯推理的問題。

除了文本創作,GPT-3還有50多種玩法

今年5月份,OpenAI宣稱將GPT-3以API的方式向公眾開放以後(非完全開源),這款史上最強NLP模型也被網友們“玩壞了”。

大批Twitter用户曬出了自己的GPT-3新玩法。例如,自動生成代碼。用簡單的文字描述選擇的設計元素或頁面佈局,GPT-3會彈出相關代碼。


或者撰寫吉他標籤。吉他選項卡是使用ASCII文本文件在網絡上共享的,因此可以確信它們是GPT-3訓練數據集的一部分,這意味着GPT-3可以在發出一些和絃開始後自行生成音樂。


除此之外,還有用GPT-3製作PPT、圖表、代碼、文本以及推理。同時它還能應對程序員面試、回覆郵件、寫積分表達式、回答物理問題等,多達50多種。一位GitHub用户還熱心地把50多種玩法彙總到了Github上(含演示Demo)。感興趣的朋友,可以點擊鏈接查看:https://github.com/elyase/awesome-gpt3#awesome-gpt-3

One More Thing

在OpenAI官網上點擊加入等候者名單,填寫問卷,等候郵件通知,就有機會體驗這款神器的AI工具了~


引用鏈接:雷鋒網(公眾號:雷鋒網)雷鋒網雷鋒網

《Feeling unproductive? Maybe you should stop overthinking》全文鏈接:

https://adolos.substack.com/p/feeling-unproductive-maybe-you-should

https://www.technologyreview.com/2020/08/14/1006780/ai-gpt-3-fake-blog-reached-top-of-hacker-news/?itm_source=parsely-api

https://www.theverge.com/2020/8/16/21371049/gpt3-hacker-news-ai-blog

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知

資料來源:雷鋒網
作者/編輯:貝爽

如果喜歡我們的文章,請即分享到︰

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→