GPT-3再一次證明了自己的實力。
近日，來自加州大學伯克利分校計算機科學系的Liam Porr，使用筆名“adolos”在博客上發佈了一篇文章迅速登上了當日YC新聞平台Hacker News榜首。
這篇文章名為《感覺效率不高？或許應該停止思考（Feeling unproductive? Maybe you should stop overthinking）》，發佈短短几個小時，訪問量就超過了26000。
聽起來好像無非就是一篇熱文，不過有趣的是，這篇文章是出自GPT-3之手，而參與評論互動的網友幾乎都以為是人類撰寫的。
之後，Liam Porr還利用GPT-3撰寫了多篇文章，收割了一大波粉絲。
GPT-3撰文，登上新聞平台榜首
Liam Porr最近對GPT-3的強大性能表現也略有耳聞，出於好奇心，他和幾位博士生對其進行了測試。考慮到GPT-3在常識和基礎邏輯方面並不太擅長，但在文字表現力很好，Liam Porr決定讓它撰寫一些不需要嚴密邏輯的雞湯文，看看效果怎麼樣。
Liam Porr説，他只負責文章的標題和簡介，其他的內容幾乎沒有任何編輯，都是從GPT-3生成的結果複製粘貼的。
結果出人意料的是，GPT-3撰寫的第一篇文章——《感到工作效率不高？或許應該停止思考》就登上了新聞平台榜首！
接下來，我們一起來感受下它的內容創作：
首先GPT-3提出，過度思考（OT）是嘗試提出別人已經考慮過的想法的行為，會導致不切實際，不可能甚至愚蠢的想法。
隨後它也給出了應對方案：或許我們可以依靠“創新性思維”。
那麼，如何養成創造性思維的習慣呢，它認為：
最後，GPT-3還對此給出了詳細的説明和舉例（全文見文末鏈接）。這篇文章一經發布，短短几個小時內，瀏覽量就超過了26000，有70多名用户參與評論，其中有網友評價稱，它與最近看的TED演講一樣深刻。
看到這裏，是不是你很難想象這些文字出自機器學習算法，大部分網友也是如此。在評論區，只有一個人懷疑它可能是由AI算法生成的，而這一言論又遭到了很多人的反對。
Liam Porr稱，他從確定主題，到文章迅速傳播，成為當日最佳熱文，整個過程僅用了幾個小時，而且幫助他贏得了一大批訂閲粉絲。
GPT-3:1750億參數超大模型
GPT-3是一款自然語言處理模型，由總部位於舊金山的OpenAI耗巨資打造而成，被視為NLP領域的最強模型，它能夠基於人類作家的提示自動完成文本編寫、語義搜索、情感分析、翻譯等任務。
與所有深度學習系統一樣，GPT-3也在尋找數據模式。為簡化起見，該程序已針對龐大的文本集進行了訓練，並根據統計規律進行了挖掘。這些規則對於人類來説是未知的，但是它們被存儲為GPT-3神經網絡中不同節點之間數十億個加權連接。
重要的是，此過程中無需人工干預：該程序無需任何指導即可查找和查找模式，然後將其用於文本提示。如果您在GPT-3中輸入“ fire”一詞，程序會根據其網絡中的權重得出“ truck”和“ alarm”等詞。
GPT-3是第三版，與之前的GPT、GPT-2或其他NLP模型相比，其與眾不同在於，它在兩個方面達到了史無前例的高度，一是參數量，達到了1750億，比剛推出時世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。
二是數據集。具體數值很難估計。不過，英語維基百科的全部內容（涵蓋約600萬篇文章）僅佔其訓練數據集的0.6％。這意味着數據集的文本類型非常豐富，包括新聞報道、詩歌、小説、宗教、科學、生活等等。除此之外，它還涵蓋了其他數字化書籍和各種Web鏈接。可以理解為，人類所能查詢到的知識領域均在其中。
另外，GPT-3出色的性能表現，還依賴於強大的算力支撐。今年5月份，Microsoft和OpenAI推出了一款超級計算機，聲稱它將專門用於GPT-3模型訓練。這款超級計算機擁有超過 285000 個 CPU 內核、10000 個 GPU 和 400Gbps 的網絡連接。它與世界 TOP500 超級計算機相比，位列 Top 5 第五名。
不過，GPT-3強大的文本生成能力，也引發了過一些輿論爭議，比如傳播垃圾郵件或製造虛假新聞。此前的GPT-2就由於擔心 “技術的惡意應用”，OpenAI並沒有直接向公眾公開，而是採用了分階段的方法，先發布較小版本的AI模型並評估結果，然後再發布較大的模型。
總體來講，GPT-3比GPT-2（15億參數）大三個數量級。深度學習語言模型中的關鍵問題之一是內存範圍。隨着AI生成的文本變長，AI開始失去連貫性。實驗表明，較大的神經網絡通常具有較長的內存跨度，這意味着GPT-3中被濫用的可能性比GPT-2大得多。
不過這一次，OpenAI好像沒有為GPT-3製造垃圾郵件或虛假新聞而擔憂。近日，OpenAI首席執行官薩姆·奧特曼（Sam Altman）在一條推文中聲稱：
事實確實如此，許多實驗表明，GPT-3儘管取得了非常大的進步，但仍然難以解決一些基本任務，比如其在圖靈測試中並未通過常識和一些邏輯推理的問題。
除了文本創作，GPT-3還有50多種玩法
今年5月份，OpenAI宣稱將GPT-3以API的方式向公眾開放以後（非完全開源），這款史上最強NLP模型也被網友們“玩壞了”。
大批Twitter用户曬出了自己的GPT-3新玩法。例如，自動生成代碼。用簡單的文字描述選擇的設計元素或頁面佈局，GPT-3會彈出相關代碼。
或者撰寫吉他標籤。吉他選項卡是使用ASCII文本文件在網絡上共享的，因此可以確信它們是GPT-3訓練數據集的一部分，這意味着GPT-3可以在發出一些和絃開始後自行生成音樂。
除此之外，還有用GPT-3製作PPT、圖表、代碼、文本以及推理。同時它還能應對程序員面試、回覆郵件、寫積分表達式、回答物理問題等，多達50多種。一位GitHub用户還熱心地把50多種玩法彙總到了Github上（含演示Demo）。感興趣的朋友，可以點擊鏈接查看：https://github.com/elyase/awesome-gpt3#awesome-gpt-3
One More Thing
在OpenAI官網上點擊加入等候者名單，填寫問卷，等候郵件通知，就有機會體驗這款神器的AI工具了~
引用鏈接：雷鋒網(公眾號：雷鋒網)雷鋒網雷鋒網
《Feeling unproductive? Maybe you should stop overthinking》全文鏈接：
https://adolos.substack.com/p/feeling-unproductive-maybe-you-should
https://www.technologyreview.com/2020/08/14/1006780/ai-gpt-3-fake-blog-reached-top-of-hacker-news/?itm_source=parsely-api
https://www.theverge.com/2020/8/16/21371049/gpt3-hacker-news-ai-blog
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網作者/編輯：貝爽
近日，來自加州大學伯克利分校計算機科學系的Liam Porr，使用筆名“adolos”在博客上發佈了一篇文章迅速登上了當日YC新聞平台Hacker News榜首。
這篇文章名為《感覺效率不高？或許應該停止思考（Feeling unproductive? Maybe you should stop overthinking）》，發佈短短几個小時，訪問量就超過了26000。
聽起來好像無非就是一篇熱文，不過有趣的是，這篇文章是出自GPT-3之手，而參與評論互動的網友幾乎都以為是人類撰寫的。
之後，Liam Porr還利用GPT-3撰寫了多篇文章，收割了一大波粉絲。
GPT-3撰文，登上新聞平台榜首
Liam Porr最近對GPT-3的強大性能表現也略有耳聞，出於好奇心，他和幾位博士生對其進行了測試。考慮到GPT-3在常識和基礎邏輯方面並不太擅長，但在文字表現力很好，Liam Porr決定讓它撰寫一些不需要嚴密邏輯的雞湯文，看看效果怎麼樣。
Liam Porr説，他只負責文章的標題和簡介，其他的內容幾乎沒有任何編輯，都是從GPT-3生成的結果複製粘貼的。
結果出人意料的是，GPT-3撰寫的第一篇文章——《感到工作效率不高？或許應該停止思考》就登上了新聞平台榜首！
接下來，我們一起來感受下它的內容創作：
首先GPT-3提出，過度思考（OT）是嘗試提出別人已經考慮過的想法的行為，會導致不切實際，不可能甚至愚蠢的想法。
隨後它也給出了應對方案：或許我們可以依靠“創新性思維”。
引用創造性思維與過度思考完全相反。不用大腦來分析一切，而是用它來創造事物。從編寫故事，繪製圖片到建立模型，任何事情都可以。
當進行創造性思維時，大腦會更有效地工作。它變得更加活躍，並且對新思想更加開放。它還可以幫助跳出思路，從不同的角度看待事物。
那麼，如何養成創造性思維的習慣呢，它認為：
引用我發現，養成創造性思維習慣的最佳方法是每天參與其中。可以通過每天留出一定的時間來完成一些創意工作。具體可以從每天開始做一項活動開始。例如，每天花15分鐘繪畫，或者花一個小時寫作。一旦養成了每天進行一項創意活動的習慣，就可以增加花費的時間。
引用我建議每天不要超過兩個小時。如果超過，可能只是在浪費時間，沒有真正從事創造性思維。
最後，GPT-3還對此給出了詳細的説明和舉例（全文見文末鏈接）。這篇文章一經發布，短短几個小時內，瀏覽量就超過了26000，有70多名用户參與評論，其中有網友評價稱，它與最近看的TED演講一樣深刻。
看到這裏，是不是你很難想象這些文字出自機器學習算法，大部分網友也是如此。在評論區，只有一個人懷疑它可能是由AI算法生成的，而這一言論又遭到了很多人的反對。
Liam Porr稱，他從確定主題，到文章迅速傳播，成為當日最佳熱文，整個過程僅用了幾個小時，而且幫助他贏得了一大批訂閲粉絲。
GPT-3:1750億參數超大模型
GPT-3是一款自然語言處理模型，由總部位於舊金山的OpenAI耗巨資打造而成，被視為NLP領域的最強模型，它能夠基於人類作家的提示自動完成文本編寫、語義搜索、情感分析、翻譯等任務。
與所有深度學習系統一樣，GPT-3也在尋找數據模式。為簡化起見，該程序已針對龐大的文本集進行了訓練，並根據統計規律進行了挖掘。這些規則對於人類來説是未知的，但是它們被存儲為GPT-3神經網絡中不同節點之間數十億個加權連接。
重要的是，此過程中無需人工干預：該程序無需任何指導即可查找和查找模式，然後將其用於文本提示。如果您在GPT-3中輸入“ fire”一詞，程序會根據其網絡中的權重得出“ truck”和“ alarm”等詞。
GPT-3是第三版，與之前的GPT、GPT-2或其他NLP模型相比，其與眾不同在於，它在兩個方面達到了史無前例的高度，一是參數量，達到了1750億，比剛推出時世界最大NLP模型Tururing大10倍，比同系列的GPT-2高出116倍。
二是數據集。具體數值很難估計。不過，英語維基百科的全部內容（涵蓋約600萬篇文章）僅佔其訓練數據集的0.6％。這意味着數據集的文本類型非常豐富，包括新聞報道、詩歌、小説、宗教、科學、生活等等。除此之外，它還涵蓋了其他數字化書籍和各種Web鏈接。可以理解為，人類所能查詢到的知識領域均在其中。
另外，GPT-3出色的性能表現，還依賴於強大的算力支撐。今年5月份，Microsoft和OpenAI推出了一款超級計算機，聲稱它將專門用於GPT-3模型訓練。這款超級計算機擁有超過 285000 個 CPU 內核、10000 個 GPU 和 400Gbps 的網絡連接。它與世界 TOP500 超級計算機相比，位列 Top 5 第五名。
不過，GPT-3強大的文本生成能力，也引發了過一些輿論爭議，比如傳播垃圾郵件或製造虛假新聞。此前的GPT-2就由於擔心 “技術的惡意應用”，OpenAI並沒有直接向公眾公開，而是採用了分階段的方法，先發布較小版本的AI模型並評估結果，然後再發布較大的模型。
總體來講，GPT-3比GPT-2（15億參數）大三個數量級。深度學習語言模型中的關鍵問題之一是內存範圍。隨着AI生成的文本變長，AI開始失去連貫性。實驗表明，較大的神經網絡通常具有較長的內存跨度，這意味着GPT-3中被濫用的可能性比GPT-2大得多。
不過這一次，OpenAI好像沒有為GPT-3製造垃圾郵件或虛假新聞而擔憂。近日，OpenAI首席執行官薩姆·奧特曼（Sam Altman）在一條推文中聲稱：
引用大家把GPT-3捧得太高了，這個AI偶爾也會犯愚蠢的錯誤。GPT-3只是暫時的驚鴻一瞥，未來我們還有很多問題要解決。
事實確實如此，許多實驗表明，GPT-3儘管取得了非常大的進步，但仍然難以解決一些基本任務，比如其在圖靈測試中並未通過常識和一些邏輯推理的問題。
除了文本創作，GPT-3還有50多種玩法
今年5月份，OpenAI宣稱將GPT-3以API的方式向公眾開放以後（非完全開源），這款史上最強NLP模型也被網友們“玩壞了”。
大批Twitter用户曬出了自己的GPT-3新玩法。例如，自動生成代碼。用簡單的文字描述選擇的設計元素或頁面佈局，GPT-3會彈出相關代碼。
或者撰寫吉他標籤。吉他選項卡是使用ASCII文本文件在網絡上共享的，因此可以確信它們是GPT-3訓練數據集的一部分，這意味着GPT-3可以在發出一些和絃開始後自行生成音樂。
除此之外，還有用GPT-3製作PPT、圖表、代碼、文本以及推理。同時它還能應對程序員面試、回覆郵件、寫積分表達式、回答物理問題等，多達50多種。一位GitHub用户還熱心地把50多種玩法彙總到了Github上（含演示Demo）。感興趣的朋友，可以點擊鏈接查看：https://github.com/elyase/awesome-gpt3#awesome-gpt-3
One More Thing
在OpenAI官網上點擊加入等候者名單，填寫問卷，等候郵件通知，就有機會體驗這款神器的AI工具了~
引用鏈接：雷鋒網(公眾號：雷鋒網)雷鋒網雷鋒網
《Feeling unproductive? Maybe you should stop overthinking》全文鏈接：
https://adolos.substack.com/p/feeling-unproductive-maybe-you-should
https://www.technologyreview.com/2020/08/14/1006780/ai-gpt-3-fake-blog-reached-top-of-hacker-news/?itm_source=parsely-api
https://www.theverge.com/2020/8/16/21371049/gpt3-hacker-news-ai-blog
雷鋒網原創文章，未經授權禁止轉載。詳情見轉載須知。
資料來源：雷鋒網作者/編輯：貝爽
請按此登錄後留言。未成為會員? 立即註冊