今天（5月30日），AI 領域傳出一封重要的公開信。
包括「ChatGPT 之父」Sam Altman 在內 350 位 AI 權威都簽署了這封聯名公開信，並對當前正在開發的 AI 技術可能會對人類構成生存威脅擔憂。
這封信只有一句聲明：降低人工智能滅絕的風險，應該與其它社會規模的風險（如大流行病和核戰爭）一樣，成為全球的優先事項。
加入公開信簽名🔗
https://www.safe.ai/statement-on-ai-risk
簽署人包括三個領先的 AI 公司高管：
更重要的是，名單裏還有 Geoffrey Hinton 和 Yoshua Bengio 兩位人工智能的「教父」。
超過 350 名從事人工智能工作的高管、研究人員和工程師簽署了這份由非盈利組織人工智能安全中心發佈的公開信，認為人工智能具備可能導致人類滅絕的風險，應當將其視為與流行病和核戰爭同等的社會風險。
如今人們越來越擔心 ChatGPT 等人工智能模型的發展可能對社會和就業帶來的潛在威脅，很多人呼籲針對 AI 行業進行更強力的監管，否則它將對社會造成不可挽回的破壞。
AI 不斷狂飆，但相關的監管、審計手段卻遲遲沒有跟上，這也意味着沒有人能夠保證 AI 工具以及使用 AI 工具的過程中的安全性。
在上週，Sam Altman 和另外兩位 OpenAI 的高管提出應該建立類似國際原子能機構這樣國際組織來安全監管 AI 的發展，他呼籲國際間領先的人工智能製造商應該展開合作，並要求政府強化對尖端人工智能製造商的監管。
其實早在 3 月，就一篇有關叫停 6 個月 AI 研究的公開信火遍了全網。
該信呼籲所有的 AI 實驗立即暫停研究比 GPT-4 更先進的 AI 模型，暫停時間至少 6 個月，為的就是把這些可怕的幻想扼殺在搖籃之中。
AI 的進步速度實在過於驚人，但相關的監管、審計手段卻遲遲沒有跟上，這也意味着沒有人能夠保證 AI 工具以及使用 AI 工具的過程中的安全性。
該聯名信已經獲得了包括 2018 年圖靈獎得主 Yoshua Bengio、馬斯克、史蒂夫 · 沃茲尼亞克、Skype 聯合創始人、Pinterest 聯合創始人、Stability AI CEO 等多位知名人士的簽名支持，截稿前聯名人數已經達到 1125 人。
公開信的原文如下：
人工智能具有與人類競爭的智能，這可能給社會和人類帶來深刻的風險，這已經通過大量研究 [1] 得到證實，並得到了頂級 AI 實驗室的認可 [2]。正如廣泛認可的阿西洛馬爾人工智能原則（Asilomar AI Principles）所指出的，先進的 AI 可能代表地球生命歷史上的重大變革，因此應該以相應的關注和資源進行規劃和管理。
不幸的是，即使在最近幾個月， AI 實驗室在開發和部署越來越強大的數字化思維方面陷入了失控的競爭，而沒有人能夠理解、預測或可靠地控制這些數字化思維，即使是它們的創造者也無法做到這一點。
現代 AI 系統現在已經在通用任務方面具有與人類競爭的能力 [3]，我們必須問自己：
這些決策不應該由非選舉產生的科技領導人來負責。只有當我們確信 AI 系統的影響是積極的，風險是可控的，我們才應該開發強大的 AI 系統。這種信心必須得到充分的理由，並隨着系統潛在影響的增大而增強。OpenAI 最近關於人工智能的聲明指出：「在某個時候，可能需要在開始訓練未來系統之前獲得獨立審查，對於最先進的努力，需要同意限制用於創建新模型的計算增長速度。」我們同意。現在就是那個時刻。
因此，我們呼籲所有 AI 實驗室立即暫停至少 6 個月的時間，不要訓練比 GPT-4 更強大的 AI 系統。這個暫停應該是公開和可驗證的，幷包括所有關鍵參與者。如果無法迅速實施這樣的暫停，政府應該介入並實行一個暫禁令。
AI 實驗室和獨立專家應該利用這個暫停時間共同制定和實施一套共享的先進 AI 設計和開發安全協議，這些協議應該由獨立的外部專家嚴格審核和監督。
這些協議應確保遵守它們的系統在合理懷疑範圍之外是安全的 [4]。這並不意味着暫停 AI 發展，而只是從不斷邁向更大、不可預測的黑箱模型及其突現能力的危險競賽中退一步。
AI 研究和開發應該重點放在提高現有強大、先進系統的準確性、安全性、可解釋性、透明度、魯棒性、對齊、可信度和忠誠度。
與此同時，AI 開發者必須與政策制定者合作，大力加速 AI 治理體系的發展。這些至少應包括：
人類可以在 AI 的幫助下享受繁榮的未來。在成功創造出強大的 AI 系統之後，我們現在可以享受一個「AI 盛夏」，在其中我們收穫回報，將這些系統明確地用於造福所有人，並讓社會有機會適應。
在面臨可能對社會造成災難性影響的其他技術上，社會已經按下了暫停鍵 [5]。在這裏，我們也可以這樣做。讓我們享受一個漫長的 AI 盛夏，而不是毫無準備地衝向秋天。
資料來源：愛範兒（ifanr）
包括「ChatGPT 之父」Sam Altman 在內 350 位 AI 權威都簽署了這封聯名公開信，並對當前正在開發的 AI 技術可能會對人類構成生存威脅擔憂。
這封信只有一句聲明：降低人工智能滅絕的風險，應該與其它社會規模的風險（如大流行病和核戰爭）一樣，成為全球的優先事項。
加入公開信簽名🔗
https://www.safe.ai/statement-on-ai-risk
簽署人包括三個領先的 AI 公司高管：
- OpenAI 首席執行官 Sam Altman；
- Google DeepMind 首席執行官 Demis Hassabis；
- Anthropic 的首席執行官 Dario Amodei；
更重要的是，名單裏還有 Geoffrey Hinton 和 Yoshua Bengio 兩位人工智能的「教父」。
超過 350 名從事人工智能工作的高管、研究人員和工程師簽署了這份由非盈利組織人工智能安全中心發佈的公開信，認為人工智能具備可能導致人類滅絕的風險，應當將其視為與流行病和核戰爭同等的社會風險。
如今人們越來越擔心 ChatGPT 等人工智能模型的發展可能對社會和就業帶來的潛在威脅，很多人呼籲針對 AI 行業進行更強力的監管，否則它將對社會造成不可挽回的破壞。
AI 不斷狂飆，但相關的監管、審計手段卻遲遲沒有跟上，這也意味着沒有人能夠保證 AI 工具以及使用 AI 工具的過程中的安全性。
在上週，Sam Altman 和另外兩位 OpenAI 的高管提出應該建立類似國際原子能機構這樣國際組織來安全監管 AI 的發展，他呼籲國際間領先的人工智能製造商應該展開合作，並要求政府強化對尖端人工智能製造商的監管。
其實早在 3 月，就一篇有關叫停 6 個月 AI 研究的公開信火遍了全網。
該信呼籲所有的 AI 實驗立即暫停研究比 GPT-4 更先進的 AI 模型，暫停時間至少 6 個月，為的就是把這些可怕的幻想扼殺在搖籃之中。
AI 的進步速度實在過於驚人，但相關的監管、審計手段卻遲遲沒有跟上，這也意味着沒有人能夠保證 AI 工具以及使用 AI 工具的過程中的安全性。
該聯名信已經獲得了包括 2018 年圖靈獎得主 Yoshua Bengio、馬斯克、史蒂夫 · 沃茲尼亞克、Skype 聯合創始人、Pinterest 聯合創始人、Stability AI CEO 等多位知名人士的簽名支持，截稿前聯名人數已經達到 1125 人。
公開信的原文如下：
人工智能具有與人類競爭的智能，這可能給社會和人類帶來深刻的風險，這已經通過大量研究 [1] 得到證實，並得到了頂級 AI 實驗室的認可 [2]。正如廣泛認可的阿西洛馬爾人工智能原則（Asilomar AI Principles）所指出的，先進的 AI 可能代表地球生命歷史上的重大變革，因此應該以相應的關注和資源進行規劃和管理。
不幸的是，即使在最近幾個月， AI 實驗室在開發和部署越來越強大的數字化思維方面陷入了失控的競爭，而沒有人能夠理解、預測或可靠地控制這些數字化思維，即使是它們的創造者也無法做到這一點。
現代 AI 系統現在已經在通用任務方面具有與人類競爭的能力 [3]，我們必須問自己：
- 我們應該讓機器充斥我們的信息渠道，傳播宣傳和謊言嗎？
- 我們應該將所有工作都自動化，包括那些令人滿足的工作嗎？
- 我們應該發展可能最終超過、取代我們的非人類思維嗎？
- 我們應該冒失控文明的風險嗎？
這些決策不應該由非選舉產生的科技領導人來負責。只有當我們確信 AI 系統的影響是積極的，風險是可控的，我們才應該開發強大的 AI 系統。這種信心必須得到充分的理由，並隨着系統潛在影響的增大而增強。OpenAI 最近關於人工智能的聲明指出：「在某個時候，可能需要在開始訓練未來系統之前獲得獨立審查，對於最先進的努力，需要同意限制用於創建新模型的計算增長速度。」我們同意。現在就是那個時刻。
因此，我們呼籲所有 AI 實驗室立即暫停至少 6 個月的時間，不要訓練比 GPT-4 更強大的 AI 系統。這個暫停應該是公開和可驗證的，幷包括所有關鍵參與者。如果無法迅速實施這樣的暫停，政府應該介入並實行一個暫禁令。
AI 實驗室和獨立專家應該利用這個暫停時間共同制定和實施一套共享的先進 AI 設計和開發安全協議，這些協議應該由獨立的外部專家嚴格審核和監督。
這些協議應確保遵守它們的系統在合理懷疑範圍之外是安全的 [4]。這並不意味着暫停 AI 發展，而只是從不斷邁向更大、不可預測的黑箱模型及其突現能力的危險競賽中退一步。
AI 研究和開發應該重點放在提高現有強大、先進系統的準確性、安全性、可解釋性、透明度、魯棒性、對齊、可信度和忠誠度。
與此同時，AI 開發者必須與政策制定者合作，大力加速 AI 治理體系的發展。這些至少應包括：
- 專門負責 AI 的新的、有能力的監管機構；
- 對高能力 AI 系統和大型計算能力池的監督和跟蹤；
- 用於區分真實與合成內容、跟蹤模型泄漏的溯源和水印系統；
- 健全的審計和認證生態系統；對 AI 造成的損害承擔責任；
- 技術 AI 安全研究的充足公共資金；
- 應對 AI 引起的巨大經濟和政治變革（特別是對民主制度的影響）的資深機構。
人類可以在 AI 的幫助下享受繁榮的未來。在成功創造出強大的 AI 系統之後，我們現在可以享受一個「AI 盛夏」，在其中我們收穫回報，將這些系統明確地用於造福所有人，並讓社會有機會適應。
在面臨可能對社會造成災難性影響的其他技術上，社會已經按下了暫停鍵 [5]。在這裏，我們也可以這樣做。讓我們享受一個漫長的 AI 盛夏，而不是毫無準備地衝向秋天。
資料來源：愛範兒（ifanr）
請按此登錄後留言。未成為會員? 立即註冊