最近，奧特曼的新煩惱又來了，這次的煩惱是OpenAI 員工們要“造反”了。
6月5日，一封由13位OpenAI和谷歌DeepMind前員工、現員工聯合發布的公開信，引起全世界網友的廣泛關注。
這封信不僅揭發OpenAI的魯莽和保密文化，強調前沿AI技術的嚴峻風險，還表達了對AI公司在開發和推廣AI技術時利益優先、打壓異見者和規避監管等種種行徑的擔憂。
更猛的是，為這封信公開署名的竟有：被譽為“人工智能教父”的杰弗里·辛頓（Geoffrey Hinton）、因開創性AI研究獲得圖靈獎的約書亞·本吉奧（Yoshua Bengio）和AI安全領域的學者斯圖爾特·羅素（Stuart Russell）。
連這些骨灰級的大神們都親自下場掐架了，可見這封信的聲量和影響力，定然不同凡響。
01
這封公開信想表達什么？
看完這封公開信后，給大家歸納了幾個要點：（文末還有公開信的完整編譯）
第一，AI或許會加劇現有的不平等現象，操縱和傳播誤導信息，以及可能無法控制自主人工智能系統，最終可能威脅人類生存。
第二，AI 公司出于財務利益的考慮，往往避免接受有效監管，“我們認為特別設計的企業治理模式不足以改變這一現狀”。
第三，AI公司掌握著大量的內部信息，目前與政府分享這些信息的責任較為有限，而且沒有與民間社會分享的義務。這些公司中，現任和前任員工是為數不多的能夠向公眾負責的人，但保密條款阻礙了這種憂慮的表達。
第四，希望領先的AI 企業承諾遵循一些原則，包括承諾不會簽訂或執行任何禁止對公司的風險相關擔憂進行負面評價或批評的協議，也不會因員工進行風險相關的批評而阻礙其既得經濟利益做出報復。
第五，希望建立一個可驗證的匿名機制，供現任和前任員工使用。
OpenAI 前員工丹尼爾·科泰洛 （Daniel Kokotajlo）作為聯名信公開署名人員中的一位，曾在社交平臺發文提到，“我們中一些最近從 OpenAI 辭職的人聚集在一起，要求實驗室對透明度作出更廣泛的承諾。”
據了解，今年 4 月，丹尼爾剛從 OpenAI 辭職，其原因之一就是對 OpenAI 在構建通用人工智能方面未采取負責任的行為，失去了信心。
在丹尼爾看來，AI系統不是普通的軟件，它們是從大量數據中學習的人工神經網絡。關于可解釋性、對齊和控制的科學文獻正在迅速增多，但這些領域仍處于起步階段。如果不小心，可能會在長期內造成災難性后果。
從OpenAI離開時，丹尼爾曾被要求簽署一份文件，其中包含一項不貶損條款，禁止他發表任何批評公司的話。他拒絕簽署，最終代價是失去了既得股權。
02
OpenAI造反的遠不止這些人
巧合的是，今年4月，從OpenAI離開的還有奧波德·阿申布倫納（Leopold Aschenbrenner）。
不同的是，他不是主動辭職，而是被OpenAI以泄露公司機密為由開除的。
阿申布倫納是OpenAI前超級對齊部門成員，他可能曾與5月剛離職的跟OpenAI 聯合創始人、首席科學家 Ilya Sutskever一起共事。
但他被開除的真實原因，其實是他給幾位董事會成員分享了一份OpenAI安全備忘錄，結果招致OpenAI高層的不滿。
據說，OpenAI當時很清楚地告訴他，開除他的主要原因就是這份備忘錄。
隨后，之后阿申布倫納上線了一個網站，用165頁PDF文件匯總了他在OpenAI工作期間所了解的信息，這份文件被看作是“硅谷最激進的AI研究人員提出的一份未來10年AI發展的綱領性文件”。
在他看來，深度學習沒有遇到瓶頸，人類在2027年，就能實現AGI。而在2030年左右，AGI很有可能會發展出全面超越人類的超級人工智能，但是人類似乎還沒有做好準備。
他還預言，AI即將帶來的，絕不僅是多數專家認為的“另一場互聯網規模的技術變革”。
有趣的是，阿申布倫納最近成立了一家專注于 AGI 的投資公司，主要投資人包括 Patrick Collison（移動支付巨頭Stripe聯創兼CEO）、John Collison（同為Stripe聯創）、Nat Friedman（前Github的CEO） 和 Daniel Gross（Y Combinator前AI主管）。
03
多名OpenAI骨干加入“叛軍”陣營
5月15日，OpenAI 聯合創始人、首席科學家 Ilya Sutskever ，突然宣布已離開 OpenAI。
自去年11月OpenAI宮斗事件中，由于對公司模型的安全性有所擔憂，Ilya曾聯合董事會成員發起過反對Sam Altman的行動。事后，Ilya幾乎沒有出席過任何學術演講或接受任何采訪，從此銷聲匿跡。
此后，業界一直很關心“Ilya看到了什么？他去哪了，又在做什么？”
Ilya 此前曾在一段視頻中提到，在 AGI 實現的那一天，AI 未必會仇恨人類，但他們對待人類的方式可能會像人對待動物一樣。人可能無意傷害動物，但如果你想修一條城際高速，你不會征詢動物的意見，而是直接去做。當面臨這種情況時，AI 可能也會自然而然地做出類似的選擇。
當時，很多人可能沒注意，與 Ilya 同步宣布離開的，還有超級對齊團隊的共同領導者 Jan Leike。
他是OpenAl安全主管，曾與Ilya Sutskever共同領導OpenAI的超級對齊團隊，該團隊負責防止超級智能失控。
據JanLeike透露，他與OpenAl高層在公司的核心優先事項上存在長期分歧，雙方的分歧嚴重到無法調和的地步。團隊在推動其研究項目和爭取計算資源時遇到了重大阻礙，缺乏資源嚴重影響研究的進度和質量。
無獨有偶，5月18日，OpenAl超級對齊團隊就地解散，剩余成員并入核心研究團隊?，F在看，這一步步就像是提前排練好的。
5月29日，Jan Leike正式宣布加入OpenAl的競爭對手Anthropic。
他在X上稱：“我很興奮能加入Anthropic團隊，繼續推進超級對齊任務！我的新團隊將致力于可擴展的監督機制、弱到強泛化以及自動化對齊研究。如果你也對加入我們感興趣，歡迎通過私信聯系我。”
Anthropic是誰？據了解，Anthropic就是原OpenAI員工組建的公司，因為一些發展理念不合才直接“反叛”，并成為了OpenAI的最強勁敵。
Anthropic由前OpenAI員工Dario Amodei和Daniela Amodei兄妹于2021年創立，亞馬遜已對其投資40億美元，并持有少數股權，該公司一直試圖將自己定位為比競爭對手（OpenAl）更有安全意識的公司。
今年3月，Anthropic剛發布的Claude 3系列模型，已在多模態和語言能力指標上，已全面碾壓GPT-4。
關于Anthropic與OpenAl的對抗故事，似乎剛拉開帷幕，后面我們或許還能見證更多他們之間愛恨情仇。
從去年11月OpenAI宮斗事件開始，關于OpenAl大模型的安全性問題，其實一直都存在一些爭議。
也許就是從那時起，OpenAI 內部就分裂成了兩個陣營：
一個是以奧特曼為首的發展派；另一個則是以 Ilya 為首的安全派。
但結局很明顯，以 Ilya 為首的安全派喪失了話語權，整個超級對齊團隊被連根拔起，為繼續施行自己的發展理念和相關進程，奧特曼還在繼續清除異己。
AGI會全面超越人類的超級人工智能嗎？到時候，我們能從容面對嗎？
這些問題的答案還重要嗎？你怎么看？
附：以下是對此封公開信的完整編譯
《警告先進AI的權利》
我們是各大前沿AI公司的現任和前任員工，我們相信AI技術有潛力為人類帶來前所未有的好處。
我們也理解這些技術帶來的嚴重風險。這些風險包括加劇現有的不平等、操縱和誤導信息、以及失控的自主AI系統可能導致人類滅絕。AI公司自身已經承認了這些風險，政府和其他AI專家也有類似的看法。
我們希望這些風險能夠在科學界、政策制定者和公眾的充分指導下得到有效的緩解。然而，AI公司有強烈的財務動機避免有效的監督，我們不相信公司為自己量身定制的治理結構能夠改變這一點。
AI公司擁有大量關于其系統能力和局限性的非公開信息，這些信息涉及系統的保護措施以及系統的各種風險水平。然而，他們目前只需要向政府分享部分信息，并不背負著向政府匯報的強烈義務，更沒有義務向社會公眾分享任何信息。我們不認為他們可以完全自愿地分享這些信息。
只要這些公司沒有有效的政府監督，那現任和前任員工就是少數能夠讓公司負起責任的公眾人士之一。然而，廣泛的保密協議阻止了我們表達擔憂，除非是向那些可能未能解決這些問題的公司報告。普通的舉報者保護不足以應對此類問題，因為它們主要關注非法活動，而我們關心的許多風險尚未受到監管?？紤]到行業歷史上一些案例中的各種報復行為，我們中的一些人合理地擔心會受到各種形式的報復。我們并不是第一個遇到或談論這些問題的人。
因此，我們呼吁先進的AI公司承諾以下原則：
公司不會簽訂或執行任何禁止因風險相關問題而對公司進行詆毀或批評的協議，也不會通過阻礙任何既得經濟利益來報復風險相關的批評；
公司將創建一個可驗證的匿名流程，使現任和前任員工能夠向公司的董事會、監管機構以及具有相關專業知識的適當獨立組織提出風險相關的擔憂；
公司將支持公開批評的文化，并允許現任和前任員工向公眾、公司的董事會、監管機構或具有相關專業知識的適當獨立組織提出他們對技術風險的相關擔憂，只要適當保護商業秘密和其他知識產權利益即可；
公司不會報復那些在其他流程失敗后，公開分享風險相關機密信息的現任和前任員工。我們知道，任何報告風險相關擔憂的努力都應避免不必要地泄露機密信息。因此，一旦存在一個足夠安全的匿名提出擔憂的流程，現任和前任員工應首先通過此類流程提出擔憂。然而，只要此類流程不存在，現任和前任員工應保留向公眾報告其擔憂的自由。
簽署人：
雅各布·希爾頓（Jacob Hilton），前OpenAI員工
丹尼爾·科科塔約洛（Daniel Kokotajlo），前OpenAI員工
拉瑪納·庫馬爾（Ramana Kumar），前Google DeepMind員工
尼爾·奈達（Neel Nanda），現Google DeepMind員工，前Anthropic員工
威廉·桑德斯（William Saunders），前OpenAI員工
卡羅爾·懷恩萊特（Carroll Wainwright），前OpenAI員工
丹尼爾·齊格勒（Daniel Ziegler），前OpenAI員工
匿名，現OpenAI員工
匿名，現OpenAI員工
匿名，現OpenAI員工
匿名，現OpenAI員工
匿名，前OpenAI員工
匿名，前OpenAI員工
支持者：
約書亞·本吉奧（Yoshua Bengio）
喬弗里·辛頓（Geoffrey Hinton）
斯圖亞特·羅素（Stuart Russell）
2024年6月4日
加入“AI應用伙伴計劃”
成為 AI 產業新力量
掃描下方二維碼立即報名
匿名用戶
