OpenAI在GPU資源限制下的短期路線圖和未來展望
近日，OpenAI創始人Sam Altman與Humanloop CEO Raza Habib以及其他20位開發者進行了一場閉門交流，討論了OpenAI的現狀和未來規劃。HumanLoop是一家幫助開發者在大語言模型上構建應用的公司。
有參加了此次交流會的開發者表示，由于這是一次閉門交流，Altman表現出了開放的心態，討論內容涵蓋了開發者面臨的實際問題，還延伸到了商業競爭、AI監管和開源等問題。
Raza Habib記錄了這次對話的重要內容，并在網絡上公布了相關內容。然而，隨后根據OpenAI的要求，這些內容已被刪除。這一刪除行為引發了外界的強烈好奇和質疑。
有網友表示：“一家從互聯網上收集信息做產品的公司，居然要求從互聯網上‘刪除’一篇文章，這種行為真的很諷刺。”
外界對于OpenAI刪除文章的原因存在各種猜測。在HackNews上，一位現場參會者認為OpenAI刪除文章是因為他們不希望在公開場合討論一些重要的公司規劃。還有網友認為，OpenAI這樣做可能有炒作的嫌疑，畢竟GPU資源短缺已經不再是一個秘密，只需要看看英偉達的股價就能了解情況。
一、OpenAI對GPU資源的依賴
在Altman和Raza的討論中，確認了OpenAI目前嚴重依賴GPU資源，這導致許多短期計劃不得不推遲。一些大客戶還抱怨API的可靠性和速度表現。Altman贊同這些觀點，并解釋說主要問題源于GPU供應不足。
目前，更長的32k上下文還無法完全推廣。OpenAI仍然面臨O(n^2)注意力擴展問題的挑戰，這意味著盡管預計在今年實現10萬到百萬級令牌的上下文窗口，但進一步擴展需要突破性的研究。
微調API目前同樣受到GPU資源的限制。由于尚未使用Adapters或LoRa等高效的微調方法，OpenAI的微調運行和管理仍然需要大量的計算資源。未來，微調的支持效果將會更好，OpenAI甚至可能為社區建立一個專門的模型市場。
專用容量產品也無法獨善其身。OpenAI目前提供專用容量，為客戶提供模型的私有副本。然而，要獲得這項服務，客戶需要預先支付10萬美元。
隨著大型語言模型和AI的廣泛應用，各個AI企業對GPU的需求迫切程度達到了前所未有的水平。英偉達高端GPU芯片的價格已經達到每片數萬美元，AI基礎設施公司正在以數萬臺的價格購買這些芯片。馬斯克也表示他已經為他的新AI初創公司X.AI購買了超過3萬塊英偉達頂級的H100 GPU芯片，每塊價格超過3萬美元。此外，Meta和微軟也成為今年英偉達GPU的最大買家之一（Meta可能是第一名，因為Facebook、Instagram、WhatsApp和Messenger應用中有許多使用AI增強的功能需要GPU支持）。
這就是為什么Sam Altman表示OpenAI也非常缺乏GPU資源的原因。Sam Altman此前在媒體采訪中公開強調了GPU的可用性如何影響OpenAI今年及以后的計劃。
二、OpenAI的短期路線圖
除了強調GPU的重要性外，Altman還分享了OpenAI的API近期路線圖（暫定）。
Altman表示，2023年對于OpenAI的發展來說是重要的一年，他們有一些令人興奮的計劃和目標。
首要任務是推出價格更低、速度更快的GPT-4。總體而言，OpenAI希望通過不斷改進模型和提高性能，使其更適合廣泛的應用場景，并更好地滿足客戶需求。GPT-4的發布將是OpenAI在2023年的一個重要里程碑。
此外，OpenAI還計劃改善API的可靠性和速度，以提供更好的用戶體驗。他們將投入更多資源來解決目前API使用過程中的一些限制和問題，以確保用戶能夠更高效地使用和集成OpenAI的技術。
Altman還提到，OpenAI計劃加大對開發者社區的支持力度。他們計劃在未來提供更多的文檔、示例代碼和教程，以幫助開發者更好地理解和使用OpenAI的技術。此外，OpenAI還考慮建立一個專門的模型市場，讓開發者能夠共享和交易自己訓練的模型。
在AI安全方面，OpenAI將繼續致力于研究和開發能夠確保模型的安全性和可控性的方法。他們意識到大型語言模型的潛在風險，并將持續投入資源來解決這些問題，確保AI技術的發展與社會利益相符。
總的來說，OpenAI在短期路線圖中關注的重點是改進模型性能、提高API的可靠性和速度，并加強對開發者社區的支持。他們希望通過這些努力為用戶提供更好的體驗，并推動AI技術的發展和應用。