探索分散式人工智能 推動AI民主化進程｜研之有理
2024-11-30 12:19 
隨着「生成式人工智能」（Generative AI, GenAI）技術的快速發展，透過「大語言模型」（LLM）、「多模態大語言模型」（MLLM）和「穩定擴散」（Stable Diffusion）等技術，人工智能正逐步滲透並影響生命科學、能源、金融、娛樂等眾多行業。這些技術進步不僅加速了創新設計和個性化服務的實現，還極大提升工作流程的效率。據預測，GenAI市場規模將從2022年的400億美元，增長至未來10年的1.3兆美元。
廣泛應用的挑戰及對策
然而，GenAI的廣泛應用面臨諸多挑戰，其中之一是主要科技公司對GPU資源的壟斷，這限制了科研機構和企業的開發能力。許多機構被逼依賴API解決方案，這不僅會帶來延遲和安全風險，還限制了模型的客製化能力。此外，開源模型雖然提供了一定的靈活性，但客製化程度有限，難以充分融入特定領域的知識。這些限制阻礙了研究人員在預訓練階段的深度參與，而這一階段對於開發強大且適應領域需求的模型至關重要。
為了應對這些挑戰，並促進GenAI技術的普及化，香港理工大學正在開創一種創新的GenAI基礎設施。這一設施將使每個企業和應用能夠獨立進行GenAI模型的預訓練，並通過「模型之上的模型」（Model over Models, MoM）方法來構建基礎模型（Foundation Model）。具體來說，我們將世界知識劃分為數千個領域，並為每個領域訓練相對較小的「語言模型」（Small Language Models）。這些小模型的訓練資源需求相對較低，例如一個70億參數的模型，只需64至128張GPU卡即可進行持續預訓練（Continual Pretrain）。最終，我們可以通過MoM方法，以極低的成本構建通用人工智能（AGI）基礎模型，這大大降低了參與成本，使全球的企業和研究機構都能夠參與基礎模型的訓練。
技術創新點 革新AI領域
這項嶄新的方案革新了AI領域，使企業和應用能夠自訓GenAI模型，並通過MoM策略整合領域特定模型，以低運算成本推進通用人工智能（AGI）的發展。
首先，方案革新GenAI基礎設施，可集中利用GPU集群，減少閒置；通過「基礎設施即服務」（IaaS）連接GPU集群，平台即服務（PaaS）讓不同領域的數據，透過持續預訓練增強GenAI；創建和部署專業模型；通過應用層與IaaS和PaaS整合，度身訂造特定產業應用。
另外，通過「領域自適應持續預訓練」（Domain Adaptive Continual Pretrain, DACP）系統，持續更新現有模型，不斷加入新數據，增強靈活性，產業合作開發專業模型，並解決「災難性遺忘」（Catastrophic forgetting），即模型在學習新任務後，迅速忘記之前學習的任務。
第三，MoM模型合併架構以演化演算法，有效組合模型，以克服模型合併的限制。MoM採用了蒸餾技術，整合不同架構模型，擷取每個模型的優點，啟動開源平台促進模型的合併；建立DACP、演算法和高質素模型整合的學習範式。
最後，GenAI各種服務透過DACP，以持續更新的模型，解決訓練低效和災難性遺忘問題。
上述技術顯著提高準確率，在缺乏訓練數據領域，模型精度甚至可提高10倍，只要具備64個GPU的AI實驗室，就可參與GenAI的核心開發，推進AI民主參與。
節省大量訓練時間及成本
MoM可節省大量訓練時間和成本：只需512塊輝達H100GPU晶片，便可實現傳統MoD模型訓練的訓練水平，相等模型需2至3萬塊H100GPU，訓練成本大降98.3%。MoM將為分散式LLM奠下基礎，帶動全球參與AI創新，減少依賴高密度運算資源，激發AI創新與多元發展路徑。
我們深信，MoM建立的分散式AI實驗室，可解決當前GPU不足困境，容許研究機構和企業共謀發展，促進創新和驅動AI投入。內地和香港有不少算力資源；包括數碼港人工智能超算中心，學術和企業共建「去中心」GenAI平台，兩蒙共利，更非遙不可及。
本欄歡迎院校學者投稿，分享個人學術見解及研究成果，1400字為限，查詢及投稿請電郵︰[email protected]。
文：香港理工大學電子計算學系教授楊紅霞
文章刊於《星島日報》教育版「知識轉移」。
延伸閱讀：
最新回應