探索分散式人工智能 推动AI民主化进程｜研之有理

随着「生成式人工智能」（Generative AI, GenAI）技术的快速发展，透过「大语言模型」（LLM）、「多模态大语言模型」（MLLM）和「稳定扩散」（Stable Diffusion）等技术，人工智能正逐步渗透并影响生命科学、能源、金融、娱乐等众多行业。这些技术进步不仅加速了创新设计和个性化服务的实现，还极大提升工作流程的效率。据预测，GenAI市场规模将从2022年的400亿美元，增长至未来10年的1.3兆美元。

广泛应用的挑战及对策

然而，GenAI的广泛应用面临诸多挑战，其中之一是主要科技公司对GPU资源的垄断，这限制了科研机构和企业的开发能力。许多机构被逼依赖API解决方案，这不仅会带来延迟和安全风险，还限制了模型的客制化能力。此外，开源模型虽然提供了一定的灵活性，但客制化程度有限，难以充分融入特定领域的知识。这些限制阻碍了研究人员在预训练阶段的深度参与，而这一阶段对于开发强大且适应领域需求的模型至关重要。

为了应对这些挑战，并促进GenAI技术的普及化，香港理工大学正在开创一种创新的GenAI基础设施。这一设施将使每个企业和应用能够独立进行GenAI模型的预训练，并通过「模型之上的模型」（Model over Models, MoM）方法来构建基础模型（Foundation Model）。具体来说，我们将世界知识划分为数千个领域，并为每个领域训练相对较小的「语言模型」（Small Language Models）。这些小模型的训练资源需求相对较低，例如一个70亿参数的模型，只需64至128张GPU卡即可进行持续预训练（Continual Pretrain）。最终，我们可以通过MoM方法，以极低的成本构建通用人工智能（AGI）基础模型，这大大降低了参与成本，使全球的企业和研究机构都能够参与基础模型的训练。

技术创新点 革新AI领域

这项崭新的方案革新了AI领域，使企业和应用能够自训GenAI模型，并通过MoM策略整合领域特定模型，以低运算成本推进通用人工智能（AGI）的发展。

首先，方案革新GenAI基础设施，可集中利用GPU集群，减少闲置；通过「基础设施即服务」（IaaS）连接GPU集群，平台即服务（PaaS）让不同领域的数据，透过持续预训练增强GenAI；创建和部署专业模型；通过应用层与IaaS和PaaS整合，度身订造特定产业应用。

另外，通过「领域自适应持续预训练」（Domain Adaptive Continual Pretrain, DACP）系统，持续更新现有模型，不断加入新数据，增强灵活性，产业合作开发专业模型，并解决「灾难性遗忘」（Catastrophic forgetting），即模型在学习新任务后，迅速忘记之前学习的任务。

第三，MoM模型合并架构以演化演算法，有效组合模型，以克服模型合并的限制。MoM采用了蒸馏技术，整合不同架构模型，撷取每个模型的优点，启动开源平台促进模型的合并；建立DACP、演算法和高质素模型整合的学习范式。

最后，GenAI各种服务透过DACP，以持续更新的模型，解决训练低效和灾难性遗忘问题。

上述技术显著提高准确率，在缺乏训练数据领域，模型精度甚至可提高10倍，只要具备64个GPU的AI实验室，就可参与GenAI的核心开发，推进AI民主参与。

节省大量训练时间及成本

MoM可节省大量训练时间和成本：只需512块辉达H100GPU晶片，便可实现传统MoD模型训练的训练水平，相等模型需2至3万块H100GPU，训练成本大降98.3%。MoM将为分散式LLM奠下基础，带动全球参与AI创新，减少依赖高密度运算资源，激发AI创新与多元发展路径。

我们深信，MoM建立的分散式AI实验室，可解决当前GPU不足困境，容许研究机构和企业共谋发展，促进创新和驱动AI投入。内地和香港有不少算力资源；包括数码港人工智能超算中心，学术和企业共建「去中心」GenAI平台，两蒙共利，更非遥不可及。

本栏欢迎院校学者投稿，分享个人学术见解及研究成果，1400字为限，查询及投稿请电邮︰[email protected]。

文：香港理工大学电子计算学系教授杨红霞

文章刊于《星岛日报》教育版「知识转移」。

延伸阅读：

创新科技推动农业 迈向高质量可持续发展｜研之有理

开拓海洋保育和可持续水产研究｜研之有理

拥抱低空经济产业 立足香港展望未来｜研之有理

发展电动汽车产业 迎接经济转型契机｜研之有理

发展绿色科研 推动碳中和｜研之有理