实现DeepSeek671B全参数微调 HKGAI V1香港本土大模型发布

2月25日，香港特区政府重点创科项目“InnoHK创新香港研发平台”（InnoHK）资助的香港生成式人工智能研发中心（HKGAI）正式发布业界首个基于DeepSeek671B全参数微调、持续训练产生的大模型HKGAIV1，并计划将该模型接入自研AI智能对话应用“港话通”（手机版）、公文写作系统“港文通”（HKPilot）以及其他系统，全面支持粤语、英语和普通话。

香港特区政府创新科技及工业局局长孙东教授表示，人工智能正在引领新一轮技术革命和产业变革，在这波以人工智能为代表的科技浪潮中，香港没有缺席。他希望香港研发的大语言模型能够立足香港，尽快提供给业界及市民使用，服务大众，日后更希望利用这个平台服务数以千万的海外华人。

香港特区政府创新科技及工业局局长孙东教授致辞

同时，孙东教授表示：“HKGAI研发中心的团队迅速将DeepSeek完美的底座模型架构与HKGAI非常杰出的数据处理，微调和对齐技术有机结合，从当初中心的成立，到今天我们香港自己的大语言模型的推出，历时一年半，从无到有，书写了狮子山下一个美好的科创传奇。”

香港科技大学首席副校长、香港生成式人工智能研发中心主任郭毅可教授表示，在香港特区政府领导和大力支持下，HKGAIV1通过深度融合我国的技术路径和香港特有数据和地方文化及价值观，实现了我国人工智能自主创新成果在香港的本土化落地，架设起我国人工智能技术出海的高速通道，为“一国两制”制度优势下香港与内地协同创新的重要案例。

打造“聪明的香港AI对话助手”

“狮子山精神象征着香港市民自强不息、同舟共济的价值观。要教授孩子这一精神，可以陪孩子参与集体活动，如社区清洁、义卖筹款等……”在HKGAIV1全球首发发布会现场，“港话通”正在为一位体验者出谋划策。

“我们使DeepSeek通过香港本地化成为‘聪明的香港AI对话助手’。”郭毅可表示，“我们不仅植入了香港法律条例、政府文书等大量本地公文数据，更创新性地使用香港文化数据开展训练，使模型真正具备‘港式思维’、香港文化，努力实践与体现‘一国两制’制度优势。”

香港科技大学首席副校长、香港生成式人工智能研发中心主任郭毅可教授演讲

据悉，截至目前，在数字政策办公室的协调下，香港特区政府已有约70个部门参与试用“港文通”。

据郭毅可介绍，在香港公务员公文处理的场景中，HKGAIV1运行效率和内容丰富性较国际主流模型大幅提升，兼具合规性要求。“我们推出HKGAIV1旨在为香港打造最先进的本地化大模型，未来提供给市民和政府使用，并赋能香港产业体系变革与发展。”郭毅可说。

实现DeepSeek671B首次全参数微调

“聪明的香港AI对话助手”迅速上线，离不开由HKGAI和北京大学联合组成的技术团队的攻关突破，也离不开香港数码港给予大力支持。“我们在短短几周内完成DeepSeek671B大模型从基座迁移到全参数微调的开发流程。”HKGAI预研部主任韩斯睿教授表示，区别于常见的轻量级微调方案，研发人员基于本地千卡算力集群，对模型千亿参数进行全参数监督微调，在确保通用智能水平不降级的前提下，完成模型的本地化，实现了对香港语言文化、政务流程、商业规范等垂直领域的深度适配。

据核心技术人员透露，HKGAI技术团队成功突破671B全参数微调领域一系列技术壁垒，为国产大模型的持续训练提供了创新解决方案。开源基座的训练支持缺失是技术团队遭遇的首个“拦路虎”。通过深入解析核心论文，技术团队重构了模型架构的关键组件。面对数据配比这一行业共性难题，技术团队通过大量实验，分析不同数据子集对模型收敛速度和泛化能力的影响，实现目前的最好效果。针对671B超大参数规模模型，技术团队成功在较短时间内攻克高并发场景下的推理计算难关。该框架已形成完整技术栈，未来可快速复用于其他超大规模模型训练。

骐骥千里，非一日之功。据了解，在香港特区政府，特别是创新科技及工业局及创新科技署的资助与大力支持下，自2023年10月成立以来，HKGAI肩负着香港特区政府应对全球生成式AI浪潮的重任，由香港科技大学牵头，联合多所高校共同组建，致力于构建具有香港本地特色的开源大模型，以增强香港在AI浪潮中的全球竞争力。“HKGAI过去一年在算力集成、技术研发、应用拓展、人才培养等方面的积累，是HKGAIV1得以快速开发和应用的重要原因。”郭毅可称。

香港特区政府创新科技及工业局局长孙东教授与HKGAI研发团队合影留念

郭毅可表示，衷心感谢香港特区政府一直以来对HKGAI的关爱和支持，HKGAIV1项目的推进始终遵循“国家所需、香港所长”的战略导向。“在中国科技自立自强进程中，HKGAIV1的诞生具有特殊战略价值。其采用的‘国产基座+本地化创新’双轮驱动模式，既保障了底层技术的安全可控，又充分释放了香港本地化与国际化数据要素的活力。”郭毅可称。

发挥“内联外通”独特优势

香港“内联外通”优势正在AI时代焕发新机。郭毅可表示，依托香港融通中外的独特优势，HKGAIV1通过两大战略路径构建科技创新赋能体系：对内开展创新协同，通过内地-香港联合实验室实现技术共融，驱动粤港澳大湾区人工智能产业链能级跃升，为打造世界级科创中心注入新动能；对外进行国际化辐射路径，以香港为支点构建海外技术交流网络，通过向海外华人社区及国际市场输出国际化的AI解决方案，系统提升中国科技创新标准的全球渗透力。

郭毅可坦言，站在新的历史节点，HKGAI将在AI数据治理、校企协同人才培养、AI+香港特色产业，如法律、金融、医疗等重点领域持续突破。“在世界AI发展的浪潮中，在国家AI发展的征途上，我们香港不能缺席，我们既要做攻坚尖刀，又可当科技试验田。”郭毅可的这番展望，道出了HKGAI科技工作者的共同心声。