从0构建大模型：9个项目，手搓你自己的专属mini-ChatGPT

3月18日凌晨，OpenAI毫无预兆上线GPT-5.4 mini、nano两款轻量模型。目标很明确——在真实生产环境中，让AI更快、更准、更便宜。

轻量级模型的爆发正重塑行业共识。模型不再稀缺，赛道真正比拼的是吃透底层原理、自主微调、低资源训练的硬核能力。然而现实是，许多工程师卡在：千亿大模型受算力限制无法运行；Transformer、Attention、RLHF理论一知半解；又无暇啃读论文，进阶举步维艰。

为系统解决上述痛点，深蓝学院将transformer、RLHF原理与工程实践相结合，推出了《大语言模型基础：理论与实践》课程。从经典的语言模型开始讲解，逐步深入到GPT模型，详细拆解GPT的核心模块，最后带着大家实现自己的mini-ChatGPT。在讲解原理的同时，课程非常注重代码实践，从数据预处理到模型训练及调优，9个实践项目的代码实现穿插于每个算法理论之中。

深蓝学院mini-ChatGPT项目介绍

扫码添加，了解详情

抢占学习名额

课程导师

黄佳

新加坡科技研究局人工智能高级研究员，主攻方向为NLP大模型的研发与应用、持续学习、AI in FinTech、AI in Spectrometry Data。曾著有《零基础学机器学习》、《数据分析咖哥十话》等多部畅销书籍，深耕数据科学领域多年，积累了丰富的科研项目和政府、银行、能源、医疗等领域 AI 项目落地实战经验。

课程大纲

课程项目

扫码添加，了解详情

抢占学习名额

课程目标

本门课程采 透彻理解以ChatGPT为代表的生成式语言模型的原理以及代码实现，自主开发属于自己的ChatGPT。

（1）掌握语言模型的经典与主流算法，及其发展脉络；

（2）深刻理解ChatGPT的若干核心技术；

（3）动手实现mini版本的ChatGPT。

学会收获

1. 你将获得现代NLP技术的关键内核和完整脉络（摒弃一切已经不需要过多了解的过时东西）

2. 你将搭建起一个属于你自己的简版ChatGPT（生成式语言模型）

3. 你将掌握NLP领域编程基本功和PyTorch主要内容

4. 你将掌握注意力机制和Transformer架构的核心思想以及代码实现

课程服务

1. 三师助力

讲师&助教及时答疑解惑，班主任全程带班督学，帮你克服拖延，不断进步。

2.定期班会

助教1V1批改作业，并在班会中进行讲评和指导；在班会中，学习更多技巧；在交流中收获更多思路。

咨询更多

扫码添加，了解详情

抢占学习名额