Happy-LLM

🎯 项目介绍

  很多小伙伴在看完 Datawhale开源项目： self-llm 开源大模型食用指南 后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。于是我们（Datawhale）决定推出《Happy-LLM》项目，旨在帮助大家深入理解大语言模型的原理和训练过程。

  本项目是一个系统性的 LLM 学习教程，将从 NLP 的基本研究方法出发，根据 LLM 的思路及原理逐层深入，依次为读者剖析 LLM 的架构基础和训练过程。同时，我们会结合目前 LLM 领域最主流的代码框架，演练如何亲手搭建、训练一个 LLM，期以实现授之以鱼，更授之以渔。希望大家能从这本书开始走入 LLM 的浩瀚世界，探索 LLM 的无尽可能。

✨ 你将收获什么？

• 📚 Datawhale 开源免费 完全免费的学习本项目所有内容
• 🔍 深入理解 Transformer 架构和注意力机制
• 📚 掌握 预训练语言模型的基本原理
• 🧠 了解 现有大模型的基本结构
• 🏗️ 动手实现 一个完整的 LLaMA2 模型
• ⚙️ 掌握训练 从预训练到微调的全流程
• 🚀 实战应用 RAG、Agent 等前沿技术

📖 内容导航