课程简介
本课程对 Llama 架构的核心模块进行了深入解析,涵盖算法原理和技术实现。你将学习如何对Llama模型进行定制微调,并利用vLLM实现模型的推理与部署。
本课程的特色在于逐一拆解每个核心模块,并通过具体案例深化对每个复杂知识点的理解,不仅教你如何一步一步实践,更让你明白模块背后的原理,从而深刻把握Llama与大语言模型之间的关联。
【本课程将在11月底进行更新,敬请期待】
为什么要学习LLaMA-2?
LLaMA是开源大语言模型的先驱,自从LLaMA开源后,国内外基于LLaMA实现的各种大模型数不胜数,因此,掌握和理解LLaMA的核心模块和算法原理至关重要。建议对大模型领域感兴趣的同学,先从理解LLaMA开始,这对后续掌握和应用其它大模型非常有用。
虽然目前Meta已开源了llama 1/2/3三个模型版本,但三者的模型架构基本一致,主要区别在于数据质量和规模的大幅提升,以及模型参数量的略微不同。LLaMA-2 作为一个较为成熟且具代表性的版本,非常适合作为大语言模型学习的起点。
课程内容概览
深入解析LLaMA架构的核心模块,覆盖理论和实践,全方位解析模型构建。
前沿技术 适时更新
本课程专为AI技术领域的专业人才设计,适合计算机科学、人工智能、数据科学等相关专业的学生,以及从事这些领域的职场专业人士,特别是那些对大语言模型(LLM)感兴趣,希望深入探索和应用前沿技术的学习者和从业者。
课程内容会随着技术的发展进行适时更新,让你始终紧随前沿技术。你的购买价格既包含了当前所有课程内容,又免费享受后续课程的全部更新内容。你无需任何操作,课程更新后会在你的学习账号下自动显示。
一次购买 终身学习
本系列课程内容结合理论与实战,涵盖算法深度解析和详细案例实操。课程永久有效,你可以灵活安排学习进度。所有精品课程不会参与任何促销活动,课程的价格只会随着后续课程的更新有所上调。所以,如果你想加入学习,最好的时间就是现在!
IOS用户可使用Teachable APP下载课程到本地,实现离线学习(点此查看如何登陆网站以及下载使用APP)
课程目录
(可点击试看预览课程内容)
- RMSNorm归一化原理与LLM中的应用 (8:14)
- RMSNorm归一化原理Python实现 (9:21)
- SwiGLU激活函数详解及与其他激活函数的对比 (7:07)
- GLU与SwiGLU算法Python实现及结果可视化 (7:01)
- Transformer中的位置编码与原理解析 (11:46)
- 基于Python的Transformer位置编码实现与可视化 (10:25)
- 基于PyTorch的Transformer位置编码实现与可视化 (7:37)
- 算法相关的数学概念: 复数与向量的基本操作 (8:18)
- ROPE位置编码的算法原理剖析 (11:33)
- 深度解析ROPE算法的PyTorch实现 (13:29)
- 广播机制在位置编码中的应用 (9:30)
- ROPE旋转位置编码应用到序列中的Query和Key (15:44)
学习目标
1 深入理解LLaMA架构:全面掌握各个模块的工作原理和实现方法
2 源码层面的洞察:获得对LLaMA源代码的全局性理解
3 自定义模型微调:学会根据需求对LLaMA模型进行个性化调整
4 模型推理与部署:掌握如何基于微调后的模型进行有效的服务推理和部署
课程配套资料
为了确保你能够最大限度地掌握课程内容,我为你精心准备了详尽的课程配套资料,包括案例相关代码和详细课件、注解版项目源代码等,帮助你在学习过程中更加高效、深入理解每一个知识点。配套资料请在课程第一章内自助下载,课程更新后资料会同步更新,敬请关注。
常见问题
一、无法使用美元支付怎么办?
如国内的同学因支付受限等原因无法直接完成支付,可以点击此处通过淘宝链接进行支付。
请在淘宝购买后发送订单号和用于注册学习账号的邮箱到我的公众号后台,我将在24小时内手动邀请你加入课程。(你可以提前注册账号,只需确保提供给我的邮箱与你的注册邮箱一致即可。
二、什么时候购买最优惠?
所有精品系列课程终身有效,并会进行适当更新,除了未来的粉丝回馈活动,课程本身不会参与任何优惠和促销,课程价格只会随着后续课程的更新有所上调。如果你想以一个比较低的价格加入课程,越早加入越好。如果你做过对比,能够透过花哨的宣传看清楚知识的本质,你应该会知道我的精品课程的性价比。你甚至可以通过学习我分享的开源课程,就可以学到很多在其他地方需要付费才能学到的知识。
三、课程是否提供一对一指导?
本课程的定价仅包含全部视频课程内容以及相关配套资料的终身学习权限,并不包含一对一指导服务,但我可以在时间允许时为大家进行课程相关问题的解答。所有课程内容的设计都经过反复的打磨,并配有十分详尽的课程资料,确保大家能够高效掌握。目前精品系列课程已通过数百名同学的真实学习反馈,获得高度好评。如果在学习过程中有任何疑问,请在对应课程视频下方给我留言,我会尽快回复。
四、我是转行过来的,听说大模型很火,学完这个课程能不能直接上手?
实事求是的说,我并不建议你直接学习我的课程。我的精品课程专为AI技术领域的专业人才设计,课程内容紧随前沿技术,具有一定深度,并不是仅凭一步步跟随操作就能学会的简单教学。非科班出身或转行学习者可能会感到吃力。如果你决心深入学习AI技术,我真诚的建议你花一些时间,将一些相关的基础知识先理解和掌握。很多基础知识无论是在B站还是中国大学慕课网,都有很多优秀的老师做免费分享,只有打好基础,一步步积累,才能真正与前沿技术接轨。
五、我可以每天问很多很多的问题吗?
我非常欢迎大家积极的学习和提问,但一定要问有价值的问题。对于那些通过搜索引擎即可找到答案的问题,以及可以在B站或中国大学慕课网等平台免费学习的基础知识,我建议你花些时间主动学习和理解,这比直接提问更为高效。主动解决问题是AI学习者的基本能力,要尽快摸索出一套适合自己的高效学习方法,这样你才能在技术这条路上越走越远。
六、听说课程永久有效、后续还会进行更新,什么时候会更新?
作为一个终身学习的技术爱好者,我的所有精品课程都会随着技术的发展以及我个人的技术积累为大家适时进行更新。由于时间精力有限,我会根据技术发展的成熟度以及个人工作安排来进行更新。大家可以关注我的网站课程页面,以及公众号、B站动态、YouTube动态、邮箱推送等我的个人官方账号通知。