Autoplay
Autocomplete
Previous Lesson
Complete and Continue
多模态大模型 前沿算法与实战应用（图文与视频理解）
多模态大模型：图文与视频理解
移动端学习指南（Teachable App）
通过淘宝或微信小店购买
课程资源中心
精品课程专享Discord频道/微信群入口
前沿专题｜2025–2026 多模态 VLM 前沿技术主线：从视觉前端到多模态 RAG
旗舰 VLM 技术报告怎么看？架构、数据、训练与评测全景 (13:12)
视觉编码器路线演进：SigLIP、DINOv2 与 Encoder-Free 之争 (12:17)
视觉 Tokenizer 与细粒度对齐：从信息容量到视觉语义对齐 (11:59)
多模态推理新范式：GRPO、视觉一致性奖励与交错图文 CoT (13:16)
视频 MLLM 三件套：时空架构、流式理解与视频 RL (12:59)
多模态 RAG：多源、多粒度检索与长上下文协同 (15:16)
本章测验
第一章 多模态大模型前沿技术综述
多模态AI简介 (9:18)
通用多模态架构核心组件及其实现方式解析 (10:48)
领域多模态架构及其视觉编码器和投影器详解 (23:01)
领域多模态MoE、Mamba与统一框架：高效多模态方案 (15:51)
从预训练到微调：数据在多模态模型中的全周期应用 (16:33)
前沿多模态微调技术：PEFT与RLHF技术解析 (19:32)
多模态评估方法详解 (20:47)
多模态幻觉：数据、模型与训练深入探讨 (24:24)
多模态模型应用场景分析 (15:04)
本章测验
第二章 从 CLIP 到 EVA-CLIP：多模态视觉编码器经典路线深度解析
CLIP 视觉编码器原理：图文对比学习与零样本分类机制 (22:46)
EVA 系列视觉编码器：从 MIM 预训练到 EVA-CLIP 规模化扩展 (21:26)
本章测验
第三章 多模态投影器高效路线深度解析：视觉 Token 压缩与粒度控制
TokenPacker 深度解析：高分辨率视觉 Token 压缩与细粒度信息注入 (25:14)
Matryoshka M³ 深度解析：嵌套视觉 Token 与可控粒度推理 (23:02)
本章测验
第四章 LLaVA多模态系列算法实战解析
LLaVA简介与视觉指令数据生成的原理 (8:35)
LLaVA基于视觉指令数据进行模型微调的原理 (13:31)
LLaVA 1.5探索视觉指令微调与高分辨率扩展 (19:23)
LLaVA 1.6从高分辨率输入到高效部署 (8:56)
LLaVA-NeXT Stronger更强的LLM与全面评估集LLaVA-Bench (9:08)
LLaVA-NeXT全面的消融研究与综合分析 (23:26)
LLaVA-NeXT-Interleave核心原理与架构解析 (16:33)
第五章 实战项目1：LLaVA多模态模型全流程实战
LLaVA实战项目资料
LLaVA环境配置与模型下载 (13:45)
LLaVA在五种场景下的模型部署与推理 (25:17)
基于Transformers进行LLaVA案例实践 (19:13)
Transformers框架下LLaVA推理核心源码解析 (20:43)
使用LMDeploy部署模型并访问API服务 (11:06)
基于LMDeploy的Pipeline接口进行推理 (12:04)
基于自定数据集进行LLaVA模型预训练实战 (25:27)
基于LoRA和QLoRA进行LLaVA模型微调 (18:59)
基于合并的模型进行服务部署 (5:26)
在常见基准和LLaVA-Bench上进行LLaVA模型评测 (24:04)
LLaVA推理核心源码Debug深入讲解(上) (20:15)
LLaVA推理核心源码Debug深入讲解(中) (17:36)
LLaVA推理核心源码Debug深入讲解(下) (19:40)
LLaVA模型LoRA微调核心源码Debug深入讲解 (23:46)
第六章 实战项目2：LLaVA-NeXT 多模态核心技术实战
LLaVA-NeXT实战项目资料
LLaVA-NeXT 环境配置 模型下载 模型推理实践 (13:18)
LLaVA-NeXT 模型推理核心代码Debug深入讲解 (30:53)
LLaVA-NeXT 基于SGLang框架进行API模型服务部署与推理 (14:12)
LLaVA-NeXT 基于SGLang模型部署以及异步和同步并发请求测试 (13:37)
LLaVA-NeXT 基于SGLang Runtime加载模型并进行推理 (10:38)
LLaVA-NeXT 基于Gradio进行多模态问答交互与核心源码Debug深入讲解(上) (22:48)
LLaVA-NeXT 基于Gradio进行多模态问答交互与核心源码Debug深入讲解(下) (21:23)
LLaVA-NeXT-Interleave-Bench 多模态模型评估实践 (14:15)
LLaVA-NeXT-Interleave-Bench 模型评估核心源码Debug深入讲解(上) (21:42)
LLaVA-NeXT-Interleave-Bench 模型评估核心源码Debug深入讲解(下) (10:02)
第七章 阿里多模态系列核心技术与算法解析
阿里多模态 思维导图
阿里多模态项目 学前导览 (8:13)
多模态mPLUG算法原理剖析(上) (14:22)
多模态mPLUG算法原理剖析(下) (14:44)
多模态 mPLUG-2 算法原理剖析 (21:54)
多模态 mPLUG-Owl 核心算法原理剖析 (11:05)
多模态 mPLUG-Owl-2 核心算法原理剖析 (14:30)
多模态 Qwen-VL 核心算法原理剖析 (24:43)
多模态 UReader 核心算法原理剖析 (21:00)
多模态 mPLUG-DocOwl 核心算法原理剖析 (6:21)
多模态 mPLUG-DocOwl-1.5核心算法原理剖析 (17:17)
多模态 mPLUG-PaperOwl 核心算法原理剖析 (12:16)
多模态 mPLUG-TinyChart 核心算法原理剖析 (10:06)
第八章 实战项目3：Qwen-VL项目全流程实战
通义千问Qwen-VL实战项目资料
通义千问 Qwen-VL 项目实战简介 (7:10)
项目环境配置与模型下载 (11:50)
基于Transformers框架进行模型推理 (11:23)
基于Gradio进行Web QA交互 (9:39)
Qwen-VL 模型推理核心源码进行讲解(上) (16:47)
Qwen-VL 模型推理核心源码进行讲解(下) (15:45)
适配OpenAI API接口 启动API服务并测试 (14:55)
使用LMDeploy CLI启动API服务并实现访问 (12:32)
LMDeploy使用Docker部署模型API服务 (10:01)
基于指标QPS比较Transformers和LMDeploy两种部署方案 (22:50)
Qwen-VL 多模态模型微调实战(上) (15:52)
Qwen-VL 多模态模型微调实战(下) (14:17)
Qwen-VL 模型微调核心源码讲解 (26:01)
Qwen-VL 模型在多个基准数据集上进行评估实战 (20:12)
Qwen-VL 模型评估核心源码讲解(上) (24:29)
Qwen-VL模型评估核心源码讲解(下) (27:28)
第九章 IXC多模态技术原理与深度剖析
XComposer 学前导览 (3:50)
XComposer-1.0算法深度剖析与原理讲解 (16:17)
XComposer 2.0 算法进阶解析与核心原理 (15:01)
XComposer 2.0 4KHD 算法原理深入讲解 (15:00)
XComposer 2.0 4KHD高清图像动态分割算法的Python实现 (13:02)
XComposer 2.5 新版算法原理详解 (12:46)
第十章 实战项目4：IXC多模态项目深度实战演练
IXC多模态实战项目资料
IXC项目简介与环境配置：模型下载指南 (9:40)
使用Transformers实现多模态模型推理 (12:36)
通过Gradio构建多模态Web交互问答系统 (9:04)
深入解析推理核心源码(上) (14:51)
深入解析推理核心源码(下) (17:54)
利用LMDeploy pipeline实现四种场景下的模型推理 (14:12)
使用OpenAI集成VLM服务并进行API服务测试 (10:04)
基于LMDeploy和Docker容器化部署模型并测试API服务 (10:32)
通过LMDeploy加载4-bit量化模型进行推理 (7:51)
调用OpenAI API生成自定义多模态数据集(上) (11:11)
调用OpenAI API生成自定义多模态数据集(中) (10:46)
调用OpenAI API生成自定义多模态数据集(下) (11:23)
使用自定义数据集进行多模态模型LoRA微调实战 (9:01)
将LoRA权重与原模型合并后进行服务部署并测试 (10:02)
XComposer核心源码Debug深入剖析（第一部分） (19:30)
XComposer核心源码Debug深入剖析（第二部分） (24:13)
XComposer核心源码Debug深入剖析（第三部分） (11:21)
XComposer核心源码Debug深入剖析（第四部分） (26:33)
第十一章 实战项目5 : 长视频理解 TimeSearch-R 算法原理与项目实战
长视频理解 TimeSearch-R : 自适应 Temporal Search + 自验证强化学习 (18:15)
长视频理解落地指南：TimeSearch-R 推理 + 检索服务部署全流程 (30:36)
TimeSearch-R 端到端训练实战（上）：SFT 打底 + GRPO-CSV 强化学习进阶 (16:32)
TimeSearch-R 端到端训练实战（下）：SFT 打底 + GRPO-CSV 强化学习进阶 (8:41)
第十二章 阿里 Qwen3-VL 原理详解与项目实战
Qwen3-VL：突破多模态长上下文与视觉推理的架构革新 (9:23)
RoPE 原理概述与频谱偏见 (9:49)
深入理解交错式 MRoPE 位置编码策略 (15:35)
DeepStack 从浅层到深层的视觉特征融合 (9:26)
基于文本的显示时间戳 (5:45)
视觉 System 2 慢思考 (8:57)
Qwen3-VL 项目概览、架构与 Web 服务 Docker 部署 (11:39)
Qwen3-VL 环境配置+Transformers / vLLM 推理部署 (13:28)
Qwen3-VL 微调数据集准备 (9:57)
Qwen3-VL 微调训练与模型评估实战 (14:54)
多模态推理新范式：GRPO、视觉一致性奖励与交错图文 CoT
Lesson content locked
If you're already enrolled,
you'll need to login
.
Enroll in Course to Unlock