课程第四天总结：多模态

豆包

2 条消息 · 2026/10/15 23:16:35

我

这是第四堂 ai 课，主要讲的是多模态模型的相关概念和问答环节。请根据下面的语音识别内容做总结，使用列表形式。

AI 助手

第四堂AI课（多模态模型）要点整理（在你原有笔记基础上补全完善，列表形式）

一、基础概念：视觉相关任务

  1. 视觉转译
    • 将图片、视频信息转为文字描述；文字存在信息折损，不能完全等价原图/原视频。
    • RAG场景：图片转文字存入向量库，但检索后可以把原始图片一并塞进提示词，弥补文字信息丢失。
    • 视频切片场景：用多模态模型识别视频，输出JSON格式的时间分段、画面、台词，再由代码调用剪辑工具完成切分；模型本身不能直接剪辑视频，只能输出结构化文本指令。
  2. 视觉推理：看懂图像画面，基于画面信息做规律推导、逻辑解题。
  3. 融合推理：同时理解图片+文字，结合两者信息完成推理判断（例：题目文字+配图选项，选出正确答案；游戏桌面Agent，截图+画面文字理解玩家游戏状态）。
  4. 视觉编辑：对图片局部修改，依赖局部重绘能力。
  5. 视觉识别：识别画面里物体、类别；分两类实现方案：多模态大模型粗识别、YOLO/Unet专用模型高精度识别。

核心区分：视觉识别模型 ≠ 多模态大语言模型

二、传统专用视觉模型（单模态）

  1. YOLO模型（目标检测）
    • 输出矩形包围框+物体类别+置信度，框出目标物体。
    • 优势：模型体积小、算力消耗低、推理速度快，可做到每秒几十帧，适合门店摄像头实时识别（海底捞锅底上菜计时场景）、私有化单卡部署。
    • 局限：只有识别能力，没有推理能力；仅输出坐标、类别数字，并不“理解”物体本身；预训练模型只能识别训练过的物体，自定义场景需要数据标注+重新训练。
  2. Unet模型（语义分割）
    • 不是矩形框，对图像逐像素分类，标记每个像素属于哪一个物体区域，精度远高于YOLO。
    • 典型场景：医疗影像CT/胸片分割。
    • 局限：计算量大，推理慢，无法用于自动驾驶实时计算。
  3. 数据标注（YOLO/Unet训练前置工作）
    • 人工在图片框选目标，标注物体类别；标注软件转化为一组数字：框中心点坐标、宽高、置信度、各类别概率。
    • 训练本质：大量标注图片+对应数字，让神经网络学习图像特征与标注结果之间的数学规律。
  4. OCR：属于专用视觉识别模型，模型结构和YOLO/Unet不同。
  5. 观点：智能定义本身很模糊。YOLO这类模型本质只是拟合数学规律，在人类视角看“不够智能”；但当模型规模极大时，会表现出类似智能的感受。

三、多模态大语言模型（VLM）

  1. 本质：以大语言模型为基底，额外增加视觉能力；输入支持文字、图片、视频，可做理解+推理。
  2. 优点：不需要提前标注、不需要训练，开箱即用，自带推理能力。
  3. 缺点：本地部署模型体积大，云端调用图片/视频token成本高；物体框选这类高精度识别任务效果不如YOLO。
  4. 图片→patch：图片切分成小块patch（类比文字的token），再转为向量；视频patch增加时间维度，是立方体。
  5. API调用：单模态LLM只能传文本；多模态API可以传入图片/视频（URL或文件上传）。

四、视觉生成（图/视频生成，扩散模型为主，和LLM结构不同）

  1. 模型能力不足时，需要在应用层做工程方案弥补，而不是直接重训模型。
    • 人物一致性问题：AI生成漫画人物容易长相漂移；解决方案：提前制作角色三视图+大特写参考图，作为提示词一部分固定人物样貌；同理场景、道具也需要素材管理。
    • 空镜头：储备场景素材，用来丰富视频片段。
  2. 电商视频自动剪辑与素材组合案例
    • 素材库：大量原始视频预先做多模态视觉转译，拆成几秒的视频切片，每段切片保存原视频+文字描述标签。
    • 30秒短视频生成：属于多模态场景；先用多模态完成视频转译，片段挑选环节只用纯文字大模型。
    • 流程：按商品筛选相关片段文字，把片段描述全部放入提示词；让LLM输出JSON，给出片段编号与排序；代码按编号拼接视频。
  3. CatVTON（虚拟试衣）案例
    • 问题：自动涂抹区域只到脚踝，长裤生成时脚部异常。
    • 工程解法：提前预制多种涂抹蒙版（长裤/短裤/裙子），不用每次自动识别；提前对商品图、模特图做多模态打标签，标签匹配选择合适模特。
    • 原则：优先工程方案；只有工程手段无法解决，才考虑重新训练模型。

五、项目评估核心思路：柱子 vs 小船

  1. 插在海底的柱子：模型能力升级之后，这部分工程工作会失效、白做。例：预制多张涂抹蒙版。
  2. 漂浮海面的小船：模型变强之后，方案跟着受益、效果持续提升。例：大模型挑选视频片段做组合。
  3. 项目判断：产品不能全部都是“柱子”；最好同时包含柱子+小船，并且能拿到业务数据回流。
  4. 数据回流：约70%品牌客户会授权工具读取视频投放数据（流量、成交）；垂直领域模型的迭代提升，可依靠这类业务反馈数据。

六、补充名词

  1. VLM：Vision-Language Model，视觉语言模型，本节课讲的多模态大语言模型就是VLM。
  2. 蒸馏（模型蒸馏）：用强模型（大模型）大量问答对作为训练数据，训练一个小模型，让小模型学到大模型能力。
  3. 模型量化（INT8 / FP8 / FP16 / FP32）：压缩模型参数存储位数，减少显存占用；代价是损失部分精度，需要场景测试取舍。
  4. Patch：图像基础单元（小方块）；视频patch是立方体，多了时间维度。
  5. Agent循环（Loop Engineering）、Harness Engineering：新名词，是对已有工程工作的概括，并不是全新底层技术。

七、问答环节零散要点

  • 多模态大模型不能直接操作软件，只能输出文本指令，由代码/工具执行。
  • 世界模型：原理和图片/视频生成扩散模型接近。
  • 模型迭代后期，训练数据对模型的学习信号会衰减，微调时要小心覆盖原有能力。
  • AI目前很难威胁人类安全，运行高度依赖数据中心供电与运维；更容易冲击的是部分岗位。

如果你想，我可以再压缩一版极简速记版（只保留关键词，适合做随堂卡片）。