1.输入：一张图片（人在看手机）
2.输出：检测到"一个人"、"一部手机"
3.局限：无法理解为什么看手机，也无法回答意图相关问题

1.输入：文字问题"这个人为什么皱眉？"
2.输出：理解了问题的语法和含义
3.局限：没有视觉信息，无法看到具体表情和环境

1.视觉提供：具体的场景细节（表情、动作、环境）
2.语言提供：抽象的概念和问题（"为什么"、"怎么样"）
3.结合效果：既能看懂画面，又能回答抽象问题

1.Level 1：识别 → "看到一个人在看手机"
2.Level 2：理解 → "这个人正在专注地查看信息"  
3.Level 3：推理 → "从表情判断可能收到了重要/麻烦的消息"

1.输入：图片（一只橙猫） + 文字（"这是什么动物？"）
2.处理：图像识别 + 文字理解 + 信息匹配
3.输出："猫"
4.本质：信息检索和匹配

1.输入：图片（猫在沙发上） + 文字（"猫在哪里？"）
2.处理：空间关系理解 + 位置定位
3.输出："在沙发上"
4.本质：空间/时间/逻辑关系分析

1.输入：图片（人穿厚外套，地面有雪） + 文字（"现在是什么季节？"）
2.处理：观察线索 + 常识知识 + 因果推理
3.输出："冬天"
4.本质：综合分析和逻辑推导

1.图片：一个红色苹果在桌子上
2.问题：这是什么水果？
3.答案：苹果
4.难度：★☆☆☆☆
5.技术要求：
- 基础物体识别
- 颜色形状检测

1.图片：三只猫在沙发上
2.问题：图片中有几只猫？
3.答案：三只
4.难度：★★★☆☆
5.技术要求：
- 目标检测和分割
- 重复计数避免
- 遮挡情况处理

1.图片：桌子上有书，书旁边有杯子
2.问题：杯子在书的什么位置？
3.答案：旁边
4.难度：★★★★☆
5.技术要求：
- 空间关系理解
- 相对位置推理
- 几何关系分析

1.图片：一个人穿厚外套，呼出的气体可见
2.问题：现在可能是什么季节？
3.答案：冬天
4.难度：★★★★★
5.技术要求：
- 常识知识运用
- 因果关系推理
- 多线索综合分析

1.图片处理：图片 → CNN → 全局特征向量 [2048维]
2.问题处理：文本 → 词嵌入 → LSTM → 问题特征向量 [512维]
3.特征融合：
方法1：简单拼接 [图片特征 + 问题特征] → [2560维]
方法2：元素相乘 图片特征 ⊙ 问题特征 → [2048维]
4.答案预测：
融合特征 → 全连接层 → Softmax → 答案概率分布

问题："这个人穿什么颜色的衣服？"
Step 1：问题编码
"穿什么颜色衣服" → LSTM → 问题表示 q
Step 2：图像区域特征
图片 → 目标检测器 → 候选区域特征 {v1, v2, ..., vn}
Step 3：注意力计算
for each 区域 vi:
    注意力分数 = 计算(q, vi)  # 问题与区域的相关性
Step 4：加权融合
attended_feature = Σ(注意力分数[i] × vi)

Step 1：统一Token化处理
图片处理：
输入图片 → 切分patch → 线性投影 → 图像tokens
[img_token1, img_token2, ..., img_token196]
问题处理：
输入文本 → 分词 → 词嵌入 → 文本tokens  
[这个, 人, 穿, 什么, 颜色, 的, 衣服, ?]
Step 2：序列拼接
[CLS] + 图像tokens + [SEP] + 文本tokens + [SEP]
Step 3：三分支Transformer处理
- Object-Relationship Encoder：处理图像目标和关系
- Language Encoder：处理文本序列
- Cross-Modality Encoder：跨模态交互
Step 4：交互机制
- Self-Attention：模态内部信息整合
- Cross-Attention：模态间信息交换
- 多层堆叠：逐步深化理解

输入：图片 + 问题
输出：答案
评估：答案正确性
示例：
图片：一个人拿着雨伞
问题：这个人手里拿着什么？
答案：雨伞

输入：图片 + 问题  
输出：答案 + 推理解释
评估：答案正确性 + 推理合理性
示例：
图片：一个人拿着雨伞，地面湿润
问题：为什么这个人拿着雨伞？
答案：因为在下雨
解释：可以看到地面是湿的，而且天空灰暗，这些都表明正在下雨，
所以这个人拿雨伞是为了避免被雨淋湿。

给定：图片 + 问题
要求：从4个选项中选择正确答案
图片：办公室场景，一个人在电脑前打哈欠
问题：这个人为什么打哈欠？
选项：
A. 因为很困
B. 因为很饿  
C. 因为在表演
D. 因为在运动
正确答案：A

给定：图片 + 问题 + 正确答案
要求：从4个解释中选择最合理的
承接上例，给定正确答案A后：
问题：为什么选择"因为很困"？
解释选项：
R1. 可以看出他在办公室环境中，时间应该是工作时间，
    打哈欠通常表示困倦，可能是睡眠不足导致的。
R2. 他看起来很放松，应该是在休息。
R3. 办公室的灯光很亮，会让人感到困倦。
R4. 打哈欠是因为空气不好。
正确解释：R1

端到端任务：
给定：图片 + 问题
要求：同时预测答案和解释，两者都必须正确
这是最困难的任务，因为需要：
- 正确理解图像内容
- 准确回答问题
- 生成合理的解释
- 保证答案和解释的一致性

外部知识集成：
ConceptNet：概念关系图谱
"疲惫" → "打哈欠" → "需要休息"
知识检索：
给定图像和问题 → 提取关键概念 → 检索相关知识
"办公室" + "打哈欠" → 检索工作相关的疲惫知识
知识融合：
视觉推理 + 知识推理 → 综合判断
图像证据：观察到打哈欠动作
知识证据：工作时间打哈欠通常因为困倦
结合推理：因为工作疲劳所以打哈欠