基于矩形掩码修补的生成策略设计

背景

当前生成策略是从训练集采样地图，经 VQ-VAE 编码得到码本 z，再用随机采样的 z（而非真实 z）作为 MaskGIT 的条件进行三阶段级联生成。在当前数据规模下，模型难以从纯随机条件中学习到合理的生成分布，效果不佳。

新策略目标

降低任务难度：保持从训练集采样，但不再用随机 z，而是在真实地图上施加随机矩形掩码，让模型作为"修补（inpainting）"任务来完成。这样模型既有真实地图的结构先验（通过 z 条件），又有明确的局部填空目标。

核心改动

1. 掩码方式

仅使用矩形分块掩码（dataset.py std_mask 的第二种模式），不采用散点随机掩码。

验证时掩码比例随机采样自 Uniform(0.2, 0.8)。

2. 条件输入 z

不再随机采样 z，改为使用完整地图（掩码前）经 VQ-VAE 编码后得到的真实 z：

对掩码后的地图做 VQ 编码没有意义——掩码区域噪声会污染码本表示
z 携带完整地图的全局结构信息，作为"答案的轮廓"注入 MaskGIT
MaskGIT 以完整 z 为条件，对照可见图块，在掩码区域补全被遮盖的图块

3. 生成流程

仍然采用三阶段级联，但每个阶段统一使用同一份掩码布局：

输入: 完整地图 gt [13×13]
  ↓                ↓
VQ-VAE 编码      生成矩形掩码 mask [13×13 bool]
gt → z1,z2,z3    gt[mask] = MASK_TOKEN → inp
  ↓                ↓
  └──────┬─────────┘
         ↓
Stage1: mg1(inp, z1) → 补全墙壁
Stage2: mg2(inp1+stage1_out, z2) → 补全门/怪物/入口
Stage3: mg3(inp2+stage2_out, z3) → 补全资源
         ↓
输出: 最终地图 + 逐阶段可视化对比

4. 逐阶段保留未掩码区域

与 full_generate_specific_z 不同，修补场景下需要将未掩码区域的原始图块逐阶段传递，避免被误当成空地重填：

Stage1 后将 raw_map 中未掩码区的非 0/1 图块覆盖到 stage1 输出
Stage3 前将 raw_map 中未掩码区的资源覆盖回去

5. 验证可视化

替换现有的验证 rand{batch_idx}.png（原为随机墙壁种子 + 随机 z 生成），改为修补方式：

不显示真实地图，仅展示掩码输入与生成结果的对比
每张 rand 图展示 4 组样本，每组为"掩码地图 + 生成结果"并排
2 行 × 4 列布局：每行放 2 组，每组左侧掩码输入、右侧生成结果
掩码区域由 MASK 图块（ID=7）自身标识，无需额外叠加颜色
每张子图标注样本名称和掩码比例（如 map_v1 34%）

2.7 KiB Raw Permalink Blame History Unescape Escape