vault backup: 2024-04-25 14:31:47

Paper/Diffusion/Imagic.md

@@ -0,0 +1,2 @@
+模型微调
+需要注意的是,通过生成扩散过程传递优化后的嵌入 eopt 并不一定能完全得到输入图像 x,因为我们的优化只运行了少量步骤(见图7左上角的图像)。因此,在我们方法的第二阶段,我们通过优化模型参数 θ 来弥补这一差距,使用与等式2中相同的损失函数,同时冻结优化后的嵌入。这个过程将模型调整到适合输入图像 x 在 eopt 点的状态。同时,我们还对基础生成方法中存在的任何辅助扩散模型(如超分辨率模型)进行微调。我们使用相同的重建损失对它们进行微调,但以 etgt 为条件,因为它们将在编辑后的图像上运行。对这些辅助模型的优化确保保留了输入图像 x 中存在但基础分辨率中不存在的高频细节。经验上我们发现,在推理时,将 etgt 输入到辅助模型中的效果优于使用 eopt。