From f585586a9bc994e7377f9b0fc94ec8b518961c56 Mon Sep 17 00:00:00 2001 From: RainBus Date: Fri, 26 Apr 2024 10:22:16 +0800 Subject: [PATCH] vault backup: 2024-04-26 10:22:16 --- Paper/Diffusion/Imagic.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/Paper/Diffusion/Imagic.md b/Paper/Diffusion/Imagic.md index 30c4c4e..38b214e 100644 --- a/Paper/Diffusion/Imagic.md +++ b/Paper/Diffusion/Imagic.md @@ -1,2 +1,3 @@ 模型微调 -需要注意的是,通过生成扩散过程传递优化后的嵌入 eopt 并不一定能完全得到输入图像 x,因为我们的优化只运行了少量步骤(见图7左上角的图像)。因此,在我们方法的第二阶段,我们通过优化模型参数 θ 来弥补这一差距,使用与等式2中相同的损失函数,同时冻结优化后的嵌入。这个过程将模型调整到适合输入图像 x 在 eopt 点的状态。同时,我们还对基础生成方法中存在的任何辅助扩散模型(如超分辨率模型)进行微调。我们使用相同的重建损失对它们进行微调,但以 etgt 为条件,因为它们将在编辑后的图像上运行。对这些辅助模型的优化确保保留了输入图像 x 中存在但基础分辨率中不存在的高频细节。经验上我们发现,在推理时,将 etgt 输入到辅助模型中的效果优于使用 eopt。 \ No newline at end of file +需要注意的是,通过生成扩散过程传递优化后的嵌入 eopt 并不一定能完全得到输入图像 x,因为我们的优化只运行了少量步骤(见图7左上角的图像)。因此,在我们方法的第二阶段,我们通过优化模型参数 θ 来弥补这一差距,使用与等式2中相同的损失函数,同时冻结优化后的嵌入。这个过程将模型调整到适合输入图像 x 在 eopt 点的状态。同时,我们还对基础生成方法中存在的任何辅助扩散模型(如超分辨率模型)进行微调。我们使用相同的重建损失对它们进行微调,但以 etgt 为条件,因为它们将在编辑后的图像上运行。对这些辅助模型的优化确保保留了输入图像 x 中存在但基础分辨率中不存在的高频细节。经验上我们发现,在推理时,将 etgt 输入到辅助模型中的效果优于使用 eopt。 +