From 687d8242fe5e3e745e817faefc0782a18d490a93 Mon Sep 17 00:00:00 2001 From: RainBus Date: Thu, 25 Apr 2024 14:31:47 +0800 Subject: [PATCH] vault backup: 2024-04-25 14:31:47 --- Paper/Diffusion/Imagic.md | 2 ++ 1 file changed, 2 insertions(+) diff --git a/Paper/Diffusion/Imagic.md b/Paper/Diffusion/Imagic.md index e69de29..30c4c4e 100644 --- a/Paper/Diffusion/Imagic.md +++ b/Paper/Diffusion/Imagic.md @@ -0,0 +1,2 @@ +模型微调 +需要注意的是,通过生成扩散过程传递优化后的嵌入 eopt 并不一定能完全得到输入图像 x,因为我们的优化只运行了少量步骤(见图7左上角的图像)。因此,在我们方法的第二阶段,我们通过优化模型参数 θ 来弥补这一差距,使用与等式2中相同的损失函数,同时冻结优化后的嵌入。这个过程将模型调整到适合输入图像 x 在 eopt 点的状态。同时,我们还对基础生成方法中存在的任何辅助扩散模型(如超分辨率模型)进行微调。我们使用相同的重建损失对它们进行微调,但以 etgt 为条件,因为它们将在编辑后的图像上运行。对这些辅助模型的优化确保保留了输入图像 x 中存在但基础分辨率中不存在的高频细节。经验上我们发现,在推理时,将 etgt 输入到辅助模型中的效果优于使用 eopt。 \ No newline at end of file