悪意あるユーザによる画像編集を防ぐPhotoGuardを提案。フェイクニュースを防ぐことが目的。
摂動を加えて、AIによる画像編集コストを上げる。(この論文では予防接種と呼んでいる)

PhotoGuard

攻撃方法(予防方法)は次の2種類。

Encoder Attack
Encoder Attack
Diffusion Attack
Diffusion Attack

Encoder Attack

LDMのImage Encoder $\mathbf{\epsilon}$ に対してPGD攻撃する。
–> 悪いRepresentationを生成する。

 アーティファクトは発生しているが、目的の男性は生成できてしまっている。
 テキストを無視できていない。
 中間表現を攻撃しているだけ。生成結果の保証がない。
–> Diffusion Attack

Diffusion Attack

最終的に生成された画像が失敗するようなPGD攻撃を行う。

結果

対象モデル=Stable Diffusion v1.5 目標=無関係な画像の生成 or 非写実的な画像の生成

Encoder Attackした結果。対策画像は非写実的な画像になっている。
Encoder Attackした結果。対策画像は非写実的な画像になっている。

画像編集で実験した場合の結果。「二人の頭部」は編集しないようなバイナリマスクが与えられている。
画像編集で実験した場合の結果。「二人の頭部」は編集しないようなバイナリマスクが与えられている。

60の異なるテキストで編集した場合の結果。(今回は攻撃なので)値が悪いほうが良い。元画像の類似性。
60の異なるテキストで編集した場合の結果。(今回は攻撃なので)値が悪いほうが良い。元画像の類似性。

プロンプトとの類似性
プロンプトとの類似性