アーティストのスタイルを模倣するテキストから画像への変換モデルの攻撃を防ぐツールGlazeを提案した。コンテンツを維持しつつ、スタイルは別物になるような摂動を加える。

  • (Victimではない)ターゲットのスタイルに近づく特徴量シフトを生じさせ、スタイル学習に失敗するような摂動(“Style Cloak”)を加えることで、攻撃を防ぐ。
  • アーティストコミュニティと連携して、1156人の参加者を使って定性的な評価を行った。
  • 93%の誤生成率、92%は元の画像スタイルを維持。

この論文では、手法の他にもアーティストが生成画像に対してどう思っているのかを記事を参照しながら紹介し、実際にトレースされた事例も挙げている。


Threat Model

アーティスト

  • モデルに模倣されることを防ぎつつ作品を共有したい
  • 知覚不能な摂動を共有前に自分の作品に加えて自己防衛したい
  • ノーパソみたいな貧弱な計算資源しかないかも

模倣者(攻撃者)

  • Victim Styleの高品質な画像を生成したい
  • 重みにアクセス可能
  • ターゲットのアーティストの画像を数枚入手可能
  • 十分な計算資源を持っている

攻撃シナリオ
攻撃シナリオ

Glazeは学習されても模倣されないような画像を生成することを目指す。

模倣防衛シナリオ
模倣防衛シナリオ

先行研究

  • 顔画像保護
    • “image cloaking”: ユーザ画像の特徴表現から劇的に変わるような摂動を加える
    • ただし、text-to-imageのような大規模な特徴空間では機能しない
      • 画像生成するには多くの属性情報が特徴量に含まれるため、その空間上で同様の摂動を作るのは難しい(生成モデルに対する摂動が難しいという研究がある)
  • PhotoGuard
    • 生成モデルに対するAEsを行い許可のない画像編集を防ぐ方法
    • 画像の情報をすべて最小化してしまうため、模倣は防げない(模倣は編集ではなく、FTによる学習が行われるため?)

Glaze

Glazeの全体像
Glazeの全体像

  1. Style Transferを使って、Victimのオリジナル画像を様々なスタイルに変換
    Style-Transferの結果
    Style-Transferの結果
    シフト先のスタイル(ターゲット)の画像は、各アーティストとVictimの特徴中心を特徴抽出気($\Phi$)を使って計算。距離が50-75パーセンタイルにあるものをターゲットスタイルとして候補に選択する。
  2. このスタイル変換した画像を使って摂動をガイドする
    $$ \begin{gathered} \min _{\delta_x} \operatorname{Dist}\left(\Phi\left(x+\delta_x\right), \Phi(\Omega(x, T))\right) \ \text { subject to }\left|\delta_x\right|<p \end{gathered} $$ ここで、$\Omega (x, T)$は画像xを既存のスタイル変換モデル$\Omega$でTのスタイルに変換した画像、$\delta_x$は摂動を表す。

最終的な損失関数は以下のようになる。 $$ \min _{\delta_x}\left|\Phi(\Omega(x, T)), \Phi\left(x+\delta_x\right)\right|_2^2+\alpha \cdot \max \left(\operatorname{LPIPS}\left(\delta_x\right)-p, 0\right) $$

結果

アーティストとCLIP Scoreによる防御率評価
アーティストとCLIP Scoreによる防御率評価

定性評価
定性評価

摂動量による防御率変化
摂動量による防御率変化
摂動量の違いによる各指標
摂動量の違いによる各指標
どれくらい摂動が加わっていたら投稿したいか
どれくらい摂動が加わっていたら投稿したいか

(左)Victimと模倣者で別々の特徴抽出器$\Phi$を使った場合。(右)すでにネット上に画像をアップロードしているアーティストの場合、全体の25%くらいしの作品を保護できていれば87.2%くらいの全体防御率になる。
(左)Victimと模倣者で別々の特徴抽出器$\Phi$を使った場合。(右)すでにネット上に画像をアップロードしているアーティストの場合、全体の25%くらいしの作品を保護できていれば87.2%くらいの全体防御率になる。

ガウスノイズを加えてプロテクトを解除しようとしてもあまり効果がない。JPEG圧縮も同様。
ガウスノイズを加えてプロテクトを解除しようとしてもあまり効果がない。JPEG圧縮も同様。

補足

現実世界でのトレース事例

感想

  • スタイルだけでOKなのか。コンテンツはトレースされそう。
  • AEsの傾向はそのまま維持されてそう