Stable Diffusionとは画像生成AI
テキストを入力すると、AIがそのテキストの内容の絵を描いてくれるStable DiffusionがPhotoshopのプラグインとして出ました。
どんなイメージかという以下の動画の通りです。
まだWindowsだけですが、導入方法を以下に記載します。(Mac版が出たらまた紹介しようと思います。)
もしかしたら英語版しか対応してないかもしれないので、こちらの方法でPhotoshop英語版にして試してください。日本語版でも問題なく起動しました。
ちなみに、この記事の内容に基づいて被ったいかなる損害について、一切責任を負うものではございませんのであらかじめご了承ください。導入に関しては自己責任でお願いします。
参照:
github.com
インストールする方法:
プラグインを初めて実行する場合:
- プラグインをダウンロードします。
git clone https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin.git
- 「Auto-Photoshop-StableDiffusion-Plugin」ディレクトリ内で「start_server.bat」を実行します
- automatic1111がインストールされている場所に移動します。automatic1111 の「webui-user.bat」を編集して、この行を変更します。
※編集方法がわからない方は、このbatファイルをメモ帳にドロップして下さい。開くことができます。
set COMMANDLINE_ARGS=
を
set COMMANDLINE_ARGS= --api
こうする
これにより、プラグインが automatic1111 プロジェクトと通信できるようになります。
保存したら、「webui-user.bat」ファイルを閉じて、実行します。
- フォトショップを実行します。編集に移動 - >設定 - >プラグイン
- 「開発者モードを有効にする」チェックボックスにチェックを入れてください
- ここから「Adobe UXP Developer Tool」をインストール (adobe.com) します。このツールはプラグインを Photoshop に追加します
- Adobe UXP Developer Tool を実行し、右上の [プラグインの追加] ボタンをクリックします。「Auto-Photoshop-StableDiffusion-Plugin」フォルダーがある場所に移動し、「manifest.json」を開きます
- プラグインを選択し、Adobe UXP Developer ToolのメニューからActions -> Load Selected をクリックします。
プラグインを 2 回目以降に実行する手順:
- 「webui-user.bat」を起動します
- 「start_server.bat」を開始します
- 「Photoshop」を起動します
- 「Adobe UXP Developer Tool」を起動し、プラグインを読み込みます
- 次のパネルが出てきたら成功です。
プラグインの使用方法:
- Photoshop で、新しいプロジェクトを開始します。
- プラグインをロードした後は、何も選択または変更しないでください。「Generate」ボタンをクリックするだけです
- 猫の画像がキャンバスにロードされた場合、すべてが正しく設定されています。
txt2Img:
- 長方形のマーキー ツールを使用して、正方形 (1x1 の比率) を選択します。
- 選択ツールでは、比率を 512x512 や 512x768 などに設定できます
- 選択の比率が生成する画像のサイズと等しいことを確認してください。
- プロンプトを書き、「Generate」をクリックします。
- 結果は、選択した領域に合わせてサイズ変更されます。画像はスマート オブジェクトとして Photoshop に読み込まれます。そのため、品質を損なうことなくサイズを変更できます。
img2img:
- 独自のレイヤーにある画像を選択します。
- オプション: レイヤーのサムネイルを「Ctrl + クリック」します。生成された画像を初期画像に完全に配置したい場合。
- プラグイン UI でモードを「img2img」に変更します。
- 「Set Init Image」ボタン(初期イメージの設定)をクリックします。画像が選択したレイヤーに変化しない場合。複数回クリックします。
- 「Generate」ボタンをクリック
inpaint(修復):
- プラグインモードを"inpaint"に変更
- 修復する画像の上に正方形の選択範囲を作成します。
- 長方形マーキーツールを使用
- またはレイヤーのサムネイルを「ctrl+クリック」する
- 新規レイヤーを作成し、選択範囲内を白く塗ります。白いものはすべて Stable Diffusion によって再生成されることに注意してください。
- 「Init Inpaint Mask」ボタンをクリックします。
- クリックする前に、まだ白いレイヤーにいることを確認してください
- プラグインをクリックすると、適切な白黒マスクが生成され、Stable Diffusion で使用されるマスクとして設定されます。
- また、選択した領域の下にキャンバスのスナップショットを作成し、このスナップショットを初期イメージとして使用します。
- 「Generate」ボタンをクリックします。
outpaint(塗りつぶし):
- プラグイン モードを”outpaint”に変更します。outpaintは、inpaintの特殊なケースに過ぎないことを忘れないでください。
- 拡張したい画像と交差する「長方形の選択」を作成します。
- 「Init Outpaint Mask」をクリックすると、次のようになります。
- 選択範囲の下にキャンバスのスナップショットを作成し、それを安定拡散の「初期イメージ」として使用します
- 白黒マスクを作成し、それを「初期マスク」として使用します
- プラグインUIの「init image」(初期イメージ)と「init mask」(初期マスク)の両方を更新します
ノウハウ:
- inpaintとoutpaintで最良の結果を得るには、「stable-diffusion inpainting model」(安定拡散修復モデル)を選択する必要があります。
- img2img の「init image」(初期イメージ)は、透明であってはなりません。
- プラグイン UI の「init image」(初期イメージ)と「init mask」(初期マスク)を常にチェックし、それらがキャンバス上のレイヤーと一致していることを確認してください。不一致を修正するには、次のようにします。
- レイヤーパネルで「group_mask」を選択し、「set init mask」ボタンをクリックします。
- レイヤーパネルで「group_init_image」を選択し、「set init image」ボタンをクリックします。
- モデルを選択した後、[Generate] をクリックする前に、モデルが Stable Diffusion に読み込まれるまで待つ必要がある場合があります。
- プログレス バーが 0% または 1% で停止しているかどうかを確認します。時間がかかりすぎて再生成されたと思われる場合は、いつでもリクエストをキャンセル/中断できます。
- 複数の Photoshop ドキュメントを開かないでください。今のところ、これはプラグインを壊します。一度に 1 つのプロジェクトだけに取り組みます。
ぼやき
今年の画像生成AIの躍進はすごいですね。正直追いついていないです。