画像生成AIはLLMに比べると相対的にVRAMと言ってGPUのメモリが少なくて平気です。ここでは、コンシューマ用のRTX3060 12GBVRAMとRTX3090 24GBVRAM　のマシンを使って画像生成AIの通常の使い方についてみてみます。 今回利用するモデルは、Stable Diffusion1.5ベースのRealistic Vision V6.0にします。まずはローカルにSafetensorのファイルをダウンロードします。 インストールするのは、diffusersなどの必要なライブラリです。 <pre class="ql-syntax" spellcheck="false">pip install --quiet diffusers transformers accelerate gradio
</pre> コードは　こうしました。読み込んだsafetensorを使って計算をします。 <pre class="ql-syntax" spellcheck="false">from diffusers import StableDiffusionPipeline
import torch

pipe = StableDiffusionPipeline.from_single_file(
  &#34;real.safetensors&#34;,
  load_safety_checker=True,
  extract_ema=True,
  torch_dtype=torch.float16 
  ).to(&#34;cuda&#34;)

def txt2img(prompt):
  return pipe(prompt, num_inference_steps=20).images[0]
</pre> まずはRTX3060から。実際にプロンプトを入れてみます。 <pre class="ql-syntax" spellcheck="false">import time

start = time.time()
txt2img(&#34;closeup face photo of man in black clothes, night city street, bokeh&#34;)
print(time.time()-start)
</pre> <pre class="ql-syntax" spellcheck="false">2.92753529548645
</pre> となりました。 Gradioで実行する場合には、上で作った関数を使います。 <pre class="ql-syntax" spellcheck="false">import gradio as gr

app = gr.Interface(
  txt2img,
  &#34;text&#34;,
  gr.Image(),
)

app.launch(share=True)
</pre> 非常に簡単に行きました。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/04/19/Gradio1.png"/> 次に同じファイルを3090で実行してみます。 <pre class="ql-syntax" spellcheck="false">import time

start = time.time()
txt2img(&#34;closeup face photo of man in black clothes, night city street, bokeh&#34;)
print(time.time()-start)
</pre> <pre class="ql-syntax" spellcheck="false">1.0783894062042236
</pre> 3倍ほど早くなりました。しかし画像の場合は体感ではあまり数字程の差は感じなかったような気がします。

Stable DiffusionをGradioインターフェースで、RTX3060とRTX3090で実行ベンチマーク。

Yuichiro Minato