NovelAI Diffusion バイブストランスファーでイラストを作る（@kuroito_tsumugi・英語版記事）

バイブストランスファーに自作絵を使い、新しいイラストを生み出すまでの流れを（@kuroito_tsumugi）さんが紹介しています。フォローもぜひお忘れなく！ 黒糸つむぎさん、Medium ブログでオリジナル記事を使わせていただき、ありがとうございました。オリジナル記事はこちらからご覧いただけます https://note.com/kuroito_tsumugi/n/n6eb6ecb0e2e6

NovelAI に新しく実装された「Vibe Transfer（バイブストランスファー）」機能を使った試作イラストレポです。今回の作業環境は iPad Air。

イラストメイキング

**イラスト生成（NAI）
**今回の制作で使用した画像がこちらです。

左：自作絵　右：AIイラスト

**「自分の絵の要素を取り込めるか」**を裏テーマにした実験なので、自分で描いたデジタルイラストを用意しました。

左の自作絵を NovelAI（以下 NAI）のバイブストランスファーに設定すると、次のような画像が生成できます。

キャラの容姿には、バイブストランスファーの参照画像の特徴が反映されています。 塗りは手描きよりも AI 塗りに近い仕上がりです（参照強度の数値は0.4〜0.57）。デフォルト値の0.6より低いため、その分だけ AI 寄りになったのかもしれません。

バイブストランスファーはプロンプト入力も併用できるので、この画像では体を横向きにする指示と、模様の背景を出す指示を入れてみました。参照画像の要素を取り込みつつ、プロンプトで生成内容を微調整できるようです。

ただし画像や設定によっては、バイブストランスファーは参照画像から大きく外れた画像の生成が苦手です。たとえばバストアップの画像から全身を生成するようなケースがそれにあたります。全身を出すには強めの指示が必要になります（例：プロンプトに {{{full body}}} を入れ、バイブストランスファーの参照強度を0.5未満にする）。

そこで今回は、バイブストランスファーと image2image（i2i）の併用を試してみました。バイブストランスファーの参照画像に自作絵を、i2i に AI イラスト（背景ありのカウボーイショット）を設定して生成した結果がこちらです。

特徴としては
キャラの頭部：バイブストランスファーの参照画像
身体と背景：i2i の元画像
という形になっています。

バイブストランスファーと i2i を併用すると、i2i の元イラストをバイブストランスファー参照画像の特徴（外見やテクスチャなど）で上書きするような使い方ができます。

バイブストランスファーに指定した自作絵に引っ張られたせいか、塗りが少し平坦に感じられたので、生成したイラストをバイブストランスファーの参照画像に設定し直し、もう一度生成しました。

バイブストランスファーを重ねがけしたことで、全体がなじんで AI らしいリッチな塗りになりました。一方で自作絵の要素はかなり薄れ、キャラの容姿は引き継がれているものの、元の塗りや淡さはほとんど感じられません。

元の絵の雰囲気を生かしたい場合は、バイブストランスファーの重ねがけを避け、バイブストランスファーの抽出情報や参照強度に高めの数値を入れたほうが良いかもしれません。

結果的に自分の絵の要素は薄まりましたが、上で使ったイラストは個人的に気に入ったので、そのまま採用することにしました。NAI のインペイント機能で脚などを修正し、そのあと人力で加筆して仕上げていきます。

**加筆修正・仕上げ（ibisPaint X）
**画像の編集には ibisPaint X というアプリを使いました。

左：加筆前　右：加筆後

修正や加工をすべて書くとかなりの分量になってしまうので、特に意識した点や記録しておきたい点だけを抜粋して書いていきます。

◆顔の修正

拡大して見ても楽しい顔を目指して手直ししています。

加筆前の画像は顔の印象が薄いように感じたので、顔まわりを重点的に調整しつつ、キャラ全体が引き立つように微調整しました。

髪と肌には、乗算やオーバーレイで赤みを足しています。目の色は、自作絵に近い印象を保ちながら、他とは違う色としてイエローとピンクを乗せ、目立つようにしました。

◆手の修正

パーツが重なる部分は、加筆前の画像から選択して切り出し、レイヤーにコピーしてから修正しています。パーツごとに影を入れたり修正したりするときの干渉を避けるため、1枚のレイヤーで作業せず、パーツ別にレイヤーを分けて管理することが多いです。

**◆その他の修正
**・キャラのアウトラインに白線を追加
・背景の明度調整（スクリーン、比較（明）レイヤー）
・スカート・脚・背景の微修正（特殊ペン＞歪みペン、パース変形など）

今回は生成した AI イラストの雰囲気をできるだけ生かしたかったので、自分の絵に寄せることはせず、目立つ破綻の修正や加筆にとどめました。

また、キャラの周りに白線を入れて、キャラと背景が同化して見えないようにする工夫もしています。AI イラストでは、アウトラインを強調するプロンプトを意図的に入れないかぎり、キャラを白線で囲む表現はめったに出てきません。
この AI イラストから独特の手描きらしさを感じ取っていただけたなら、まさに狙いどおりなのでうれしく思います。

**感想とおまけの制作イラスト
**バイブストランスファーによって、これまで手の届かなかった表現や生成方法にアプローチしやすくなったと感じています。
自分にとって恩恵が大きそうだと思ったものを、以下に挙げてみます。

◆効率面

・パーツを合成してキャラを制作する
・通常なら再現が難しい、複雑な造形のキャラを生成する
・同じ容姿、あるいは似た容姿のキャラを量産する

今回の試作は、1つ目にあたると思います。キャラの頭部はバイブストランスファーで作り、それ以外はプロンプトと i2i のイラストから組み立てる方法です。

個人的には2つ目にも大きなメリットを感じていて、プロンプトと i2i だけでは再現しにくいキャラを、バイブストランスファーで生成しやすくなったのは本当にありがたいです。

左：NAI v1 で制作したイラスト　右：左の画像をバイブストランスファーに使い NAI v3 で生成

NAI v1〜v2 の text2image ベースで生成していた一部のイラストが、NAI v3 の text2image では出しにくくなっていたので、バイブストランスファーで代替生成できるようになったのは助かりました。

プロンプトベースで異なる要素を意図的に合成しようとすると（例：ドレス、翼、髪の液状化など）、入力プロンプトが複雑で長くなりがちなうえに、生成の成功率も低くなります。バイブストランスファーは参照画像から特徴を抽出してくれるので生成が楽になり、プロンプトの入力量も大幅に減らせました。おかげで、絵のディレクションや品質の向上に回せる余力が生まれました。

**◆表現面
**・自作絵の要素を取り込んだイラストの生成
・パターン素材とタイプの異なる絵を組み合わせた、新しい絵柄の生成

個人的には1つ目、自分の絵を取り入れたイラスト制作に手が届きやすくなった点に大きな可能性を感じています。

左：text2image（NAI v1）　右：text2image ＋ 自作絵のバイブストランスファー（NAI V3）

この画像は、自分のオリジナルキャラを AI で再現できるか実験していたときのイラストです。左は昨年 text2image で出力したもの、右は自分の描いたデジタル絵をバイブストランスファーで参照させながら生成したものです。AI イラストを見慣れている方なら、右はかなり珍しい作風に見えると思います。

バイブストランスファーを使って生成した AI イラストには、このキャラを描いていて自分が気に入っていた、金髪のきらきらした質感の面影が残っています。プロンプトだけに頼っていると、流行の高品質イラストやフォトリアルから外れた表現や、狙いどおりの固定的な生成は難しいと感じていました。だからこそ、自分が描きたいもの、目指したい絵に一歩近づけてくれるこうした技術が登場したことを、うれしく思います。

バイブストランスファーは、表現の幅を爆発的に広げてくれる技術だと感じました。これを使ってどんなイラストが作れるのか、これからも研究を続けていきたいと思います。