管理メニュー

AI画像生成・生成系AI 問題まとめwiki

主要なAI画像生成サービス

最終更新：2024年11月27日 19:50

sankakuyama

- view

メンバー限定登録/ログイン

主要な画像生成AIサービスについてまとめたページです。

編集者の方へ

【目次】

はじめに
主要な画像生成AI一覧
関連資料

はじめに

2023年8月現在、よく利用されている画像生成AIは大きく分けて２つ。
一つはStableDiffusion系、もう一つはMidjorney(Nijijorney)である。
なかでもStableDiffusionはオープンソースで公開され、それを利用した様々な派生モデルが登場してる。
よって、関係性が非常に複雑だが、データセットが公開されていることなどから、画像生成AIの構造及び問題点を理解する上でよい例と考える。

また、多くの問題を引き起こしているのもStableDiffusion系のモデルだ。
簡単な関係図を以下に示す。

画像生成AIはデータセットをもとに画像を生成を行う。
そのデータセットはインターネット上の画像を権利者の許諾なしにWEBスクレイピングすることによって取得したものである。
StableDiffusionに使用されているLAION-5Bデータセットには著作権で保護された画像や、医療記録、家族写真、戦争の写真等が含まれている。
日本の法律や海外のフェアユースの概念では研究目的としての利用は認められていることが多いが、この点について様々な議論が巻き起こっている。

2022年8月にStableDiffusionがオープンソースで公開されたことにより、それをもとに様々な画像生成AIモデルが作成され、インターネット上で共有されている。
画像生成AI利用者は生成できる画像の幅を広げるために、インターネット上の画像を権利者に無許諾で収集し、追加学習させている。
これによりモラルハザードが加速し、諸問題が発生している。

日本でよく見かけるモデルはアニメ系モデルと実写系モデルである。
アニメ系モデルで代表的なものはNovelAIやWaifuDiffusionである。NovelAIは一企業によって製作されたモデルであり、サブスクリプションのWebサービスの形態をとっていたが、リリース後、直ちに不正アクセスによりリークされた。そのリークモデルをベースに様々なモデルが作られている。画像生成AI利用者が使用しているもののほとんどはこのNovelAIリークモデルがベースといわれている。

さらに大元のNovelAIについてもDanbooru（アニメ系イラスト無断転載サイト）を学習元としており、権利者への許諾は得ていない。
なお、リークモデルがベースでないものもあるが、これについても権利者に許諾をとったモデルはほとんどないと言っていいだろう。
また、実写系モデルについてはInstagram（写真・動画共有SNS）のデータセットを利用している。当然だが、権利者の許諾は得ていない。こちらのモデルはディープフェイクや実写系NSFWが制作できるため、危険性が高い。

アニメ系、実写系それぞれ倫理的リスクがあるが、そのリスクを複合的に持っているのが画像生成AI利用者の中で人気の高い「AbyssOrange mix」というモデルである。これはリークモデルにInstagramデータセットを使用して表現力を高めており、財産権（イラスト及びプログラム）、肖像権の合計3つの倫理的リスクを孕む。このようなモデルは他にも複数確認されている。

よく問題に上げられるLoRAは、上記のアニメ系や実写系のモデルに追加学習をかけることで特定作家、特定キャラクターに特化した生成モデルを作成することができる技術である。追加学習してもその作家やキャラクターだけの絵にならないのはベースとなるモデルの存在があるからだ(LoRAについての詳細は⇒LoRAによる個人や作品の無断学習問題)。

このようにして作成されたモデルは共有サイトのHuggingFaceやCivitaiなどにて共有され、不特定多数が利用できる状態となる。そして、そのモデルはさらにマージ元やベースモデルなどとして利用され、新たなモデルが生まれている。

主要な画像生成AI一覧

Stable Diffusion（SD、ステーブル・ディフュージョン)

WEBサービス、ローカル、モバイルアプリ
LAION-5Bデータセット使用。

「テキスト入力でフォトリアリスティックな画像を生成できる潜在的なテキストから画像への拡散モデル」（公式HPの文言を翻訳）

〈概要〉

LMU（ミュンヘン大学）のComputer Vision & Learning Group(CompVis)、Runway（https://runwayml.com）、Stability AI（https://ja.stability.ai）の三者の合同で研究・開発された。（Wikipedia：https://ja.wikipedia.org/wiki/Stable_Diffusion参照）
2022年8月22日に初版公開。
有料のアプリケーションだが、公式サイト上のWebサービスhttps://stablediffusionweb.comを利用することで制限付きではあるが無料で画像生成を使用できる。

「モデル」と呼ばれる学習アセットとプロンプトを組み合わせることでイメージに沿った画像を生成する。
stable diffusion自体は操作するためには逐一コマンドを打ち込む必要があるが、WebUIというパーツを導入することで比較的扱いやすいツールに出来る。

特徴として「テキストに基づく画像生成（txt2img/text-to-image・通称t2i）」と「画像に基づく画像生成（img2img/image-to-image・通称i2i）」という二つの機能を持つ。

所謂サンプリングスクリプトであり、

t2iはテキストプロンプトや画像解像度、シード値をランダムにするか他の生成画像と同一のものを使用するかなど入力された情報を解釈して出力する。
i2iは「強度値」という数値を入力することで、上記の情報に紐づけられた画像を基にした新しい画像を出力する。すなわち「ノイズ」とも呼ばれる元画像からの新解釈・追加情報・相違を含んだ画像を強度値に入力された情報を参照しつつ出力する。

ただし、これらはStable Diffusionにモデルファイルというアセッツを学習させること≒元になった画像及びそれを基にしたAIによる生成画像の情報が既に存在しているということが前提の機能であり、wikipediaの「機能」の欄にある「ゼロから新しい画像を生成する機能を備えている」という文言は誤解を招く表現である。

具体例として、Civitaiというカスタムモデル（一分野に特化させた学習アセット）のアップロード・ダウンロードができるサイトがある※1が、そこに写真風のリアルな女性の画像に特化したモデルがアップロードされている。
その説明には「特定の人物ではなく、中国のtiktokインフルエンサーの画像をミックスした」という記述がある。
つまりこのモデルは複数の実在の人物の画像をAIに学習させて生成した画像をアセットとして公開しているということであり、これを使用した場合「存在していなかった画像をゼロから生成した」とはいえない、ということになる。

おそらくは現行の著作権法の法解釈を踏まえた「言い回し」の一つと考えられる（あえて擁護するならば出典にCompVisの名義で公開されているstable diffusionのGitHubのリンクが貼ってあるため、記事作成者が能書きをそのまま書いただけの可能性もある）。
ちなみにstable diffusionやNovelAIに使用されているモデルには「Danbooru」という海外の画像転載サイトに転載された画像を学習させたものがあり、サイト上のタグをそのままテキストプロンプトに流用している。
カスタムモデルが大量に配布されている現在では殆どのモデルがこの「danbooruタグ」によってプロンプトを紐づけた無断転載された画像の影響を受けているとされる。

2022年11月24日にリリースされたStable Diffusion 2.0には新たに「depth2img」という画像の深度情報を推測することでより立体的な（具体的には実際の写真のような）画像を出力するという機能も追加された。
コードとウェイトは一般に公開されており、殆どのハードウェアで実行可能である点もクラウドサービス等でアクセスするものが多い他の画像生成サービスとの違いである。
画像生成では広く使用されており、専門のガイドブックが販売されている※2ほど。

〈論争・訴訟一覧〉

Stable Diffusionは著作権関連での訴訟をクリエイターや権利者らから起こされており、また個人・企業・団体によって使用の是非を問われるといった論争が巻き起こっている。
主な理由として著作権の存在する画像を権利者の許可なく学習アセットに使用している・ディープフェイクの作成に関する制約の少なさ等が挙げられる。
Stable Diffusion運営（StabilityAI）は「『どのような画像を生成するか』と『その取扱い』はユーザーの判断に委ねる」という方針を前面に打ち出しているため、現在これらの問題が改善される兆しは見られていない。
ここでは特に訴訟や論争について記述する。

【論争▼】

「ハーバード・ビジネス・レビュー」というアメリカの経済学誌は開発企業が実施している「権利者が申請することで著作物を学習データから除外する」という通称オプトアウトを批判し、「企業側が著作物の使用許可を権利者に申請する」というオプトイン式を採用するのが適切であると述べている。
「名探偵ピカチュウ」などを手掛けたデザイナーのR・J・パーマーは「現役のクリエイターの作品を多数学習データに取り込んでおり、潜在的に作品を学習されたクリエイターの仕事を奪いかねず権利侵害にあたる」と非難している。
プリンストン大学のアーヴィンド・ナラヤナンは「画像生成AIの開発企業は学習データを同意や補填なしに収集するなどアーティストに敵対するような方法で開発を行っている」とし、「特定のアーティストの画風に寄せた画像生成ツールを許容することはアーティストの労働や独自性を明確に流用しているように思える」と述べて「アーティストをパートナーでなく訓練データの素材として扱っている現状が必然であったと主張している人物は企業が責任ある技術開発を行えなかったことへの言い訳に過ぎない」と結論付けた。
またナラヤナンはメディアによる画像生成AIの宣伝に関し、「過度に擬人化するなどの誤解を招くような印象を蔓延させ、誇大広告に加担している」と厳しく批判し、「AI報道で気をつけるべき18の落とし穴」というチェックリスト（https://aisnakeoil.substack.com/p/eighteen-pitfalls-to-beware-of-in）の中で、「AIが人間と同じように学習すると示唆し人間の知能と比較すること」や「AIが電気の発明や産業革命といった歴史的な出来事になぞらえること」等が印象操作によってAIやそれを応用した技術に対する誤った認識を広めていると批判している。
東京大学は理事・副学長の太田邦史の署名付き文章で全学生・教員向けにChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等の生成AIの利用に関する注意喚起を行い、元データの作成者が知らない間に著作権を侵害されたとして問題提起を行っている現状を指摘し、将来的に画像生成AIが生み出したコンテンツが訴訟の対象になる可能性に言及した。

【訴訟▼】

2023年1月13日にアメリカ在住の漫画家サラ・アンダーソンら3人が原告となり、Stability AIとStable Diffusionを利用した画像生成サービスを展開するMidjourney、DeviantARTの3社に対して訴訟を提起した。学習データに使用されているインターネット上の何十億もの画像はその大半が著作権によって保護されているものであり、使用するにあたっての権利者への同意も得ていないという倫理的・法的な問題を抱えるAIアートの違法性を訴えている。アンダーソンは「ワシントン・ポスト」紙の取材に対し「AIは私の作品を盗んだ」と答えた。
イギリスのストックフォト企業である「Getty Images」は画像生成AIが膨大な量の画像を盗用し知的財産権を侵害しているとして英国・米国の2か国でStability AIへの損害賠償請求訴訟を提起した。

訴訟に関する詳細は⇒「生成AIに関する訴訟・法的対応一覧」へ。

※1セキュリティ上安全なサイトであると断言できないためURLは省略。
※2https://www.amazon.co.jp/Stable-Diffusion-AI%E7%94%BB%E5%83%8F%E7%94%9F%E6%88%90%E3%82%AC%E3%82%A4%E3%83%89%E3%83%96%E3%83%83%E3%82%AF-%E4%BB%8A%E6%9D%91-%E5%8B%87%E8%BC%94/dp/4802614055/ref=d_pd_sbs_sccl_3_2/355-7332775-0596163?pd_rd_w=QkqMa&content-id=amzn1.sym.820591ed-a555-4556-9bf6-5ebd5493c69e&pf_rd_p=820591ed-a555-4556-9bf6-5ebd5493c69e&pf_rd_r=NWA8Y3WY7MFD4ETG6Z9B&pd_rd_wg=Pyo8c&pd_rd_r=6c86b162-72f2-44a4-af1e-b60364059b08&pd_rd_i=4802614055&psc=1

〈参考資料〉

まるで人間のアーティストが描いたような画像を生成するAIが「アーティストの権利を侵害している」と批判される（2022年8月15日-GIGAZINE）

Mid Journey (Mid、MJ、ミッドジャーニー)

WEBサービス
データセット非公表。

〈特徴と傾向〉

日本で最初に大きく話題となった画像生成AIサービス。
モードの種類 V1、V2、V3、V4、V5、Niji4、Niji5、MJ Test、MJ Test Photo

フォトリアル性とディティール、独自のアートスタイライズ(美術的調教)されたアウトプットが特徴。
表現の幅も広いが、全体的に黒の使い方に特徴があり特にMJ Version4以降は画面に黒いシャドウが大きくかかっている傾向がある。

また、新しいバージョンモードで生成しても過去のバージョンと同じ出力結果にはならず、
2022年8月の黎明期の頃の味わいが欲しければモードを変更して過去のバージョンモードで生成する必要がある。
そのため、初期のMidjourneyの流行時に生成結果をよくSNSで目にしていたという人は、
最新のMidjourneyでどのような生成物が出力されるのかを知らない可能性が高い。V4、V5以降はかなりフォトリアルな表現を得意としている。

日本のイラスト投稿界隈でのSNS上の傾向を踏まえて注意が必要なのが、
「Midjourneyが得意とするようなフォトリアルな作風、風景、コンセプトアートにも元となった学習された画像とそのクリエイターたち」が存在することである。
「キャラクターイラストの背景に使えるかも」となる前に、生成画像が一体どのようにして出てくるかを立ち止まって考えることが必要である。

非Nijiモードでの二次元キャラの描写は非常に癖があり、同じような顔になるため「Midjourney」で生成したと一目で分かることも難しくない。
また、後述されるNijijourneyの生成機能も内包している。Nijiモードに切り替えることで使用できる。

〈概要〉

Discordのチャットに単語や文章（プロンプト）を入力することで画像を生成できる。
かつては無料トライアルで25枚まで画像を生成できたが、現在（2023/4/12）ではフェイク画像の生成などの問題で出来なくなっている。
Midjourneyでは画像を指定して生成するimg2imgのことを「イメージプロンプト」と呼ぶ。

利用規約▼

>・生成した画像はMidjourney側にも同等の著作権が発生する
>・更に画像プロンプトとして使用した画像にも同等の著作権が発生する
>・生成された画像によって生じた問題についてMidjourneyは責任を負わない。
>・ただし、ユーザーが権利や商標の侵害によってMidjourney側に損害を与えた場合、ユーザーに対し法的請求を行う
>・サービス変更や停止によって損害が生じても責任を負わない

等の規約について理解、承諾する必要がある（現行の法律に関しては各自弁護士に相談することが推奨されている）。
上記は要約・意訳でもあるため、詳しくはMidjourneyの利用規約（https://docs.midjourney.com/docs/terms-of-service）を参照。

プランにはbasic・standard・proの3つがあり、それぞれ月額料金のほかに「fast hour」という消費することで画像を高速で生成できるポイント(生成にかかった時間分消費する。ソシャゲのスタミナやスマホのデータ通信量のようなもの、%で表示される)・ステルスモードの有無などに違いがある。
この「fast hour」は使い切ると追加で購入することができる。

basicより上のプランであれば「Relax」というfast hourを消費せずに無制限に画像を生成できるモードが開放される。
ただしアップスケール(高解像度化)を行うためにはRelaxモードでは時間がかかるため、サイズの大きい画像や高解像度の画像を大量に生成するためにはよりグレードの高いプランに加入し、Fast hourクレジットを購入する必要がある。

ギャラリー(会員に出力画像やプロンプト設定などが公開される機能)の非公開設定ができるステルスモードは、proプラン(月60$)の特典である。これを行うことで画像生成のために入力した単語や文章、通称「呪文」を非公開にできる(自分の出力履歴を隠すことができる)。proプラン以外のプランの加入者でも、現行のプラン+月20＄の追加課金を行うことで、ステルスモードを解禁することができる。

〈論争・訴訟一覧〉

編集中

Niji Journey (Niji、にじ、にじジャーニー)

WEBサービス
データセット非公表。
あなただけのオリジナルアニメイラストを描く最先端AI（公式HPより）。基本的な仕様はMidjourneyとほぼ同じ。

〈特徴と傾向〉

NovelAI派生のキャラクターイラスト生成AIと違うので、生成結果がマスピ顔ではない。
マスピ顔ではない画風の幅のあるAI生成出力者・投稿者がいたら、SDローカルでの追加学習を使用していなければこの「Niji journey」を使用している可能性は高い。
また、SDローカル等におけるマスピ顔はないものの、「スタイル値が1000(MAX)」になるほど出やすい絵柄・顔は数パターンある。
Niji journeyのユーザー投稿作をTwitterのハッシュタグなどで何作か見ていくと、その傾向や癖を理解することができる。

〈概要〉

Spellbrush（@spellbrush）※1とMidjourney（@midjourney）が「一緒にデザインした」画像生成AIツール。
Discordのチャットに単語や文章（プロンプト）を入力することで画像を生成できる。Midjourneyの会員(同一のアカウント)でも同じDiscord上で利用できる。

かつては無料トライアルで25枚まで画像を生成できたが、現在（2023/4/12）ではフェイク画像の生成などの問題で出来なくなっている。
Nijijourneyでは画像を指定して生成するimg2imgのことを「イメージプロンプト」と呼ぶ。

「スタイル」と呼ばれる入力したスタイル値によって生成する画像の傾向をコントロールするシステムがあり、現行のv5モデルはスタイル値によって生成物が大きく変化する。スタイル値(--s XXX)が1000に近ければ近いほどNiji Journeyがチューニングした固定の絵柄に近くなり、スタイル値が低ければバラつきが出る。（基本的には、Default・Styleというアニメ調の画像を生成できるスタイルではスタイル値を下げるとプロンプト内容を反映しやすいデータベース素材に近いと思われる生成結果になり、上げるとNiji Journeyがスタイライズした日本のアニメ、イラスト風の生成結果になる）

利用規約は「一緒にデザインした」Midjourneyのものが適用され、

>・生成した画像はMidjourney側にも同等の著作権が発生する
>・更に画像プロンプトとして使用した画像にも同等の著作権が発生する
>・生成された画像によって生じた問題についてMidjourneyは責任を負わない。
>・ただし、ユーザーが権利や商標の侵害によってMidjourney側に損害を与えた場合、ユーザーに対し法的請求を行う
>・サービス変更や停止によって損害が生じても責任を負わない

等の規約について理解、承諾する必要がある（現行の法律に関しては各自弁護士に相談することが推奨されている）。
上記は要約・意訳でもあるため、詳しくはMidjourneyの利用規約https://docs.midjourney.com/docs/terms-of-serviceを参照。

NijiJourneyはプロンプトとスタイル値によって様々な画風を出力でき、また新たなスタイルの追加を予告しているため(後述)幅広い種類かつ相当数の画像を既に学習し、かつ細かいプロンプトとの結びつけも完了していると予想され、さらに生成画像を学習してまた画像を生成する……という行為を繰り返すため、元になった画像を特定し著作権の侵害を訴えるといった民事訴訟による個別の対策は学習が進めば進むほど不可能になっていくと思われる。

またこれはNijiJourneyに限った話ではないが、あらゆる種類の画像を少数の企業の運営する画像生成AIによって生成されるということは、多くのイラストレーターやアニメーター、デザイナー、漫画家、画家、写真家といった画業・芸術業を営む人々の作品を駆逐し、企業による独占状態を招く恐れがある。

〈関連年表〉

≪2022年≫

11月7日：クローズドベータが実施中という情報がツイートされ、同年12月10日にはオープンベータ版を公開。
12月31日：コミックマーケットC101にユーザ投稿イラストとnijijourneyを使用して生成したフルカラーの漫画同人誌を頒布。（※2）購入者には10$分のサブスクリプションクーポンが配布された。

≪2023年≫

2月11日：「nijijourneyコンテスト」を開催、入賞者にはfast hourやDiscord Nitroが配布されたようである。
4月2日：「にじジャーニーv5モデル」が公開。「Default・Style」を追加。「『アニメ』に見える絵を作る」プロジェクトであり、niji 4までの生成画像の改善版（主に陰影の表現と立体感と流行の絵柄の再現度）。4月6日にはMidjourneyのtwitterでも紹介され、曰く「an anime-focused version of Midjourney（Midjourney のアニメに焦点を当てたバージョン）」とのこと。
4月9日：「Expressive・Style」を追加。「洋風で大人びた雰囲気」と紹介されており、イラストでも写実的でリアル寄りな画風で画像を生成する。
4月10日：画像からテキストプロンプトを抽出生成することが可能になる。
4月16日：「Cute・Style」を追加。「平面的でシンプルな描写、余白や装飾的なディテールが特徴」と紹介されており、デフォルメタッチやファンシーな画風で画像を生成する。
4月23日：「Scenic・Style」を追加。「v5新スタイルの集大成」と銘打たれ、「詳細で印象的な背景」と「キャラクターがそこに息づくような目を引く構図」が特徴。風景写真のような細やかな背景によるスケールの大きな画像を生成する。

下記にて開発ログを見ることができる。
niji・journey dev logs

※1:Spellbrushはwaifulabsやarrowmancerといったサービスを提供している「SizigiStudios」のAI関連のエンターテイメント事業の総称？のようである。
※2販売された同人誌「niji・journal vol.01 」はメロンブックスで委託販売中。

Novel AI (ノベルAI、NAI)

WEBサービス（有料サブスクリプションサービス）→ハッキングによるリーク→ローカル派生
danbooruデータセット使用。

〈概要〉

デラウェア州に拠点を置くAnlatan社によって運営されている。
日本のアニメイラストが高品質で生成されることから、登場当初は話題となった。
しかし、データセットが無断転載サイトだとの批判がある「danbooru」だと明らかになると批判の声が出るようになった。
サービスリリースは2022年10月3日。その後、2022年10月6日にハッキングされている。

NovelAIサービス開始。
2022/10/3「NovelAI's Image Generation, #NovelAIDiffusion is live on http://novelai.net now!」
https://twitter.com/novelaiofficial/status/1576784138807693312

NovelAIハッキングされる。
2022/10/8「2022年10月6日に弊社のGitHubとセカンダリリポジトリに権限のない第三者による不正なアクセスを許してしまいました。」
https://twitter.com/novelaiofficial/status/1578660537742696449

NovelAIのデータセットはdanbooruである。
「NovelAI Diffusion has been trained on Danbooru tags」
https://twitter.com/novelaiofficial/status/1576794201672802305

NovelAIのベースはStableDiffusionである。
「オリジナルのStable Diffusion モデルに基づいています」
https://twitter.com/novelaiofficial/status/1583688206192500736

NovelAI公式による仕組みの説明（ツリー含め参照）。
「#NovelAIDiffusion の仕組みの魔法について話しましょう」
https://twitter.com/novelaiofficial/status/1583688167604948992

2023年4月1日にControlNetが実装された。
「この度、NovelAIは完全に生まれ変わりました！」
https://twitter.com/novelaiofficial/status/1642061444257644544

〈リークモデルについて〉

ハッキングにより流失したリークモデルによって、ほとんどの二次元系のAIイラストは生成されていると言われている。
リークモデルはマージされ、様々な派生モデルを生んだ。
リークすることは不正行為であり、マージされたところで、その問題が解決されるわけではない。

しかし、マージされることにより、リークモデルが使用されているか否か判断が難しくなっており、問題の追跡が困難になっている。
また、Novel AIのリークについて検索すると、明らかに不正行為であるのにもかかわらず、リークモデルの使用方法が簡単に出てくる。
感覚の麻痺した利用者がいかに多いかよくわかるのではないだろうか。
また、リークしたことにより、特定の絵に対して「LowQuality」などの冒涜的なタグ付けがなされていることが判明した。

〈元素法典〉

NovelAIがリークされたことにより中国語圏でプロンプトの研究が行われ、長大なプロンプト及びネガティブプロンプトにより通常よりも情報量の多い画像を生成することが可能となった。このプロンプトは元素法典と呼称される。

元素法典はWEBサービスではプロンプトの文字数の制限のためになしえなかったが、リークされたことによりその制限が取り払われた。
当時のNovelAIのWEBサービスのユーザーはNovelAIに課金して、プロンプトの制限のある中で画像生成を行っていたが、リークモデル使用者は無料でプロンプトの制限なしに情報量の多い画像を生成していた。

まっとうにサービスを利用していたユーザーにとって、このような状況に不満を覚えることは想像に難くない。
そして、リークモデルはダウンロードしようと思えば可能な状況なのである。
リークモデルがここまで蔓延ったのは、元素法典の存在が原因の一つかもしれない。

2022年10月17日「「元素法典」と呼ばれる魔導書」
https://twitter.com/jaguring1/status/1581825977625157633
（余談だが、上記ツイートはハッキングされたはずのNovelAI公式がリツイートしている。）

〈Novel AIがStable Diffusionに加えた改善について〉

Blog Post: NovelAI Improvements on Stable Diffusion
https://twitter.com/novelaiofficial/status/1579512480472399872

NovelAI Improvements on Stable Diffusion
https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac

超高精度なイラストを生成できると話題の「NovelAI」は本家Stable Diffusionにどんな改善を加えたのか？
https://gigazine.net/news/20221011-novelai-model-improvements-stable-diffusion/

〈関連記事〉

【danbooruデータセットに関する記事】

画像生成「NovelAI Diffusion」無断転載サイトからの学習で物議　有償提供も問題視
https://kai-you.net/article/84966

「われわれはNovelAIと関係ない」──海外のイラストサイト「Danbooru」が日本語で声明
https://www.itmedia.co.jp/news/articles/2210/05/news133.html

【リーク問題に関する記事▼】

【公式声明発表済】イラスト生成AI「NovelAI」のモデルデータが流出？情報が不確かで偽物・マルウェアの可能性があるという指摘も
https://togetter.com/li/1955160

画像生成AIの激変は序の口に過ぎない
https://weekly.ascii.jp/elem/000/004/115/4115793/

AIの著作権問題が複雑化
https://weekly.ascii.jp/elem/000/004/124/4124486/

NovelAIのリークで何が終わったのか？
http://soysoftware.sakura.ne.jp/archives/3622

waifu/NAI/Anything-V3.0 あれから何があったの? (10月と11月のこと)
https://blog.deepfort.net/posts/20221119/

Waifu Diffusion (ワイフ・ディフュージョン)

ローカル
danbooruデータセット使用

NovelAI同様にStableDiffusionをアニメスタイルにファインチューニングしたモデル。
haru氏、salt氏、sta氏の3名により制作された。
danbooruデータセットを使用しているが、NovelAIリークモデルよりは違法性が低い。
NovelAIを参考にして製作しているものと思われる。
リークモデルではない為、こちらのモデルが法律上もどちらかと言えば安全であり、Waifu Diffusionの利用を推進していこうという動きもある。
ただし、ローカルで使用できるように共有されているために、LoRAをはじめとする追加学習が加速していくことは時間の問題であり、モラルハザードの危険性は今後も発生する恐れがある。

Danbooru(イラスト転載サイト)で学習したWaifu Diffusion
https://togetter.com/li/1943300?page=3#h53_0

WD1.5にまつわる参考資料
https://twitter.com/kuronagirai/status/1612714668044455936

Adobe Firefly (アドビファイアフライ)

Photoshopやillustratorといったクリエイティブツールで知られるAdobe社が開発。2023年3月21日に発表された。Fireflyを開発するにあたって使用したデータは、一般に公開されているライセンスコンテンツや著作権の失効したパブリックドメイン、そしてAdobe社が運営するストックフォトサイト「Adobe Stock」内の画像から成り立っているとされる。

〈沿革〉

2022年後半、MidjourneyやStable Diffusionといった本格的な画像生成AIが次々とリリースされていたものの、インターネット上の著作物等を権利者の許可なく生成AIに使用していることが問題視されていた。Adobe社は同年10月19日、「クリエイターと作品を尊重した責任ある画像生成AIの開発と利用における標準を定義する」として倫理・法律面での透明性を確保した画像生成AIツールを開発し、クリエイターが正当な利益を得られる仕組みを構築すると発表。さらにAdobe社が誤報や偽情報の氾濫を防ぐためとして2019年に設立した「コンテンツ認証イニシアティブ（CAI）」の技術もAdobe製画像生成AIに組み込むと発表した。

2023年3月21日、半年を経てAdobe社は自社製の画像生成AI「Adobe Firefly（ファイアフライ）」を発表、同時にプライベートベータ版も公開した。Adobe社は、「クリエイターの製作効率向上」や「クリエイターへの対価」、「オープンスタンダードの提言」などを掲げ、Adobe Stockにおいてクリエイターが作品提供した時に、Fireflyより生成された画像から得られる利益を還元する方法を検討しているとし、さらにCAIを活用して生成AIの学習に使用されないためのコンテンツへのタグ付け機能（Do Not Train）や生成AIが作成したコンテンツに「AI生成」を示すタグが付けられるというようなメリットがあるとした。Fireflyは将来的にCreative Cloudへ統合されるとも発表。

2023年5月23日、Adobe社はFireflyに「ジェネレーティブ塗りつぶし」機能を搭載するとし、同時に画像編集ツールPhotoshopとFireflyの連携も行うと発表した。この機能はまずphotoshopデスクトップ版にベータ版として実装された上で同年後半には一般に公開される予定となっている。

2023年6月8日には「Adobe Firefly」のエンタープライズ版が発表された。Adobe社によるとエンタープライズ版は企業を対象としたもので、企業は自社のブランディングに沿ったコンテンツの迅速な生成や配信が可能になり、商業的な利用が可能で、将来的には企業自身が持つブランド資産でFireflyをカスタムトレーニングする事が可能になる、などと説明されている。さらにAdobe社は、Fireflyで作られたコンテンツによって企業が訴訟を受けた場合、「商業的な安全性と即応性に責任を持っていることの証拠」としてAdobe社が完全な法的補償を行うと表明した。そしてAdobe社は、Adobe Fireflyへ元画像を提供したコントリビューターに対する補償モデルを開発中であるとし、Fireflyがベータ版を終えた後にモデルの詳細を共有すると述べた。そのモデルは「最初の顧客がFireflyを使う前にリリースする予定だ」とした。

〈偽情報等への対策〉

Adobe社の担当者によると、Fireflyでは「銃」や「攻撃する」といったリスクがあるようなワードは除外しているが、銃の画像が出ない事がクリエイターにとって致命的問題になるわけではないし必要があればクリエイターが自身で入れればよく、むしろユーザーが意図していないのにそのような画像が出る方が商用利用の際のリスクになり得るとの事。

〈学習用データセットに著作物、AI製画像等が含まれている可能性とそれに対するAdobe社の対応〉

Fireflyのデータセットの一部はAdobe社のストックフォトサイト「Adobe Stock」から構築されているが、Adobe Stock内には著作権で保護された画像などが無断でアップロードされているとの指摘があり、同サイトを学習元としたFireflyがどれだけ問題あるデータを除外できているかが一部で不安視されている。Adobe社の担当者は、Adobe stock内には報道用途などで提供している「エディトリアル」というコンテンツが存在し、キャラクターの画像などはそれに当たるものでFireflyの学習データからそれらのコンテンツは除外されていると説明している。さらにあるAI研究者が行ったMidjourneyとFireflyで同一のプロンプトを打ち生成された画像から著作権で守られたキャラクター等が出力されるかどうかといった諸要素を比較したツイートでは、デッドプール、マリオ等を生成しようとしているものの、似ても似つかない人物が出力されている。これらの事実を鑑みるとある程度は問題を有しているデータが除外されたと言う事も出来る。(AI研究者による元ツイートは削除済みだが、2023年4月4日付のGIGAZINE記事内にマリオを生成した画像のみが残っている。)

2024年4月12日、米紙ブルームバーグが、Fireflyの学習用データセット内にMidjourneyなど他の画像生成AIで作られたAI画像が5%ほど含まれていると報道。同紙によれば「画像生成AIを含むデータセットでAI学習を行うかは開発初期段階からAdobe社内でも意見が分かれていた。」とし、2023年3月のFireflyベータ版公開の際、担当者が「正式版の公開の際は新しいトレーニングデータベースを用意し生成AIコンテンツを除外する予定だ。」と話していた。

〈Fireflyへの学習データ利用同意に関する問題〉

「Adobe stock」に素材を提供してきた投稿者の一部からは「Adobeは自分の作品をFireflyのAI学習に使用する際に明示的な通知も同意も無しに行った」との指摘をされている。さらにFireflyを用いて容易に画像の加工等が出来る事でAdobe stock製素材への需要が落ち込んでいるとの意見もある。Adobeは現状AI学習からオプトアウトできる仕組みを構築しておらず、ここでも問題が指摘されている。

〈Firefly等の普及で顧客の仕事が減少しAdobe製品の需要も減るとの指摘とAdobe社の反応〉

2023年7月末、Adobe社のある社員はメディアの取材に対し、Firefly等のAIテクノロジー普及により同社の主要な顧客であるグラフィックデザイナー等の雇用に悪影響を及ぼし、結果的にAdobe製製品の需要も落ち込む事を懸念していると表明した。この報道に対し、Adobe社のプロダクト最高責任者（CPO）のスコット・ベルスキー（Scott Belsky）氏は、「一部の業界はAI時代には存在する必要がないかもしれないが、グラフィックデザイナーは今後も繁栄し続けるだろう」と語った。さらに、企業などはAIの普及によって「一人ごとの創意工夫」が増えると、さらに多くの人々を求めるようになりより多くの製品を開発し、より多くのコンテンツを作成し、より多くの成果を達成できるようになる、とした。

〈Fireflyの懸念に対するAdobeの公式回答）

2024年3月25日、Adobe社主催のオンラインイベント「Adobe Firefly 公開1周年記念みんなで学ぼう生成AIと著作権！」が開催され、生成AIと著作権やFireflyに関してユーザーから募集した質問にAdobeの担当者が返答した。その中のFireflyの懸念点に関する質問とその回答を一部抜粋する。

以下の質問と回答は全てAdobe公式ブログ「『Adobe Firefly Camp みんなで学ぼう生成 AI と著作権！』ダイジェスト＆参加者からの質問への回答／参加者からの質問への回答」(2024年4月9日)より引用。

■Fireflyの学習元にAI生成画像が含まれているのではないかとの懸念について

Q:Adobe firefly の学習元に、生成 AI による AI 生成画像が含まれているのではないか、という懸念があるようです。学習元のデータに AI 生成物は入っていますか？また、最初に学習元として発表されたデータの内容は全ての学習データでしょうか、または事前学習分は別にあり、追加学習分だけ権利クリアなのでしょうか。
A: Adobe Stock 内のキュレーションされた生成 AI 画像が含まれています。また、著作権の問題がある学習データが発見された場合でも、Firefly は定期的に問題データを排除した再学習を定期的に実施しています。

Q:Adobe stock の中には、他者の無断転載なども含まれ、生成 AI タグのない AI 生成物が紛れているという話もあります。不適切な画像を具体的に除外する対策や、学習を望まない人がオプトアウトするシステムなどは構築されているのでしょうか。
A:著作権の問題がある学習データが発見されたとしても、問題となったデータを排除し再学習を定期的に実施しています。また、Adobe Stock に不適切なコンテンツが認められた場合、コンテンツの削除などの対応をしております。Adobe Stock で販売する作品はコントリビューターの利用規約に則り、アドビ製品開発に使用することを前提にお預かりしています。現時点ではオプトアウトの仕組みはないため、問題ないと判断いただいた作品のみを投稿いただけるようお願いします。

■Fireflyのオプトアウトについて

Q:Adobe Stock に登録したイラストを、AI 学習の対象にしないとオプトアウトすることはできますか？
A:検討中ですが、現時点ではオプトアウトする仕組みはございません。

■「Do not train」タグについて

Q:画像の AI 学習オプトアウト技術である「Do not train タグ」は Adobeの技術であったと思いますが、実際の運用は現在どうなっているでしょうか。
A:「Do Not Train タグ」に埋め込まれた情報から判断して学習の対象から外す仕組みにはなっておりません。オプトアウトの機能がないため、学習用データの対象として問題ない作品だけを投稿いただけるようおねがいします。」

〈参考資料〉

参考資料一覧

DALL-E2

WEBサービス
2022年07月21日発表 OpenAI開発

DALL-E3

編集中

Bing Image Creator (ビングイメージクリエイター)

WEBサービス
DALL·E最新版データセット使用
2023年03月22日発表マイクロソフト開発

Imagen

編集中

Flux

編集中

Mitsua Diffusion

編集中

TrinArt (とりんアート、とりんさまアート、でりだ)

WEBサービス、ローカル

AIのべりすとの運営と同じ。
なお、製作会社は株式会社Bit192であり、Waifu diffusionの製作にも関わったSta氏がCEOである。
「ルミナ」と呼ばれるサイト内通貨を消費して、AIイラストを生成することができる。
このルミナの消費量は出力の際の設定で調整出来るようになっている。
「とりん」と「でりだ」と呼ばれるモデルがあるがベースはStable Diffusionを使用していると思われる。

Holara AI

WEBサービス

無料プランと有料プランがあり、無料プランの場合、プロンプトがランダムとなる。
有料プランの場合、自身でプロンプトを指定できるため、狙った画像が出しやすくなる。
Stable Diffusion 1.5がベースとなっている。
データセットは非公表だが、公式サイト曰く、「他のアニメモデルのウェイトを使用していない」とのこと。
「Akasha」と「Aika」2つのモデルを提供している。
「Akasha」と「Aika」の違いについては下記を参照。

画像生成HolaraAIにモデルAika登場！Akashaと比較してみました！
https://ai-generated-art-materials.com/holara_ai_new_model/

お絵描きばりぐっとくん

「stable diffusion」を使用してAI自動画像生成LINEアプリケーションのこと。1日に生成できる画像は10枚。
日本の幅広い層に普及している画像生成AIである。

AIピカソ

モバイルアプリ
Stable Diffusionベース

メイツ

モバイルアプリ
写真などを加工するアプリで機能の1つに「AI絵画」と呼ばれるものがある。
これはスマホの画像フォルダから画像をアップロードし、それを元にAIイラスト化する、というもの。
アップロード後は4つの候補を選び、そこから更にAIによる描写を行う。
AI技術はDiffusionモデルに基づき、技術は独自に開発したものであると発言している。（該当ツイート）

DREAM by WAMBO

モバイルアプリ
2021年11月13日リリース WOMBO開発

chichi-pui (ちちぷい)

AI画像投稿WEBサービス、2023年4月にイベント「AICOLLECTION」でWEB上にAI画像生成ツールを実装すると発表

mimic (ミミック)

WEBサービス
データセット非公表。

〈概要〉

日本の企業、ラディウス5が開発した画像生成AI。2022年8月29日にベータ版がリリース。単に画像を出す他の画像生成AIと異なり「クリエイター自身の画風を模倣」する事に特化しており、これを通して「イラスト制作の参考資料」や「SNS・ファンコミュニティの活性化」に活用できるサービスであると同社は説明している。

〈利用可能なデータについて〉

利用規約の第12条（知的財産権等）の７に下記の記載がある通り、サービス利用者は自身が製作したもののみを学習素材とするよう定めている。

「登録ユーザーは、送信データについて、当社に送信することについての適法な権利を有していること（送信データが画像データの場合にあっては、さらに、自らが創作したものであること）、及びこれらの行為が第三者の権利を侵害するものではないことについて、当社に対し表明し、保証するものとします。登録ユーザーが、第三者から本サービスの利用に関し権利侵害等の主張その他何らかの請求等を受けた場合、直ちにその旨を当社に通知するとともに、当該請求等について、自らの負担と責任のもとで解決しなければならないものとします。なお、当社が第三者から権利侵害の通報等を受けた場合には、対象の登録ユーザーを特定したうえで、当社の裁量により、対象の登録ユーザーによるサービス利用の停止、送信データ又はAI出力物の削除等必要な措置を講ずることができるものとします。」（引用元：mimic利用規約第12の7）

mimicは当初、他人の著作物を学習させることができる状態となっており、物議を醸した。
これにより、いくつかのイラストレーターは「AI学習禁止」の表明を行った。
mimicはイラストレーター等により批判を受け、炎上した。
一方で「絵描きが技術の発展を阻止した」等の批判もあり、「絵描きがmimicを潰した」との意見も出ている。
これにより、絵描きがAIを批判すると非難を浴びる状況の要因の一部となったと思われる。
事実、日本の絵描きはAIによるモラルハザードが深刻化してもなかなか声を上げられていない。

参考資料

大ウケした「Midjourney」と炎上した「mimic」の大きな違い　“イラスト生成AI”はどこに向かう？
https://www.itmedia.co.jp/news/articles/2209/06/news117.html

画風を学ぶAIイラストメーカー「mimic」が物議　他人の絵を学習させる悪用を懸念
https://kai-you.net/article/84595

イラストAI「mimic」運営が「全機能の停止」発表　他人の絵の無断利用リスクで物議...不正対策見直しへ
https://www.j-cast.com/2022/08/30444697.html?p=all

不正利用への懸念で物議をかもしたイラスト生成AI「mimic」が再始動　運営が語る“炎上”の原因とは
https://nlab.itmedia.co.jp/nl/articles/2209/30/news005.html

主要なAI画像生成サービス

はじめに

主要な画像生成AI一覧

Stable Diffusion（SD、ステーブル・ディフュージョン)

〈概要〉

〈論争・訴訟一覧〉

〈参考資料〉

Mid Journey (Mid、MJ、ミッドジャーニー)

〈特徴と傾向〉

〈概要〉

〈論争・訴訟一覧〉

Niji Journey (Niji、にじ、にじジャーニー)

〈特徴と傾向〉

〈概要〉

〈関連年表〉

Novel AI (ノベルAI、NAI)

〈概要〉

〈リークモデルについて〉

〈元素法典〉

〈Novel AIがStable Diffusionに加えた改善について〉

〈関連記事〉

Waifu Diffusion (ワイフ・ディフュージョン)

Adobe Firefly (アドビ ファイアフライ)

〈沿革〉

〈偽情報等への対策〉

〈学習用データセットに著作物、AI製画像等が含まれている可能性とそれに対するAdobe社の対応〉

〈Fireflyへの学習データ利用同意に関する問題〉

〈Firefly等の普及で顧客の仕事が減少しAdobe製品の需要も減るとの指摘とAdobe社の反応〉

〈Fireflyの懸念に対するAdobeの公式回答）

〈参考資料〉

DALL-E2

DALL-E3

Bing Image Creator (ビング イメージクリエイター)

Imagen

Flux

Mitsua Diffusion

TrinArt (とりんアート、とりんさまアート、でりだ)

Holara AI

お絵描きばりぐっとくん

AIピカソ

メイツ

DREAM by WAMBO

chichi-pui (ちちぷい)

mimic (ミミック)

〈概要〉

〈利用可能なデータについて〉

参考資料

関連資料

メニュー

基礎知識

主な出来事・事例

法律・政治・規制

被害対策

現状を変えるために

関連リンク

日本語

英語

その他言語

更新履歴

Adobe Firefly (アドビファイアフライ)

Bing Image Creator (ビングイメージクリエイター)