【本】ChatGPTとは何か 超絵解本 ニュートンプレス

 ついでに、最近話題の生成AIに関しての本も見てみました。2024年発刊なので、この世界は毎月のように進化しているから最新の情報ではないですが、この10年ぐらいの間でAIがらみで色々と話しにでてきていた言葉の意味やAI進化の中でどういう位置づけになって、どういう事をしていたのかがとても分かりやすく書かれています。　

畳み込みニューラルネット（CNN)や敵対的生成などなど、、、生成AIに関してもその基礎となる部分の仕組みも分かりやすいです。

マスコミはAIを万能のように報道しますが、実際の中はどうなってるの？　という事を知りたい人におすすめです。

生成AIのさきがけとなった画像生成AI

　2015年ごろから　画像認識AI、2022年ごろから　画像生成AI、　2022年11月　ChatGPT

生成AIで、思い通りの答えをもらうためのプロンプトの考え方

　目的を伝える。役を指定する。出力形式を指定する。回答内容のレベルを指定する。英語で入力する。回答例を与える。

ニューラルネットワーク

　神経細胞のはたらきを人工的なニューロンで再現する。

　ディープラーニングは、人工ニューロンを多数用いて層状のネットワークを作ったもの。

　形式ニューロンによって学習する。形式ニューロンは、情報の入力を受け取って、それを「重み」と呼ばれるパラメータをつけて、形式ニューロンが破綻しないように「バイアス」を加算して情報を処理して学習する。

深層学習（ディープラーニング）

　画像認識：画像に含まれる特徴をAI自身がみつけだせる。

　自然言語処理：ある単語の次はどの単語がきそうかという特徴も、深層学習で急速に向上。

　機械学習：教師有り、教師無し。　

　・誤差逆伝播法：出力と正解の差を求め、誤差を逆方向に伝えながらパラメータを更新していく。

　・敵対的生成ネットワーク：生成された結果と本物を見分ける様に学習させたAIと生成AIを競わせて学習を行う。

　スケール則：モデルの規模（パラメータの数）を大きくするほど性能が向上する。

　　・多様なネットワーク構造を作りうるので、その中から最適なものを探せる確率が高くなる。（宝くじ仮説）

　Transformer：Googleが開発。自己注意機構で単語どうしの関係をベクトル化してつかむ。

　　・単語ベクトルは意味が近いほどベクトル同士の距離が近くなる。　ベクトル同士の距離は内積を計算する。これで、文章中の離れた位置にある単語どうしの意味的な結びつきを見抜く事ができるようになった。

　大量の「穴埋め問題」で性能が急上昇

　　穴埋め問題はAIが自動で作れるし正解が分かっているので、膨大な文章データを事前に学習する事ができるようになった。

　ChatGPTでのファインチューニング

　　　教師有り学習　して、その結果を人間が順位付けして　その順位つけを学習させて報酬モデルを作り、報酬モデルと生成モデルを組み合わせてループさせ、強化学習を繰り返す。

画像認識

　以前はCNN（畳み込みニューラルネット）が主流だったが、今はVision Toransformerが流行っている。画像をジグソーパズルのピースの様に分割して、ベクトル化する。

文字から画像を生成する

Stable Diffusionは2022年に公開された深層学習を活用したテキストから画像生成を行うモデル。

　Transformerを応用して、文字と画像の関係を学習。それを使う。

　ノイズを混ぜて画像の穴うめ問題も解かせて学習させる。（拡散モデル）

　画像生成モデル　ＤＡＬＬ・Ｅ。