ホーム / AIをゼロから作る
GUIDE 04 / コード
AIをゼロから作る
Pythonで小さな予測モデルを学習
AIをゼロから作る練習として、前の1文字から次の1文字を予測する小さなニューラルネットをPythonで学習させます。会話AIとは違いますが、学習の核がわかります。
01. 環境を用意
Pythonをインストールしてから、ターミナルでPyTorchを入れます。OS・CPU/GPUによる推奨コマンドは公式ページで選んでください。
TERMINAL / CODE
python -m pip install torch02. 予測モデルを学習する
以下を tiny_ai.py として保存します。説明しやすさを優先した教育用コードです。
TERMINAL / CODE
import torch
import torch.nn.functional as F
text = "AIをつくる。AIを学ぶ。" * 200
chars = sorted(set(text))
to_id = {c: i for i, c in enumerate(chars)}
ids = [to_id[c] for c in text]
x = torch.tensor(ids[:-1])
y = torch.tensor(ids[1:])
embed = torch.nn.Embedding(len(chars), 16)
head = torch.nn.Linear(16, len(chars))
optimizer = torch.optim.Adam(
list(embed.parameters()) + list(head.parameters()),
lr=0.05
)
for step in range(301):
logits = head(embed(x))
loss = F.cross_entropy(logits, y)
optimizer.zero_grad()
loss.backward()
optimizer.step()
if step % 100 == 0:
print(step, round(loss.item(), 4))03. 実行してみる
TERMINAL / CODE
python tiny_ai.py表示される loss は予測の誤差です。一般に値が小さくなるほど訓練データへの予測が合っています。ただし、これだけでは汎用AIの能力は測れません。
04. 何を作ったのか
1
文字を数値に変える
AIは文章をそのまま理解せず、数値表現を使って計算する。
2
Embeddingで表現を作る
各文字に16次元の学習可能なベクトルを持たせる。
3
Linearで次の文字を予測する
予測確率に対応するスコアを出す。
4
誤差を逆伝播で修正する
誤差を減らすようパラメータを更新する。
ここで作るものの限界
前の1文字しか見ない極小モデルです。ChatGPTのようなTransformerではなく、自然な会話や長文理解はできません。まず「学習が起きる仕組み」を理解するための教材です。