ホーム / AIをゼロから作る
GUIDE 04 / コード

AIをゼロから作る

Pythonで小さな予測モデルを学習

🕒 読む目安 15分更新:2026.11.21
AIをゼロから作る練習として、前の1文字から次の1文字を予測する小さなニューラルネットをPythonで学習させます。会話AIとは違いますが、学習の核がわかります。

01. 環境を用意

Pythonをインストールしてから、ターミナルでPyTorchを入れます。OS・CPU/GPUによる推奨コマンドは公式ページで選んでください。

TERMINAL / CODE
python -m pip install torch

02. 予測モデルを学習する

以下を tiny_ai.py として保存します。説明しやすさを優先した教育用コードです。

TERMINAL / CODE
import torch
import torch.nn.functional as F

text = "AIをつくる。AIを学ぶ。" * 200
chars = sorted(set(text))
to_id = {c: i for i, c in enumerate(chars)}
ids = [to_id[c] for c in text]
x = torch.tensor(ids[:-1])
y = torch.tensor(ids[1:])

embed = torch.nn.Embedding(len(chars), 16)
head = torch.nn.Linear(16, len(chars))
optimizer = torch.optim.Adam(
    list(embed.parameters()) + list(head.parameters()),
    lr=0.05
)

for step in range(301):
    logits = head(embed(x))
    loss = F.cross_entropy(logits, y)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    if step % 100 == 0:
        print(step, round(loss.item(), 4))

03. 実行してみる

TERMINAL / CODE
python tiny_ai.py

表示される loss は予測の誤差です。一般に値が小さくなるほど訓練データへの予測が合っています。ただし、これだけでは汎用AIの能力は測れません。

04. 何を作ったのか

1

文字を数値に変える

AIは文章をそのまま理解せず、数値表現を使って計算する。

2

Embeddingで表現を作る

各文字に16次元の学習可能なベクトルを持たせる。

3

Linearで次の文字を予測する

予測確率に対応するスコアを出す。

4

誤差を逆伝播で修正する

誤差を減らすようパラメータを更新する。

ここで作るものの限界
前の1文字しか見ない極小モデルです。ChatGPTのようなTransformerではなく、自然な会話や長文理解はできません。まず「学習が起きる仕組み」を理解するための教材です。

参考:PyTorch公式チュートリアル