開発者のWollyMonjacが、DOSで動作する小型の質疑応答AI「Tiny 2.1」をGitHubで公開した。質問を1文字ずつ読み取り、回答も1文字ずつ生成するTransformerで、パラメーター数は約36万7,000個。学習済みモデルのファイルサイズは約380KBと小さく、DOS版の実行ファイルと合わせてフロッピーディスクに収まる。開発者によると、応答時間は浮動小数点演算器(FPU)の有無によって大きく変わる。
8ビットで重みを保存し、浮動小数点で計算する
Tiny 2.1は、モデルの重みを符号付き8ビット整数で保存し、行列とベクトルの積などの演算には浮動小数点を使用する。DOS版の説明書によると、学習済みモデルを格納するTINY.BINのバージョン2形式では、各重みを1バイトで記録する。さらに、重みの行ごとに32ビット浮動小数点のスケール係数を持たせ、整数値から元の重みに近い値を復元する。正規化に使う係数も32ビット浮動小数点で保存される。
公開されたCコードでは、load_tableが整数の重みと行ごとのスケール係数を読み込み、matvecがそれらを使って演算する。処理は行単位で進み、各重みに入力ベクトルの対応する要素を掛け、その結果を浮動小数点で加算する。最後に合計値へ行のスケール係数を掛け、出力ベクトルの一要素を求める。重みの保存容量を抑えながら、計算自体は浮動小数点で行う仕組みだ。
スケール係数の扱いも旧版から変更された。学習用のPythonコードを見ると、旧版では重みの表全体に一つのスケール係数を使っていたが、現行形式では行ごとに個別の係数を記録する。これにより、行ごとに重みの値の範囲が異なる場合でも、それぞれに適した倍率を設定できる。
モデルの構造も拡張された。学習キットの説明によると、Transformerは旧版の3層から4層になり、各層のフィードフォワードネットワークの中間層幅も192から256に増えた。モデル本体の幅は96で、中間層幅とは異なる。こうして学習した約36万7,000個のパラメーターを約380KBのTINY.BINに収め、回答の各文字を生成する際に利用する。
486でもFPUの有無で応答時間が大きく変わる
開発者によると、FPUを搭載したPentium、486DX、486DX2では、1回の回答にかかる時間は数秒程度だ。一方、FPUを持たない386SX、386DX、486SXでは浮動小数点演算をソフトウェアで代行するため、回答まで数分かかる場合がある。DOS版の説明書では、Turbo C 2.0の浮動小数点設定を「Emulation」にすると、FPUを搭載した機種では自動的にハードウェア演算を使用すると説明している。同じ486世代のCPUでも、FPUを利用できるかどうかで応答速度が大きく変わる。
起動には、実行ファイルのTINY.EXEと学習済みモデルのTINY.BINを同じディレクトリに配置する。DOSの基本メモリ領域であるコンベンショナルメモリには、約540KBの空きが必要だ。フロッピーディスクに収まるほどファイルが小さくても、実行時にはモデルの読み込みや計算のために別途メモリを確保する必要がある。
Tom's Hardwareの紹介記事によると、DOS版には会話履歴、ニューラルモニター、質問を入力する「Ask Tiny」欄があり、ファンクションキーによる操作にも対応する。モニターには各層の活動状況や生成速度が表示され、「CONFIDENCE」では直前に選んだ文字の確信度を確認できる。また、PCスピーカーからは文字ごとに割り当てられた短い効果音が鳴り、連続して再生することでロボットの発話に似た音を作り出す。実際の音声合成ではなく、文字に対応した音を組み合わせる方式だ。
780問で約61%の正答率は何を示すか
Tiny 2.1は、開発者がまとめた約3,500件の事実をもとに学習した。学習キットはこれらの事実から、言い換え、質問と回答の関係を逆にした問題、yes/no形式の質問、誤字を含む質問などを自動生成する。同じ事実をさまざまな聞き方で学習させる仕組みだ。公開キットには事実データ、質問生成用のgen2.py、学習・評価・モデルの書き出しを行うtrain2.py、学習済みのtiny2.ptが含まれる。Python 3、NumPy、PyTorchを使用して学習でき、書き出したTINY.BINはDOS版の実行ファイルでそのまま利用できる。
開発者は、学習時には使用していない言い回しや組み合わせを含む780問で、Tiny 2.1が約61%の正答率を記録したと報告している。同じ問題に対するバージョン1の正答率は6%だった。また、学習時と同じ言い回しの質問では約90%の正答率を記録したという。これらは質問の作り方が異なる評価結果であり、61%という数字は未知の言い回しや組み合わせに対する応答能力を測ったものだ。
ただし、この正答率を解釈するには、文字の生成方法と採点基準を確認する必要がある。公開されたPython評価コードでは、各時点で最もスコアの高い文字を選び、回答を生成する。採点では回答を単語の集合として扱い、正解例から抽出した必要な単語が含まれているかを調べる。一般的な単語や質問文に含まれる単語は原則として判定対象から除外するため、通常は単語の順序が異なっていても正解と判定される。yes/no形式の問題では回答の先頭語を照合し、未知の名前を尋ねる問題には個別の判定規則が設けられている。
一方、DOS版の標準設定はCreativity 5で、次の文字を確率的に選択する。同じ質問でも回答が変わることがあるが、TINY 0を指定すると、DOS版の文字選択処理はPython評価コードと同様に、毎回最もスコアの高い文字を選ぶ。開発者は、架空の名前を尋ねると存在しない答えを作り出す場合があり、高い確信度を示していても回答が正しいとは限らないと説明している。
公開資料には、機種別の詳しい速度測定条件や、約61%という正答率の算出に用いた実行コマンド、チェックポイントが明示されていない。また、DOS版の標準設定で同じ780問を解いた場合の正答率も確認できない。実際のDOS機で応答速度を比較するには、CPUとFPUの構成、質問と回答の長さをそろえる必要がある。正答率についても、同じ問題と採点基準を用い、文字の選択方法を統一することで、開発者の報告と比較できる。



