Graphwalks

OpenAIが公開した、AIの長文脈における論理的推論能力を測定するための評価データセット。単一の情報を探すだけでなく、文書内の異なる箇所に存在する複数の情報同士の参照関係や依存関係を追い、それらを組み合わせて結論を導き出す「マルチホップ推論」の精度を測る。特に128kトークンを超えるような大規模なコンテキストにおいて、AIの推論の整合性がどの程度維持されるかを検証する。