tau-bench

tau-benchは、Sierra Technologiesが開発した、AIエージェントの能力を評価するためのオープンソースのベンチマークテストである。従来の静的な質問応答形式とは異なり、航空券の予約変更や小売店での返品対応など、複数のステップと外部ツールへのアクセスを必要とする実世界のビジネスシナリオをシミュレートする。AIがどれだけ正確かつ効率的にユーザーの目的を達成できるかを、信頼性の高い指標で測定することを目指している。