Hugging Faceが、OpenAIが発表したWeb検索とレポート作成を自動化する「Deep Research」機能に対抗し、オープンソース版「Open Deep Research」を開発し、わずか24時間で公開した。このプロジェクトは、Deep Researchの性能を再現しつつ、開発者が自由に利用できる技術として提供することを目的としている。
Deep Researchの再現へ向けた24時間の挑戦
OpenAIのDeep Researchは、ユーザーの質問に基づき、インターネット上を自律的に閲覧し、調査レポートを作成する機能を持つ。Hugging Faceは、このDeep Researchの背後にあるエージェントフレームワークが公開されていないことに着目。Hugging Faceは、オープンソースの言語モデルの競争力を維持するため、OpenAIの「Deep Research」の再現に24時間で挑戦する「ミッション」を実施した。その結果、「Open Deep Research」はDeep Researchに匹敵する性能を示したが、さらなる改善が必要であるとHugging Faceは認めている。
Hugging Faceの研究者であるAymeric Roucher氏は、「強力なLLMはオープンソースで自由に利用できるようになったが、OpenAIはDeep Researchの根底にあるエージェントフレームワークについて多くを明らかにしなかった。そこで、我々は彼らの結果を再現し、その過程で必要なフレームワークをオープンソース化するという24時間のミッションに乗り出すことにした」と語る。
ベンチマークで競合に迫る性能、コードエージェントが鍵
エージェントフレームワークは、LLM(大規模言語モデル)にWeb検索などのアクションを実行させ、一連のステップで操作を整理するためのレイヤーだ。Hugging Faceは、smolagentsライブラリを使用し、JSONベースのエージェントではなく「コードエージェント」を採用。これにより、タスク完了効率が30%向上したという。「コードエージェント」は、アクションをプログラミングコードで記述することで、JSONよりも簡潔かつ効率的に複雑なタスクを実行できるとされている。
評価にはGAIA(General AI Assistants)ベンチマークが用いられた。このベンチマークテストは、エージェントの能力を測るための包括的な指標だ。複雑な質問には、以下のようなものがある。
2008年の絵画『Embroidery from Uzbekistan』に描かれている果物のうち、後に映画『The Last Voyage』の小道具として使用された外航客船の1949年10月の朝食メニューに含まれていたものはどれか?各果物を、絵の中での配置に基づいて12時の位置から時計回りの順に、コンマ区切りのリストとして示すこと。各果物の複数形を使用すること。
この質問に正しく答えるには、AIエージェントは複数の異なる情報源を探し出し、それらをまとめる必要がある。

Hugging FaceのOpen Deep Researchは、GAIAベンチマークで55.15%の正解率を達成した。これは、OpenAIの「Deep Research」の67.36%には及ばないものの、わずか24時間での開発としては驚異的な成果だろう。コードエージェントを使用することで、JSONベースのエージェントを使用した場合の33%から大幅に性能が向上した。
Roucher氏は、「難しい質問に対しては、ベンチマークはかなり指標になると思う。しかし、速度とUXの面では、我々のソリューションは彼らのものほど最適化されていない」と認める。
Webブラウザエージェント開発へ、コミュニティに貢献呼びかけ
Hugging Faceは、OpenAIの「Deep Research」が「Operator」と呼ばれるWebブラウジングとインタラクションを可能にするエージェントによって性能向上していると推測している。このギャップを埋めるため、Hugging Faceは独自のWebブラウザエージェントの開発に着手し、専任エンジニアの採用を予定している。また、プロジェクトへの自発的な貢献も広く呼びかけている。
Hugging Faceは、ライブデモも公開しているが、検証時にはトークン超過の問題が発生し、試用は出来ない状態となっている。しかし、GitHubでコードが公開されており、開発者コミュニティによるさらなる進化が期待される。
Roucher氏は、「コミュニティからの反応は素晴らしい。多くの貢献者が参加し、機能追加を提案してくれている。コミュニティは強力な推進力だ」と述べている。
Source
- Hugging Face: Open-source DeepResearch – Freeing our search agents
コメント