テクノロジー
自律型AIを脅威から守る「指示の階層化」：OpenAI『IH-Challenge』が示すプロンプトインジェクションへの最適解
現在の巨大言語モデル（LLM）は、かつてないほど複雑なコンテキストの中で稼働している。初期のチャットボットのように単一のユーザーと一対一で対話する牧歌的な時代はとうに終わりを迎え、一つのタスクを実行する過程で、モデルは複 […]
Tech Product
IH-Challenge
別名: Instruction Hierarchy Challenge
Overview
OpenAIが開発したオープンソースのデータセット。システム、開発者、ユーザー、ツールという指示の階層構造をモデルに理解させ、プロンプトインジェクションやジェイルブレイクなどの攻撃を防ぐことを目的とする。評価プロセスに客観的な自動判定を導入し、LLMによる主観的な評価の揺らぎを排除している。
Mentioned Articles
1 件External Mentions
5 件- arXiv Healthcare App Design in Low-Resource Contexts: Challenges, Practices, and Opportunities
- arXiv IH-Challenge: A Training Dataset to Improve Instruction Hierarchy on Frontier LLMs
- arXiv Ethical Fairness without Demographics in Human-Centered AI
- arXiv Ab initio simulation of the first-order proton-ordering transition in water ice
- arXiv Water Phase Diagram from a General-Purpose Atomic Cluster Expansion Potential