AnthropicのエンジニアリングマネージャーFelix Riesebergは2026年10月27日、自身のチームの採用選考から従来型のコーディング面接を廃止したと明らかにした。同社の性能エンジニアリングチームでも、AIの進歩に合わせて持ち帰り課題の変更を繰り返しており、第2版は導入から数か月でClaude Opus 4.5に最高成績の候補者と並ばれた。Claudeの性能が向上するにつれ、時間制限のあるコーディング試験では優秀な人材を見極めることが難しくなっている。
ただし、Anthropic全社でコーディング試験が廃止されたわけではない。Riesebergのチームが試験をなくす一方、性能エンジニアリングチームはAIの利用を認めた新しい課題を導入している。この課題はAIに解かれにくいよう設計されているものの、従来の実務に近いコード最適化から、特殊な制約を持つパズルへと変わった。AIへの対策と、実際の仕事に必要な能力を測ることの両立が難しくなっている。
コーディング面接を廃止したのは一部チーム、全社方針は従来通り
2025年からAnthropicに在籍し、Claude.aiやCowork、Claude Code Desktopの開発を率いてきたRiesebergは、10月27日付のブログ記事『Hunger beats tenure: Advice for junior engineers』で、従来型のコーディング面接を採用選考から外した理由を説明した。問題を素早く理解し、洗練された解決策を導く能力は、以前は候補者の活躍を予測する「弱いながらも有用な指標」だったという。しかし、現在では小規模なReactの課題もClaudeの方が優れた成果を出せるようになり、実際に大きな成果を上げるエンジニアの能力と試験結果との関連性も薄れたと判断した。
RiesebergはXへの投稿でも、少なくともAnthropicの自分のチームではコーディング面接が有効な評価手段ではなくなったため、10月中に選考工程から外したと明言している。ただし、代わりとなる評価方法はまだ確立できていない。当面は履歴書やポートフォリオを確認し、設計センスや共感力、原則に基づいた判断力が伝わる小規模な試作品を重視している。Riesebergは、従来型のコーディング面接が復活することはないだろうとの考えも示した。
一方、Anthropicの候補者向けガイダンスでは、持ち帰り課題とライブ面接について、特別な指示がない限りClaudeなどのAIツールを使用しないよう求めている。ただし、性能エンジニアリングチームのTristan Humeが設計した持ち帰り課題では、例外としてAIの利用が明示的に認められている。つまりAnthropic社内でも、AIを使わずに能力を測る選考、AIを活用する能力を含めて評価する選考、コーディング試験自体を廃止した選考が併存している。
持ち帰り課題の第2版は数か月でClaudeに攻略された
Anthropicの性能最適化チームを率いるTristan Humeは、2026年1月21日に公開した『Designing AI-resistant technical evaluations』で、持ち帰り課題を繰り返し作り直してきた経緯を説明している。この課題は、模擬アクセラレータ上で動作するプログラムを最適化し、実行に必要なクロックサイクル数を減らすものだ。サイクル数が少ないほど高い評価となり、実際の性能エンジニアリング業務で必要となる最適化能力を測ることを目的としていた。
Humeは2023年11月に約2週間をかけて最初の課題を設計し、2024年初めから運用を開始した。その後の約1年半で約1,000人が受験し、性能エンジニアリングチームの採用に活用された。しかし、2025年5月にはClaude 3.7 Sonnetが、受験者の50%以上について、課題をすべてClaude Codeに任せた方が良い成績を得られる水準に達していた。
| 時期 | 出来事 |
|---|---|
| 2023年11月 | Humeが2週間で持ち帰り課題を設計。制限時間は4時間 |
| 2024年初め | 第1版の運用開始。その後約1年半で約1,000人が受験 |
| 2025年5月 | 発売前のClaude Opus 4が4時間以内にほぼすべての候補者を上回り、制限2時間の第2版へ変更 |
| 2025年5月22日 | Claude Opus 4公開 |
| 2025年11月24日より前 | 発売前のClaude Opus 4.5が2時間以内に人間の最高成績に並ぶ。具体的な試験日は非公表 |
| 2025年11月24日 | Claude Opus 4.5公開 |
| 2026年1月21日 | Humeが課題変更の経緯を公開。第3版はパズル形式へ |
| 2026年10月27日 | Riesebergが自身のチームでコーディング面接を廃止したと公表 |
最初の課題では、発売前のClaude Opus 4が制限時間内にほぼすべての人間の候補者を上回ったものの、最上位の候補者を評価する余地は残っていた。そこでHumeは、Opus 4が解答に苦戦し始める地点を新しい開始点とし、マルチコア処理を取り除いた第2版を設計した。制限時間も4時間から2時間へ短縮したが、これは主に受験日程の調整が難しく、採用選考に数週間の遅れが生じていたためだった。
第2版も当初は有効だったが、Humeによれば、最上位の候補者とClaudeの能力を区別できた期間は「数か月」にとどまった。発売前のClaude Opus 4.5を使って試したところ、2時間以内に人間の最高成績に並んだのである。しかも、その最高成績を出した人間の候補者も、Claude 4を積極的に利用していた。
Humeが公開した課題は、第1版と同様に最初から最適化を始める形式だが、第2版と同じ命令セットと単一コア構成を採用しており、サイクル数を比較できる。この課題では、通常のClaude Codeセッションで動かしたOpus 4.5が1,790サイクルを記録し、人間の2時間での最高成績とほぼ同等となった。さらに、推論時に使用する計算資源を増やした専用の評価環境では、Opus 4.5が2時間で1,579サイクルまで改善し、人間の最高成績を上回った。AnthropicがOpus 4.5の発表で説明した、2時間の制限内で過去のすべての候補者を上回ったという結果は、こちらの条件に対応している。
第1版は2024年初めから2025年5月までの1年余りにわたって使われたのに対し、第2版が有効だった期間は数か月だった。ただし、第2版は制限時間が半分に短縮され、開始地点や課題の構成も変更されているため、両者を完全に同じ条件で比較することはできない。また、Opus 4とOpus 4.5の公開日は約半年離れているが、どちらも正式公開前のモデルで課題を攻略している。そのため、モデルの公開間隔を第2版が有効だった期間とみなすことも適切ではない。
それでも、モデルの性能向上によって、コーディング課題を短期間で作り直す必要が生じたことは確かだ。Humeは第2版の設計時にOpus 4が苦戦する地点を出発点としたが、次世代のOpus 4.5はその地点を突破した。Opus 4.5は当初、メモリ帯域幅の制約によってそれ以上の改善は難しいと判断して停止したものの、到達可能なサイクル数をHumeから伝えられると、新たな最適化手法を見つけ出した。その後もデバッグや調整を続け、計算時間を増やすことで成績を改善している。特定のモデルに合わせて設計した課題は、後続モデルの性能向上によって短期間で評価能力を失う可能性がある。
第3版は実務に近い課題をやめ、特殊なパズル形式へ変更
第2版がClaudeに攻略された後、一部の同僚は持ち帰り課題でのAI利用を禁止するよう提案した。しかしHumeは、禁止を徹底することが難しいうえ、実務と同じようにAIを利用できる環境でも、人間の能力を評価する方法はあるはずだと考えた。AIを使わずにプログラムを書く能力だけでなく、AIを活用しながら適切な判断を下せるかを評価する必要があった。
当初、Humeは別のコード最適化問題を試した。TPUのレジスタ間でデータを転置し、メモリのバンク競合を避けるという、実際の業務に基づいた課題だった。しかし、Opus 4.5は想定していなかった効率的な解法を見つけ、その手法が使えないよう課題を修正しても、推論に使う計算量を増やすと最適解に到達した。実務で知られている最適化手法はモデルの学習データにも含まれている可能性があり、難易度を上げるだけでは対処できなかった。
そこで第3版では、Zachtronicsのゲームに似た、特殊な制約を持つプログラミングパズルを採用した。使用できる命令セットを極端に絞り、できるだけ少ない命令数で問題を解くことを求める。Humeが最初に作成した中程度の難易度のパズルをOpus 4.5に解かせたところ、モデルは正解に到達できなかった。その後、ほかのパズルも追加し、同僚による検証を通じて人間がClaudeを上回れることを確認した。
第3版では、可視化機能やデバッグツールも最初から用意されていない。候補者は自分で必要な道具を作るか、コーディングAIに作成させるかを判断する必要があり、その判断も評価対象となる。Humeによれば、初期の結果では課題の成績と候補者の過去の仕事の水準に良好な相関が見られた。複数の独立したパズルで構成することで、単一の問題への適性に左右されにくくなる可能性もある。
一方、こうした変更には代償があった。Humeは、最初の課題が実際の仕事に似ていたのに対し、新しい課題は未知の仕事を模したものだと説明している。AIに解かれにくくするため、実務との類似性や、元の課題が備えていた多様な最適化の深さを犠牲にしたことも認めた。これは、コーディング試験がAIの性能向上に対応しようとする際に生じる課題の一つだが、すべての採用試験で実務との関連性を失わなければならないことを意味するわけではない。
コーディング試験は廃止よりも評価方法の変更が進む
Anthropicの事例は、コーディング試験そのものが機能しなくなったことを意味するものではない。Humeが設計した第3版では、少なくとも初期の結果で候補者の能力を評価できている。また、時間制限をなくした場合、人間の最上位の解答は、Claudeが大量の計算資源を使って得た結果を大きく上回っている。
公開課題でのOpus 4.5の成績は、専用の評価環境で11.5時間かけた場合が1,487サイクルで、改良した評価環境ではさらに1,363サイクルまで改善した。それでも、Humeによれば、過去に提出された人間の最良の解答には届いていない。したがって、Claudeが人間の最上位に並んだという結果は、主に2時間または4時間という制限のある選考課題で確認されたものだ。時間を十分に確保した複雑な最適化作業では、人間の専門家が優位に立てる余地が残っている。
Riesebergがコーディング面接を廃止した理由も、試験の制限時間やAIの解答速度だけではない。従来のコーディング問題で高い成績を収めることが、実際の仕事で大きな成果を出せるかどうかの判断材料にならなくなったと考えているためだ。Humeが課題の難易度や形式を変更して評価能力を維持しようとしているのに対し、Riesebergは従来型の試験から離れ、実際に制作した試作品や設計判断を重視している。
ほかの大手テクノロジー企業も、採用選考でのAIの扱いを見直している。Canvaは2025年6月の発表で、バックエンド、機械学習、フロントエンドのエンジニア職の候補者に、技術面接でAIツールを使用するよう求める方針を示した。Metaについても、404 Mediaが2025年7月に報じた内部資料によると、一部のコーディング職の候補者に面接中のAI利用を認める試行が計画されていた。一方、GoogleのSundar Pichai CEOは、Lex Fridmanのポッドキャストで、AIを使って優れたコードを書けることは強みだと評価しつつ、基礎的な能力を確認するために少なくとも1回は対面面接を実施する考えを示している。
企業全体で技術試験を廃止する動きが広がっているわけでもない。求人サービスZipRecruiterの労働経済学者Nicole Bachaudは、The Registerへの説明で、2026年10月に実施した雇用主1,500社への調査結果を紹介した。情報産業の企業の62.5%が応募初期の段階で正式なスキルテストを課しており、70%が監督付きまたは対面形式の試験へ移行したという。AIによる不正利用を防ぐため、試験をなくすのではなく、実施方法を変更する企業も多い。
日本でもコーディングテストはエンジニア採用で利用されている。ウィルオブテックが2024年6月27〜30日に転職経験のあるITエンジニア522人を対象に実施した調査では、採用選考でコーディングテストを求められた経験がある人は38.1%、20代では53.1%だった。ただし、この調査では試験時のAI利用の可否や監督の有無は明らかになっていない。監督のない持ち帰り課題でAIの利用も認める場合には、Anthropicが経験したように、AIと候補者の能力を区別しにくくなる可能性がある。
第3版の課題は後続のClaudeモデルにも通用するか
Anthropicの性能エンジニアリングチームが導入した第3版については、後続のClaudeモデルに対しても候補者の能力を評価できるかが重要となる。2025年11月のOpus 4.5公開後、Anthropicは2026年2月5日にOpus 4.6を発表するなど、モデルの改良を続けている。ただし、確認できた範囲では、Anthropicのモデル発表やHumeの記事に第3版の課題に対する後続モデルの成績は掲載されていない。結果が公表されていないことだけでは、課題がまだ攻略されていないとは判断できない。
第1版は1年余りにわたって運用されたが、第2版は数か月でClaudeに最高成績の候補者と並ばれた。今後、第3版でも後続モデルが制限時間内に人間の最上位の成績へ到達すれば、AIの進歩に合わせて試験を短期間で更新しなければならない状況が続くことになる。反対に、第3版が第1版を超える期間にわたって有効性を維持できれば、課題の設計を変更することでAIの性能向上に対応できる可能性が高まる。
Humeは、元の持ち帰り課題を時間無制限の公開チャレンジとして提供している。Claude Opus 4.5が公開時点で記録した1,487サイクルを下回る解答を募集しており、優れた成績を収めた参加者にはAnthropicへの応募も呼びかけている。
AIの進歩によってコーディング試験が直ちに不要になるわけではないが、限られた時間内にコードを書く能力だけでは、優秀なエンジニアを見極めにくくなっている。Anthropic社内でさえ、試験の廃止、AIを認めた課題への変更、従来のAIを使わない選考という異なる方法が採用されている。今後は、AIを活用した問題解決能力や設計判断、実務での成果をどのように評価するかが、エンジニア採用の重要な課題となる。
