OpenAIのフロンティアエージェント学習を方向づけるRL環境と評価（evals）を構築する

OpenAIのAgent Post-Trainingチームが、コーディング・ツール使用・コンピュータ操作・マルチエージェント連携といったエージェント能力のnorth-starとなるモデル環境・評価を構築するリサーチサイエンティストを募集しています。研究のセンス（research taste）とエンジニアリングの実行力を兼ね備えたロールで、フロンティアエージェントにとっての「良さ」を自ら定義し、それを測る環境・grader・データパイプラインを構築し、実際の学習ランを方向づけます。チームのこれまでの成果にはGDPval、SWE-bench Verified、MLE-bench、PaperBench、SWE-Lancerがあります。

この面接を練習する

無料 · この職種に合わせて調整されたライブ音声模擬面接

模擬面接を始める

この面接で問われること

エージェント能力（コーディング・ツール使用・コンピュータ操作・マルチエージェント）向けのRL環境・評価の設計
graderの設計と、測定の信頼性・スケーラビリティ・分散の検証
ポストトレーニング手法：RLHF／RLAIF、合成データ、モデル学習パイプライン
研究・プロダクト・インフラ・セーフティをまたぐ部門横断の実行力
曖昧な挙動の問題を具体的な実験に落とし込む力

よくある質問の方向性

自分が構築した評価や環境について、graderがハックされないことをどう検証したかを説明する

評価手法のスケーラビリティと分散についてどう考えるか

実際にリリースまで持っていったRLHF／RLAIFやポストトレーニングの実務経験を話す

ベンチマークの数値向上と実際のプロダクト・モデル挙動へのインパクトのバランスの取り方

意見が割れる意思決定で、研究・プロダクト・インフラ・セーフティ各チームの足並みをそろえた経験を説明する

コーディングエージェントの長期タスクにおける信頼性をストレステストする環境をどう設計するか

経験者はこう語る

リアルな Research Scientist の面接体験 — 候補者の公開投稿をもとに出典付きで再構成。

Amazon · アプライドサイエンティスト(L4)オファー獲得

Amazon アプライドサイエンティスト面接体験談:Alexa Speechチーム、2021年

候補者の希望でリクルーターとのやり取りが方向転換したことをきっかけに、Alexa SpeechチームでのAmazonアプライドサイエンティスト選考が始まった。電話面接、2チームにまたがる分割5ラウンドのバーチャルオンサイト、バーレイザー、そして追加のML幅広さラウンドを経て、オファーに至ったが、L5からL4へのダウンレベルを伴った。

面接時期: 2021年7月 · ボストン、マサチューセッツ州(リモート)