Amazon Annapurna Labsで、カスタムMLアクセラレータの推論データプレーンをオーナーとして担う

AmazonのカスタムMLアクセラレータハードウェア上で大規模言語モデルを動かすソフトウェアを、計算カーネルからサービングフレームワークとの統合まで開発・最適化します。MLシステムと低レイヤのパフォーマンスエンジニアリングが交差する領域で、PyTorchのモデル定義からカスタムシリコン上での分散実行まで、エンドツーエンドで取り組むポジションです。

この面接を練習する

無料 · この職種に合わせて調整されたライブ音声模擬面接

模擬面接を始める

この面接で問われること

カスタムMLアクセラレータ向け計算カーネルの開発
LLMアーキテクチャ(デコーダオンリー、MoE)のエンドツーエンド検証
vLLM/PyTorchサービングフレームワークへのカスタムハードウェアバックエンドの統合
推論のプロファイリングとパフォーマンス最適化
複数のハードウェアターゲットにわたるモデル正確性のためのテスト/CI基盤
C/C++とLinuxシステムの基礎

よくある質問の方向性

カスタムアクセラレータ向け計算カーネルの設計と、そのエンドツーエンドの検証方法を説明してください

シミュレーションから実ハードウェアに至る過程でのスループット/レイテンシリグレッションのデバッグ

vLLMへの新規ハードウェアバックエンドの統合:スケジューラ、メモリ管理、モデル並列化

KVキャッシュの最適化や投機的デコーディング(speculative decoding)のトレードオフ

正確性・パフォーマンスのリグレッションを防ぐCI/CDゲートの構築

変化の速いハードウェア/ソフトウェアチームでのメンタリングと設計レビューの推進

経験者はこう語る

リアルな Senior ML Software Engineer の面接体験 — 候補者の公開投稿をもとに出典付きで再構成。

Amazon · アプライドサイエンティスト(L4)オファー獲得

Amazon アプライドサイエンティスト面接体験談:Alexa Speechチーム、2021年

候補者の希望でリクルーターとのやり取りが方向転換したことをきっかけに、Alexa SpeechチームでのAmazonアプライドサイエンティスト選考が始まった。電話面接、2チームにまたがる分割5ラウンドのバーチャルオンサイト、バーレイザー、そして追加のML幅広さラウンドを経て、オファーに至ったが、L5からL4へのダウンレベルを伴った。

面接時期: 2021年7月 · ボストン、マサチューセッツ州(リモート)