面接一覧
Cohere logo

Cohere

シニア

LLMを大規模に稼働させるCohereのModel Servingプラットフォームで、アーキテクチャをリードする

CohereのModel Servingチームにおけるシニア/リード級のインフラポジションです。複数クラウドにまたがるKubernetesとGPU上で、CohereのLLMを低レイテンシ・高スループット・高可用性のAPIエンドポイントとして提供するための、アーキテクチャと技術方針を定めます。面接では分散システム、Kubernetes/GPU、マルチクラウドのコスト・運用に関する深掘りに加え、テクニカルリーダーシップとしての職責範囲も問われます。

この面接を練習する

無料 · この職種に合わせて調整されたライブ音声模擬面接

模擬面接を始める

この面接で問われること

  • GPUワークロードを伴うKubernetes上の分散システムアーキテクチャ
  • マルチクラウドおよびハイブリッド/オンプレミスのサービング戦略(GCP/Azure/AWS/OCI)
  • レイテンシ/スループットに関わるアクセラレータ(GPU/TPU)の性能特性
  • 組織レベルでのコンピュート・ストレージ・ネットワークのコスト管理と最適化
  • テクニカルリーダーシップ:標準の策定、シニアレベルのコードレビュー、メンタリング
  • カスタムデプロイメントにおける顧客対応の技術リーダーシップ

よくある質問の方向性

GPUワークロードを載せたKubernetes上で、低レイテンシ・高スループットのLLMサービングシステムを設計してください

大規模な推論デプロイメントで、マルチクラウドとオンプレミスをどう使い分けるか

アクセラレータの計算特性を踏まえて、スループットをどう最適化するか説明してください

組織レベルでインフラコスト管理を担い、コスト削減を実現した経験を説明してください

エンジニアリング標準の策定や、シニアエンジニアの設計レビューの経験を教えてください

特殊な要件を持つエンタープライズ顧客向けのカスタムデプロイメントを、どうリードするか

元の求人ページを見る

Cohereの面接一覧

関連する面接