Cohere

ミドル

本番環境でCohereのLLMを提供するKubernetesベースのプラットフォームを運用・自動化する

CohereのModel Servingチームは、Site Reliability Engineerを募集しています。低レイテンシ・高スループットのAPIエンドポイント経由でCohereの大規模言語モデルを提供するAIプラットフォーム向けに、セルフサービスシステム、カスタムKubernetes operator、オブザーバビリティツールを構築するポジションです。大規模な本番インフラ運用の経験5年以上、KubernetesとGPUワークロードの深い経験、マルチクラウドの経験、高性能なサービングシステムのためのGolang/C++への習熟が求められます。勤務地はトロントで、on-callローテーションがあります。