Senior ML Inference Engineer - Remote, Equity
Cast AI, a Miami-headquartered, globally distributed team, seeks an experienced ML systems engineer to own inference stack optimization.
Se sta pensando di inviare una candidatura, si ricordi di premere il pulsante apposito dopo aver letto l'intera descrizione.
You will improve throughput, latency, and cost per token across multi-GPU clusters, shaping the technical direction with data-driven experiments.
Your work spans production-grade Python services, tuning SGLang, vLLM, TensorRT-LLM, and CUDA tooling, with a focus on scalable, cost-efficient inference on customer workloads. xlwpduy
Per questa posizione sono disponibili opzioni di lavoro a distanza/a casa.
Se sta pensando di inviare una candidatura, si ricordi di premere il pulsante apposito dopo aver letto l'intera descrizione.
You will improve throughput, latency, and cost per token across multi-GPU clusters, shaping the technical direction with data-driven experiments.
Your work spans production-grade Python services, tuning SGLang, vLLM, TensorRT-LLM, and CUDA tooling, with a focus on scalable, cost-efficient inference on customer workloads. xlwpduy
Per questa posizione sono disponibili opzioni di lavoro a distanza/a casa.