Senior ML Inference Engineer - Remote, Equity
Cast AI, a Miami-headquartered, globally distributed team, seeks an experienced ML systems engineer to own inference stack optimization.
Scorra verso il basso per una panoramica approfondita di questo lavoro e dei requisiti per i candidati. Invii la sua candidatura facendo clic sul pulsante "Candidati".
You will improve throughput, latency, and cost per token across multi-GPU clusters, shaping the technical direction with data-driven experiments.
Your work spans production-grade Python services, tuning SGLang, vLLM, TensorRT-LLM, and CUDA tooling, with a focus on scalable, cost-efficient inference on customer workloads. xuwxies
Per questa posizione sono disponibili opzioni di lavoro a distanza/a casa.
Scorra verso il basso per una panoramica approfondita di questo lavoro e dei requisiti per i candidati. Invii la sua candidatura facendo clic sul pulsante "Candidati".
You will improve throughput, latency, and cost per token across multi-GPU clusters, shaping the technical direction with data-driven experiments.
Your work spans production-grade Python services, tuning SGLang, vLLM, TensorRT-LLM, and CUDA tooling, with a focus on scalable, cost-efficient inference on customer workloads. xuwxies
Per questa posizione sono disponibili opzioni di lavoro a distanza/a casa.