Senior IA Inference Engineer (x/f/m)

## Contexte Équipe ML Platform (TIGER), au sein de AI & Machine Learning chez Doctolib. Le poste consiste à opérer la plateforme de serving des LLM auto-hébergés qui garde les données patient les plus sensibles au sein de l'infrastructure contrôlée par Doctolib, au service de produits comme Consultation Assistant, Phone Assistant et Health Companion. ## Missions - Construire les fondations de serving LLM partagées avec les ingénieurs MLOps : stack de serving, planification de capacité GPU, automatisation du déploiement de modèles open-weight (Gemma, Mistral, Llama, Qwen et leurs variantes fine-tunées) sur Ray Serve / Anyscale, en visant une évolution vers une orchestration Kubernetes - Détenir le registre de modèles et le chemin de promotion : versioning, validation et promotion des modèles en production, benchmark de performance et de qualité sous charge réaliste - Optimiser la performance et l'efficacité d'inférence : opérer et ajuster des moteurs de serving (vLLM, Triton Inference Server, TensorRT-LLM) pour réduire la latence et le coût par token (batching, caching, quantization, parallélisme) sur une flotte GPU allant du L4 au H200 - Garantir la fiabilité en production et le plan de reprise : définir des SLO, mener des tests de charge, mettre en œuvre des déploiements et rollbacks sûrs, de l'autoscaling, et participer à l'astreinte et à la réponse aux incidents - Rendre mesurables la performance et les coûts de serving : tableaux de bord Datadog, alerting, suivi des coûts d'inférence - Maintenir la sécurité, la conformité et l'évolution de la stack d'inférence : travail avec les équipes Sécurité et Privacy sur l'isolation réseau, la résidence des données et l'auditabilité ## Profil recherché - 5 ans et plus d'expérience en ingénierie logicielle, avec une expérience hands-on en production d'au moins un moteur de serving LLM (vLLM, SGLang, TensorRT-LLM, TGI ou Triton) - Maîtrise de Python et Terraform, bonne compréhension des mécanismes d'inférence des transformers (prefill vs decode, cache KV)