Senior IA Inference Engineer (x/f/m)

## Set a new pulse for healthcare Nous recherchons un ou une Senior Inference Engineer pour rejoindre l'équipe ML Platform (TIGER), au sein de AI & Machine Learning. La mission consiste à faire fonctionner les produits de santé pilotés par l'IA de Doctolib — de Consultation Assistant à Phone Assistant et Health Companion — en prenant en charge la plateforme de serving de LLM auto-hébergée qui garde les données patient les plus sensibles dans une infrastructure contrôlée par Doctolib. Il s'agit de construire et d'opérer les fondations partagées sur lesquelles s'appuie chaque équipe produit IA : déployer, régler et faire monter en charge des modèles open-weight sur la flotte de GPU. ## Ce que vous ferez - Construire les fondations partagées de serving LLM avec les ingénieurs MLOps : définir la stack de serving, la planification de capacité GPU et l'automatisation de déploiement pour des modèles open-weight (Gemma, Mistral, Llama, Qwen, et leurs variantes fine-tunées) sur Ray Serve / Anyscale, en orientant l'évolution vers une orchestration basée sur Kubernetes. - Posséder le registre de modèles et le chemin de promotion : établir des processus clairs de versionnage, de validation et de promotion des modèles en production, benchmarker la performance et la qualité des sorties en conditions réalistes. - Optimiser la performance et l'efficacité de l'inférence : opérer et régler des moteurs de serving (vLLM, Triton Inference Server, TensorRT-LLM) pour réduire le time-to-first-token, la latence inter-token et le coût par token, via batching, caching, quantization et stratégies de parallélisme sur la flotte GPU (L4 à H200). - Garantir la fiabilité en production et le disaster recovery : définir les SLO, exécuter des tests de charge avant les mises en production, mettre en œuvre des rollouts et rollbacks sûrs ainsi que l'autoscaling, et participer à l'astreinte et à la réponse aux incidents. - Rendre mesurables la performance et les coûts de serving : construire des dashboards et alertes Datadog ainsi que le reporting de coûts pour suivre la latence, l'utilisation GPU et la dépense d'inférence. - Garder la stack d'inférence sécurisée, conforme et en évolution : travailler avec les équipes Sécurité et Confidentialité sur l'isolement réseau, la résidence des données et l'auditabilité, tout en évaluant en continu de nouveaux modèles et moteurs de serving (comme SGLang) et de nouvelles générations de GPU. ## Profil recherché - 5 ans ou plus d'expérience en ingénierie logicielle, incluant une expérience de production concrète avec au moins un moteur de serving LLM (vLLM, SGLang, TensorRT-LLM, TGI ou Triton), idéalement en ayant choisi, introduit, réglé ou fait monter en charge un de ces moteurs en production. - Maîtrise de Python et de Terraform, avec une solide compréhension de la mécanique d'inférence des transformeurs : prefill vs decode, KV cache, stratégies de batching. - Expérience solide des workloads GPU sur Kubernetes ou une plateforme Ray / Anyscale managée, avec une approche d'ingénierie de la performance : benchmarks reproductibles, lecture de profiler, décisions appuyées sur des chiffres. - Aisance avec la fiabilité en production : observabilité, réponse aux incidents et astreinte font naturellement partie du rôle. (Description source tronquée par la plateforme d'origine.)