Ingeniero Jefe de IA - Bengaluru, INDIA
Tiempo completo • Hybrid - US
Puesto: Ingeniero Jefe de IA - Bengaluru, INDIA
Tiempo completo
*Consultores locales solo en la INDIA
Responsabilidades principales:
Este puesto se centra en construir aplicaciones de IA listas para producción y desplegarlas en Azure Databricks e infraestructura cloud de Azure. Trabajarás de principio a fin: desde la ingestión de datos e integración de modelos hasta el despliegue escalable, la monitorización y la optimización continua.
La expectativa es convertir las ideas de IA en aplicaciones fiables, reguladas y rentables que funcionen en producción. Diseñarás pipelines de datos e IA, integrarás modelos (incluyendo ML e IA generativa) y los desplegarás usando flujos de trabajo de Databricks y servicios nativos de Azure.
El éxito en este puesto requiere una sólida experiencia práctica con Azure Databricks, Python, SQL y servicios Azure, junto con una comprensión clara de cómo fallan los sistemas de IA en producción y cómo prevenirlo. Colaborarás estrechamente con científicos de datos, ingenieros de plataformas y partes interesadas del negocio para garantizar que las aplicaciones de IA sean utilizables, escalables y mantenibles más allá de la primera versión.
Responsabilidades clave
- Diseñar y construir pipelines de datos e IA de extremo a extremo usando Azure Databricks.
- Desarrolla flujos de trabajo robustos de ETL/ELT usando Python (PySpark) y SQL.
- Implementa pipelines CI/CD para despliegues de Databricks (trabajos, notebooks, flujos de trabajo).
- Integra Databricks con los servicios de Azure (Data Lake, Blob Storage, Key Vault, Azure OpenAI, Azure Functions, etc.).
- Optimiza los trabajos para rendimiento, coste y fiabilidad.
- Crea código modular y reutilizable.
- Colaborar con científicos de datos y equipos de plataforma para pasar de la experimentación a la producción.
- Implementa registros, monitorización y gestión de errores para las canalizaciones de producción.
- Desarrollar y desplegar modelos de ML e IA generativa (LLMs, embeddings, pipelines RAG) para PLN, visión por ordenador y análisis predictivo.
- Afinar los LLMs usando LoRA/QLoRA e integrar con Azure OpenAI o modelos Hugging Face.
- Implementa pipelines de búsqueda y recuperación vectorial usando FAISS o Azure Cognitive Search.
- Garantizar prácticas responsables de IA, incluyendo la detección de sesgos y la gobernanza de modelos.
Bueno de tener (Fuerte ventaja)
- Experiencia con cargas de trabajo de ML e IA generativa en Databricks.
- RAG, embeddings o pipelines de inferencia.
- Terraform / ARM / Bicep para infraestructura.
- Paquetes de activos de Databricks.
- Orquestación Airflow o ADF.
- Experiencia en monitorización de producción y optimización de costes.
- Conocimiento de LangChain u marcos similares para el desarrollo de aplicaciones de IA.
- Experiencia con servicios de IA Azure (Azure Machine Learning, Azure Cognitive Services).
Requisitos
- Azure Databricks (trabajos, flujos de trabajo, clústeres, Unity Catalog preferido).
- Python (con mucha PySpark, no solo pandas).
- SQL (uniones complejas, funciones ventana, consultas analíticas).
- Azure Cloud (ADLS Gen2, ADF, Key Vault, IAM concepts).
- Orquestación y despliegue de pipelines (CI/CD, promoción del entorno).
- Azure DevOps.
- Sólido conocimiento del ciclo de vida del ML y de las mejores prácticas de MLOps.
- Experiencia con despliegue de modelos usando MLflow o marcos similares.
Opciones flexibles de teletrabajo disponibles.
Somos un empleador con igualdad de oportunidades y todos los candidatos calificados recibirán consideración por el empleo sin distinción de raza, color, religión, sexo, origen nacional, estado de discapacidad, estado de veterano protegido o cualquier otra característica protegida por la ley.