Ingeniero de Software Líder - Databricks

Ser parte integral de un equipo ágil que está constantemente empujando el sobre para mejorar, construir y entregar productos de tecnología de primera mano. Como ingeniero de software líder-Databricks en JPMorgan Chase dentro del equipo Enterprise Technology de nuestro Sector Corporativo, usted es una parte integral de un equipo ágil que trabaja para mejorar, construir y entregar productos de tecnología líderes en el mercado de manera segura, estable y escalable. Como contribuyente técnico básico, usted es responsable de llevar a cabo soluciones tecnológicas críticas en múltiples áreas técnicas dentro de diversas funciones empresariales en apoyo de los objetivos de negocio de la firma. Funciones de empleo • Lidera la arquitectura y la entrega de oleoductos de datos de alto rendimiento y baja potencia en Databricks utilizando Apache Spark (Core, SQL, Structured Streaming), rendimiento de conducción, fiabilidad y escalabilidad. • Establecer y evolucionar patrones de Lakehouse con Delta Lake (operaciones de CAID, evolución de esquemas, viajes de tiempo, orden Z, compactación) para asegurar plataformas de datos performant y mantenibles a escala. • Estrategia y configuración propia del cluster Databricks, incluyendo selección de tiempo de ejecución, autoescalamiento, tamaño de controlador/ejecutor, configuraciones Spark, scripts init, políticas de racimo, piscinas y perfiles de instancia. • Orquesta y automatización de tuberías y empleos utilizando Databricks Workflows, integrando con los servicios de orquestación y evento AWS según sea necesario. • Diseño de marcos de ingestión y transformación seguros aprovechando los servicios de Databricks, incluyendo Delta o diseño de mesa no gestionado, creación de tareas de ingestión, y Airflow DAGs para producir conjuntos de datos confiables y refinados. • Fortalecer la calidad, el linaje y la gobernanza de los datos utilizando el catálogo Unity y/o el catálogo AWS Glue, incorporando las expectativas y validación directamente en los oleoductos. • Drive Spark and Databricks performance engineering and tuning (partitioning and file sizing, AQE, broadcast joins, shuffle tuning, caching, spill/memory control, job right-sizing, and liquid clustering/partitioning keys) to optimize cost and throughput. • Construir y mantener bibliotecas, marcos y API reutilizables en Python y/o Java, asegurando una fuerte cobertura de unidad, integración y validación de datos. • Implementar CI/CD para proyectos de datos utilizando flujos de trabajo basados en Git, implementaciones de infraestructura basadas en Terraform y promoción del medio ambiente, y lanzamientos automatizados; estándares de ingeniería campeones, revisiones de códigos y prácticas de ingeniería autorizadas por la empresa (por ejemplo, revisión/refactorización de códigos, aceleración de pruebas y análisis de incidencias/causas) con una validación consistente (codificación segura, revisión por pares, pruebas automatizadas) y reutilización. • Impulsa la adopción por equipo de prácticas de ingeniería autorizadas por la empresa dentro del entorno de trabajo para mejorar la calidad del código, la velocidad de entrega y los resultados operacionales (por ejemplo, revisión/refactorización de códigos con ayuda de la IA, aceleración de la estrategia de prueba, apoyo de análisis de incidencias/causas), al tiempo que establece normas de validación coherentes (coding seguro, revisión por pares, pruebas automatizadas) y promover la reutilización de patrones eficaces en todo el equipo. • Aplica conocimiento de herramientas dentro de la cadena de herramientas del Ciclo de Vida de Software, incluyendo capacidades de desarrollo y automatización respaldadas por la empresa, para mejorar el valor realizado por la automatización. calificaciones, capacidades y habilidades necesarias • Formación formal o certificación sobre conceptos de ingeniería de software y experiencia aplicada de 5+ años. • Experiencia avanzada en ingeniería de software e ingeniería de datos, incluyendo entrega significativa de producción con Apache Spark en Databricks y/o AWS EMR. • Conocimiento avanzado de Databricks a través de Delta Lake, Unity Catalog, Workflows, Repos/notebooks y SQL Warehouses, incluyendo configuración y optimización de clusters. • Probada capacidad para arquitecto, construir y operar tuberías de datos ETL/ELT confiables (batch y streaming), incluyendo diseño de esquemas/evolución, SLAs y prácticas de ingeniería de confiabilidad. • Destrezas de ajuste de rendimiento de Spark profundas, con experiencia diagnosticando cuellos de botella y optimizando empleos para escalabilidad, coste y eficiencia de tiempo de ejecución. • Competencia de programación sólida en Python y/o Java para el procesamiento de datos, herramientas de plataforma y automatización. • Fuerte experiencia de modelado de datos SQL y analítica, incluyendo el diseño de esquemas dimensional/estrella y las mejores prácticas de Lakehouse. • Experiencia demostrada que conduce al uso efectivo de herramientas de desarrollo de software aprobadas con ayuda de inteligencia artificial (codificación, revisión de códigos, aceleración de pruebas, solución de problemas), incluyendo el establecimiento de expectativas de equipo y estándares de validación para la corrección, rendimiento y seguridad de los productos de inteligencia artificial. • Una sólida mentalidad de ingeniería responsable y de seguridad, que incluye la sensibilización sobre la sensibilidad de los datos, el manejo seguro de los insumos y salidas, los perfiles de roles/instances, la gestión de secretos, el cifrado en el descanso/en tránsito, los controles de red y la adhesión a las expectativas de resiliencia y seguridad; los equipos de capacitación de experiencias sobre adopción segura y coherente dentro de las prácticas de entrega. • Experiencia demostrada que conduce al uso eficaz de herramientas de desarrollo de software aprobadas con ayuda de IA (por ejemplo, para codificación, revisión de códigos, aceleración de pruebas, solución de problemas) con la capacidad de establecer expectativas de equipo para validar salidas de IA para la corrección, rendimiento y seguridad. • Comprensión fuerte del uso responsable de la IA en los flujos de trabajo de ingeniería, incluyendo las consideraciones de sensibilidad de datos, manejo seguro de insumos/recursos, y adherencia a las expectativas de resiliencia y seguridad; ingenieros de experiencia en la adopción segura y coherente dentro de las prácticas de entrega calificaciones, capacidades y habilidades preferidas • Experiencia con tablas Delta Live y gobernanza avanzada (catalogs, subvenciones, auditoría) en Databricks. • Conocimientos de redes AWS (VPC, subnets, enrutamiento, grupos de seguridad) y controles de egreso de datos. • Experiencia con Terraform para implementaciones Infra • Experiencia de optimización de costes: estrategias de autoescalamiento, spot vs a demanda, auto-terminación, diseños de almacenamiento y compactación. • Familiaridad con el flujo de aire, Genie, Streamlit y React • Observabilidad de los sistemas de datos (freshness/completeness metrics, lineage, SLAs, alerting). • Liderazgo demostrado en calidad de código, opiniones, estrategia de prueba, CI/CD y mentoría técnica; excelente comunicación con los interesados.