Large Language Model Engineer - AI & Human Health Research

Descripción Buscamos a un experto ingeniero de LLM I para unirse a nuestro equipo en el laboratorio de seguridad de SinAI. El Ingeniero LLM desempeñará un papel clave en el diseño, la construcción y el despliegue de aplicaciones de modelos de lenguaje (LLM), incluyendo sistemas de generación aumentada de recuperación (RAG), plataformas de agentes y chatbots clínicos, y será responsable de diseñar, mantener y optimizar la infraestructura de datos y los sistemas de validación de modelos que aseguren que todos los sistemas de IA, Generativos y No Generantes, sean implementados en todo el sistema riguroso de seguridad de pacientes. Trabajará estrechamente con equipos de productos AI, actores clínicos y técnicos, ingenieros de DevOps y el Comité de Gobernanza AI para diseñar flujos de datos escalables que apoyen la validación del modelo, monitoreo en tiempo real y el Ingeniero de Aprendizaje de Máquinas Yo seré el principal responsable de contribuir al desarrollo y mejora de aplicaciones y sistemas de aprendizaje automático. Trabajarán estrechamente con otros ingenieros y científicos de datos para diseñar e implementar sistemas escalables y eficientes de aprendizaje automático. Responsabilidades Ingeniería General de Datos • Construir y mantener sólidos oleoductos ETL para datos clínicos estructurados y no estructurados de EHR, imágenes y fuentes de texto. • Sistemas de diseño para automatizar la preparación de datos, el rastreo de linaje y la reproducibilidad para entradas y salidas modelo AI. • Desarrollar infraestructuras de datos para modelos de referencia y pruebas de estrés en entornos de simulación clínica. • Colaborar con los equipos DevOps y cloud para asegurar que los oleoductos de implementación cumplan con las normas de cumplimiento y rendimiento. • Establecer y supervisar infraestructura de seguimiento de modelos para las métricas de evaluación y detección de la deriva. • Ayuda en el desarrollo de estándares y procedimientos que afectan la gestión, diseño y mantenimiento de datos. Documenta todas las normas y procedimientos. AI Assurance " Governance • Ingeniero y mantenimiento de oleoductos que apoyen la validación del modelo anterior al despliegue y la vigilancia posterior al despliegue. • Colaborar con Científicos de Datos y Propietarios de Productos Clínicos para validar la integridad de los datos, la reproducibilidad y la equidad en los flujos de trabajo de IA. • Asegurar el cumplimiento de HIPAA, directrices éticas y políticas de gobernanza institucional sobre el uso de datos sanitarios sensibles. • Construir paneles y herramientas que proporcionen observabilidad en el ciclo de vida ML: datos, modelos, resultados. LLM Engineering & Applied Generative AI • Diseñar, construir y desplegar aplicaciones propulsadas por LLM incluyendo chatbots clínicos, copilotos y herramientas de apoyo a decisiones para usuarios finales en MSHS. • Desarrollar oleoductos de generación aumentada (RAG) que integren bases de datos vectoriales con fuentes de conocimiento clínico, datos EHR y documentos institucionales. • Construir plataformas y flujos de trabajo multiagent utilizando marcos como LangChain, LlamaIndex, LangGraph, CrewAI, o equivalente, incluyendo uso de herramientas, llamada de funciones y lógica de orquestación. • Operacionalizar el despliegue de LLM, incluyendo la optimización de la inferencia, latencia y la afinación de costes, servicio de modelo (por ejemplo, Azure), e integración de los guardias de seguridad. • Implementar flujos de trabajo de ingeniería rápida, versión rápida y evaluación rápida estructurada a través de proveedores y versiones modelo. • Modelos de fundición finos y adaptados (completo de ajuste, LoRA/PEFT, afinación de instrucciones) a casos de uso clínico y operativo cuando corresponda. • Construir los arnés de evaluación de LLM que cubren la precisión, alucinación, seguridad, sesgo, sicofancia y idoneidad clínica, con el tratamiento rojo y el análisis de estrés de los sistemas desplegados. Participación de los interesados " Otros • Difundir eficazmente los hallazgos técnicos relacionados con la integridad de modelos e datos a los equipos de gobernanza, los actores clínicos y el liderazgo. • Mantener documentación clara y bien organizada de flujos de trabajo de datos, arquitectura de plataformas y procesos de validación. • Ayuda a escribir informes internos sobre la resiliencia de la infraestructura de datos, estado del sistema de validación y riesgo operativo. • Manténgase informado sobre las mejores prácticas de la industria en ingeniería de datos y aprendizaje automático centrado en la salud. • Posee una actitud extremadamente flexible. Voluntad de trabajar con múltiples tipos de tecnologías e idiomas con una mente abierta y sin bia tecnológica • Interés continuo en la actualización de conjuntos de habilidades y conocimiento de las tendencias en el espacio Big Data Technology. • Trabajar estrechamente con equipos interfuncionales, incluyendo científicos de datos, proveedores de atención médica y profesionales de TI para entender los requisitos de datos, desarrollar soluciones y apoyar la toma de decisiones basada en datos. • Otras tareas asignadas Requisitos de calificación • Licenciado en Ciencias de la Computación, Estadísticas, Matemáticas o campo relacionado. • Conocimiento de al menos un lenguaje de programación entre Scala, Python, Java, C, o C++. • Conocimiento de las grandes tecnologías de datos (por ejemplo, Hadoop, Spark) • Conocimiento de Desarrollo de Software Lifecycle. • Auto-motivado con una capacidad demostrada para trabajar independientemente, y para ejercer un juicio independiente en el desarrollo de técnicas o programas complejos en un entorno dinámico. • Actúa como principal contribuyente en la elaboración y puesta en práctica de cuatro aplicaciones diferentes. • Jugar un papel técnico clave en el mantenimiento de los productos desplegados • Comprensión de algoritmos de aprendizaje automático ( algoritmos ML supervisados y no supervisados). • Familiaridad con SQL u otros lenguajes de bases de datos. Preferencia: • Máster en una disciplina cuantitativa (por ejemplo, Estadísticas, Investigación de Operaciones, Bioinformática, Economía, Biología Computacional, Ciencias de la Computación, Tecnología de la Información, Matemáticas, Física) o experiencia práctica equivalente • 2 años de experiencia en ingeniería de datos, ingeniería de software o aprendizaje automático. • Proficiente en Python y SQL • Competencia en al menos una plataforma de computación en la nube (por ejemplo, AWS, Azure, GCP) • Conocimiento intermedio del aprendizaje automático • Familiaridad con herramientas de gestión del ciclo de vida ML (por ejemplo, MLflow, Kubeflow, Airflow) • Experiencia en el despliegue y puesta en funcionamiento de sistemas ML • Experiencia con herramientas de monitoreo para el seguimiento de modelos AI • Comprensión de los principios de DevOps, tuberías CI/CD y contenedorización (por ejemplo, Docker, Kubernetes) • Experiencia con sistemas de control de versiones (por ejemplo, Git) Conocimiento de las grandes tecnologías de datos (por ejemplo, Hadoop, Spark) • Construcción de experiencias a mano e implementación de aplicaciones basadas en LLM en la producción (chatbots, copilotos, summarization, Q PulA o herramientas de apoyo a decisiones). • Experiencia de diseño e implementación de arquitecturas de generación aumentada (RAG), incluyendo estrategias de retorcido, modelos de incrustación y bases de datos vectoriales (por ejemplo, Pinecone, Weaviate, FAISS, pgvector, Milvus). • Experiencia con marcos y bibliotecas de orquestación (p. ej., LangChain, LlamaIndex, LangGraph, CrewAI, AutoGen, Kernel Semántico) incluyendo llamadas de herramientas/función y flujos de trabajo multiagente. • Experiencia construyendo sistemas de conversación AI / chatbot, incluyendo la gestión del estado de diálogo, la memoria y la integración con sistemas empresariales. • Familiaridad con el modelo de fundación API y SDKs (por ejemplo, OpenAI, Antropopic, Google, Azure OpenAI, AWS Bedrock) y familias modelo de peso abierto (por ejemplo, Llama, Mistral, Qwen, Gemma). • Conocimientos de ingeniería rápida, evaluación rápida y herramientas de observabilidad/evaluación LLM (por ejemplo, LangSmith, Langfuse, Arize, Ragas, DeepEval). • Familiaridad con técnicas de ajuste fino y modelo (p. ej., ajuste fino supervisado, LoRA/QLoRA, PEFT, ajuste de instrucciones, RLHF/DPO) y pilas de servicio (p. ej., vLLM, TGI, Triton). • Sensibilización de las prácticas de seguridad, vigilancia y evaluación de LLM (alucinación, sesgo, sicofancia, resistencia a las interrupciones de la cárcel) — experiencia con la evaluación específica de la salud es un plus. • Fuertes habilidades para resolver problemas y capacidad para trabajar en equipos multifuncionales Empleador Descripción Fuerza a través de Unidad e Inclusión El Sistema de Salud del Monte Sinaí se compromete a fomentar un entorno donde todos puedan contribuir a la excelencia. Compartimos una dedicación común a la prestación de cuidados pacientes excepcionales. Cuando te unes a nosotros, te conviertes en parte del legado sin precedentes del Monte Sinaí de logros, educación e innovación mientras trabajamos juntos para transformar la salud. Alentamos a todos los miembros del equipo a participar activamente en la creación de una cultura que garantice el acceso justo a las oportunidades, promueva prácticas inclusivas y apoye el éxito de cada individuo. En el Monte Sinaí, nuestros líderes están comprometidos a fomentar un lugar de trabajo donde todos los empleados se sientan valorados, respetados y habilitados para crecer. Nos esforzamos por crear un ambiente donde la colaboración, la equidad y el aprendizaje continuo impulsan cambios positivos, mejorando el bienestar de nuestro personal, pacientes y organización. Se espera que nuestros líderes desafieran las prácticas obsoletas, promuevan una cultura de respeto y trabajen para mejorar significativamente la atención del paciente y las experiencias laborales. Estamos dedicados a construir un ambiente propicio y acogedor donde todos tengan la oportunidad de prosperar y avanzar profesionalmente. Explore esta oportunidad y forme parte del próximo capítulo de nuestra historia. Acerca del Sistema de Salud del Monte Sinaí: Mount Sinai Health System es uno de los mayores sistemas médicos académicos de la zona metropolitana de Nueva York, con más de 48.000 empleados que trabajan en ocho hospitales, más de 400 prácticas ambulatorias, más de 300 laboratorios, una escuela de enfermería y una escuela de medicina y educación de posgrado. El Monte Sinaí promueve la salud para todas las personas, en todas partes, asumiendo los desafíos más complejos de atención de la salud de nuestro tiempo, descubriendo y aplicando nuevos conocimientos científicos; desarrollando tratamientos más seguros y eficaces; educando a la próxima generación de líderes e innovadores médicos; y apoyando a las comunidades locales prestando atención de alta calidad a todos los que lo necesitan. Mediante la integración de sus hospitales, laboratorios y escuelas, Mount Sinai ofrece soluciones integrales de atención de la salud desde el nacimiento a través de geriátricos, aprovechando enfoques innovadores como la inteligencia artificial y la informática, manteniendo las necesidades médicas y emocionales de los pacientes en el centro de todo tratamiento. El Sistema de Salud incluye a más de 9.000 médicos de atención primaria y especial; 13 centros de cirugía ambulatoria de apertura conjunta en los cinco distritos de Nueva York, Westchester, Long Island y Florida; y más de 30 centros comunitarios de salud afiliados. Estamos constantemente clasificados por los Mejores Hospitales del Informe Mundial de los EE.UU., recibiendo un alto estado de "Honor Roll", y están altamente clasificados: No 1 en Geriatrics, top 5 en Cardiología/Cirugía del Corazón, y top 20 en Diabetes/Endocrinología, Gastroenterología/Cirugía del IG, Neurología/Neurosurgiría, Ortopedia, Pulmonología y Rehabilitación pulmonar. La enfermería de ojos y oídos de Nueva York del Monte Sinaí ocupa el puesto No 12 en Oftalmología. El “Mejor Hospitales Infantiles” del Informe Mundial de Estados Unidos clasifica al Hospital Infantil Mount Sinai Kravis entre las mejores especialidades pediatras del país. La Escuela de Medicina de Icahn en el Monte Sinaí ocupa el puesto No 11 en todo el país en los Institutos Nacionales de Salud y en el percentil 99 en dólares de investigación por investigador según la Asociación de Colegios Médicos Americanos. Los mejores hospitales inteligentes del mundo de Newsweek clasifican el hospital Mount Sinai como el número 1 de Nueva York y en los cinco primeros de todo el mundo, y el monte Sinai Morningside en los 20 mejores de todo el mundo. Empleador de igualdad de oportunidades The Mount Sinai Health System is an equal opportunity employer, complying with all applicable federal civil rights laws. No discriminamos, excluimos o tratamos a las personas de manera diferente basada en la raza, el color, el origen nacional, la edad, la religión, la discapacidad, el sexo, la orientación sexual, el género, la condición de veterano o cualquier otra característica protegida por la ley. Estamos profundamente comprometidos a fomentar un muelle ambiental