H-1BEmpresa con historial de patrocinio ante el gobierno
REG. 6339852
Gerente de Ingeniería de IA (Pruebas)
VOCALINK, INC.
- Lugar: O'Fallon, MO
- Área: Tecnologia
- Visa probable: H-1B
- Empleo visto por última vez el 25/7/2026
Puesto de gestión en ingeniería de IA en O'Fallon, MO en VOCALINK, INC.
Cuenta gratis — el contacto y el enlace oficial del empleo están en el portal.
Descripción del empleo
Traducción automática del anuncio original del empleador.
Nuestro propósito
Mastercard potencia las economías y potencia a las personas en 200 países y territorios de todo el mundo. Junto con nuestros clientes, estamos ayudando a construir una economía sostenible donde todos puedan prosperar. Apoyamos una amplia gama de opciones de pagos digitales, haciendo que las transacciones sean seguras, sencillas, inteligentes y accesibles. Nuestra tecnología e innovación, asociaciones y redes se combinan para ofrecer un conjunto único de productos y servicios que ayuden a las personas, empresas y gobiernos a realizar su mayor potencial.
Título y resumen
Manager, AI Engineering (Tester )
Mastercard's Business & Market Insights (B plagaMI) ofrece soluciones de inteligencia y de inteligencia fronteriza sin igual que ayudan a las organizaciones a tomar decisiones más inteligentes, rápidas y impactantes. Actualmente estamos buscando un equipo de inteligencia artificial para el Programa de Inteligencia Operacional dentro de B pacienteMI. Se trata de una posición de liderazgo altamente especializada y práctica dedicada a asegurar que nuestros sistemas Generative AI, LLM y agentes sean precisos, seguros, fiables y listos para la empresa. Este papel llevará a cabo actividades de ingeniería de calidad AI —definiendo marcos de evaluación, estrategias de teledifusión roja y puertas de calidad LLMOps—, al tiempo que fomenta una cultura de pruebas de IA rigurosas de primera clase en todo el programa.
Funciones y responsabilidades:
• Design and own end-to-end LLM evaluation frameworks — including automatically prompt regression pipelines, output scoring, semantic benchmarking, and alucination detection across model versions and prompt variations.
• Construir suites de pruebas integrales para sistemas de IA agentes — validar la selección de herramientas, coordinación interagente, descomposición de tareas, finalización de objetivos y manejo de fallos a través de flujos de trabajo de razonamiento multi-paso.
• Desarrollar marcos de evaluación del oleoducto RAG evaluando la precisión de recuperación, la relevancia torcida, la fidelidad del contexto, las tasas de respuesta y alucinación utilizando herramientas como RAGAS, TruLens y DeepEval.
• Realizar ejercicios de análisis estructurados y contradictorios dirigidos a inyección rápida, cortes de cárceles, fugas de datos, envenenamiento por contexto y manipulación de modelos: construir y mantener una biblioteca de pruebas contradictoria en evolución.
• Ejecutar las auditorías de equidad, parcialidad y IA responsable: pruebas de sesgo demográfico, skew sentimental, brechas de representación y validar mecanismos de explicabilidad, citas y precisión de la confianza.
• Diseñe y ejecute parámetros de rendimiento de la inferencia: medición de latencia, rendimiento, y degradación bajo carga máxima y ejecute las puertas de calidad de LLM dentro de los oleoductos CI/CD sobre Databricks (AWS).
• Construir tuberías de monitoreo de producción y detección de derivas rastreando la deriva de salida semántica, incrustando cambios, degradación de recuperación y comportamientos de agentes anómalos utilizando herramientas de observabilidad (Grafana, Datadog, CloudWatch).
• Definir la hoja de ruta y estándares de calidad para el programa, estableciendo métricas de evaluación, opciones de herramientas y prácticas de documentación en todos los flujos de trabajo de Gen AI.
• Colaborar con ingenieros de Gen AI, ingenieros de ML y actores de productos para incrustar la calidad desde el primer día: revisar arquitecturas rápidas, diseños de agentes y flujos de trabajo del sistema para la testabilidad y el riesgo.
• Investigación continua y adopción de puntos de referencia de evaluación de fronteras (RAGAS, MMLU, TruthfulQA, MT-Bench) y metodologías emergentes de pruebas de IA para mantener prácticas de calidad en el borde de corte.
Todo sobre ti:
• Master's/Bachelor's degree in Computer Science, AI/ML, o Software Engineering, con una experiencia práctica considerable liderando programas de ingeniería de calidad AI/ML o pruebas LLM en entornos de producción.
• Demonstrated expertise testing LLM and Gen AI systems — including prompt testing, output evaluation, alucination detection, RAG pipeline assessment, and agentic workflow validation in real production settings.
• Conocimiento profundo de los marcos de evaluación de IA y herramientas: RAGAS, DeepEval, TruLens, LangSmith, PromptFlow, Weights & Biases Evals, o plataformas equivalentes.
• Fuerte comprensión de los modos de falla de Gen AI: alucinación, inyección rápida, fallas de retrieval, deriva contextual, fallas de lazo de agente, y métodos probados para la superficie y documentarlos sistemáticamente.
• Habilidades de programación de Python fuertes con la capacidad de construir scripts de automatización de pruebas, oleoductos de evaluación y pruebas de integración a nivel de API.
• Conocimiento de los ecosistemas LLM — OpenAI, Antrópico, Hugging Face, LangChain/LangGraph — suficiente para entender el comportamiento modelo, la estructura rápida y la arquitectura de agente lo suficientemente profunda como para probarlos rigurosamente.
• Familiaridad con oleoductos MLOps/LLMOps (MLflow, Databricks, SageMaker) y experiencia integrando puertas de calidad automatizadas en flujos de trabajo CI/CD para sistemas AI.
• Experiencia con infraestructura de IA en la nube (AWS, Azure o GCP) y herramientas de observabilidad para monitorear el comportamiento del sistema IA en vivo y la calidad de salida en la producción.
• Capacidades analíticas, de comunicación y de gestión de los interesados, con la capacidad de traducir patrones complejos de falla de IA en evaluaciones de riesgo claras y recomendaciones de remediación para audiencias técnicas y empresariales.
Mastercard es un empleador basado en méritos, inclusivo, de igualdad de oportunidades que considera a los solicitantes sin tener en cuenta el género, la identidad de género, la orientación sexual, la raza, la etnia, la condición de discapacitados o veteranos, o cualquier otra característica protegida por la ley. Contratamos al candidato más calificado para el papel. En EE.UU. o Canadá, si necesita alojamiento o asistencia para completar el proceso de solicitud en línea o durante el proceso de contratación, por favor contacte con [contacto en el portal] e identifique el tipo de alojamiento o asistencia que solicita. No incluya información médica o de salud en este correo electrónico. El equipo de Alojamientos Razonables responderá rápidamente a su correo electrónico.
Responsabilidad de la seguridad empresarial
Todas las actividades relacionadas con el acceso a los activos, la información y las redes de Mastercard conllevan un riesgo inherente a la organización y, por lo tanto, se espera que toda persona que trabaje o en nombre de Mastercard sea responsable de la seguridad de la información y debe:
• Abierta por las políticas y prácticas de seguridad de Mastercard;
• Asegurar la confidencialidad y la integridad de la información a la que se accede;
• Informar cualquier violación o violación de la seguridad de la información sospechosa, y
• Completar todos los entrenamientos periódicos obligatorios de seguridad de acuerdo con las directrices de Mastercard.
De acuerdo con la filosofía de compensación total de Mastercard y asumiendo que el trabajo se realizará en los EE.UU., el candidato exitoso se ofrecerá un salario base competitivo y puede ser elegible para un bono anual o comisiones dependiendo del papel. El salario base ofrecido puede variar dependiendo de múltiples factores, incluyendo pero no limitado a la ubicación, conocimientos relacionados con el trabajo, habilidades y experiencia. Los beneficios de Mastercard por tiempo completo (y cierto tiempo parcial) empleados generalmente incluyen: seguros (incluidos medicamentos médicos, medicamentos recetados, dentales, visión, discapacidad, seguro de vida); cuenta de gasto flexible y cuenta de ahorro de salud; hojas pagadas (incluyendo 16 semanas de licencia de padres nuevos y hasta 20 días de licencia de bereavement); 80 horas de Paid Sick and Safe Time, 25 días de vacaciones y 5 días personales, prorated basado en la fecha de pago de pago. Los beneficios de Mastercard para pasantes generalmente incluyen: 56 horas de tiempo libre y en tiempo seguro; licencia de jurado; y instalaciones de fitness in situ en algunos lugares.
Gamas de pago
O'Fallon, Missouri: $140,000 - $231,000 USD
Ver el texto original en inglés
Our Purpose
Mastercard powers economies and empowers people in 200+ countries and territories worldwide. Together with our customers, we’re helping build a sustainable economy where everyone can prosper. We support a wide range of digital payments choices, making transactions secure, simple, smart and accessible. Our technology and innovation, partnerships and networks combine to deliver a unique set of products and services that help people, businesses and governments realize their greatest potential.
Title and Summary
Manager, AI Engineering (Tester )
Mastercard's Business & Market Insights (B&MI) group delivers unparalleled data-driven intelligence and frontier AI solutions that help organizations make smarter, faster, and more impactful decisions. We are currently looking for a AI Tester for the Operational Intelligence Program within B&MI. This is a highly specialized, hands-on AI testing leadership position dedicated to ensuring our Generative AI, LLM, and agentic systems are accurate, safe, reliable, and enterprise-ready. This role will lead AI quality engineering efforts — defining evaluation frameworks, red-teaming strategies, and LLMOps quality gates — while fostering a culture of rigorous, first-class AI testing across the program.
Roles and Responsibilities:
• Design and own end-to-end LLM evaluation frameworks — including automated prompt regression pipelines, output scoring, semantic benchmarking, and hallucination detection across model versions and prompt variations.
• Build comprehensive test suites for agentic AI systems — validating tool selection, inter-agent coordination, task decomposition, goal completion, and failure handling across multi-step reasoning workflows.
• Develop RAG pipeline evaluation frameworks assessing retrieval precision, chunk relevance, context faithfulness, answer grounding, and hallucination rates using tools like RAGAS, TruLens, and DeepEval.
• Lead structured red-teaming and adversarial testing exercises targeting prompt injection, jailbreaks, data leakage, context poisoning, and model manipulation — building and maintaining an evolving adversarial test library.
• Execute fairness, bias, and Responsible AI audits — testing for demographic bias, sentiment skew, representation gaps, and validating explainability mechanisms, citations, and confidence score accuracy.
• Design and run inference performance benchmarks — measuring latency, throughput, token efficiency, and degradation under peak load — and enforce LLM quality gates within CI/CD pipelines on Databricks (AWS).
• Build production monitoring and drift detection pipelines tracking semantic output drift, embedding shifts, retrieval degradation, and anomalous agent behaviors using observability tooling (Grafana, Datadog, CloudWatch).
• Define the AI testing roadmap and quality standards for the program — establishing evaluation metrics, tooling choices, and documentation practices across all Gen AI workstreams.
• Partner with Gen AI engineers, ML engineers, and product stakeholders to embed quality from day one — reviewing prompt architectures, agent designs, and system workflows for testability and risk.
• Continuously research and adopt frontier evaluation benchmarks (RAGAS, MMLU, TruthfulQA, MT-Bench) and emerging AI testing methodologies to keep quality practices at the cutting edge.
All About You:
• Master's/Bachelor's degree in Computer Science, AI/ML, or Software Engineering, with considerable hands-on experience leading AI/ML quality engineering or LLM testing programs in production environments.
• Demonstrated expertise testing LLM and Gen AI systems — including prompt testing, output evaluation, hallucination detection, RAG pipeline assessment, and agentic workflow validation in real production settings.
• Deep hands-on knowledge of AI evaluation frameworks and tooling: RAGAS, DeepEval, TruLens, LangSmith, PromptFlow, Weights & Biases Evals, or equivalent platforms.
• Strong understanding of Gen AI failure modes — hallucination, prompt injection, retrieval grounding failures, context drift, agent loop failures — and proven methods to surface and document them systematically.
• Strong Python programming skills with the ability to independently build test automation scripts, evaluation pipelines, and API-level integration tests; SQL proficiency required.
• Working knowledge of LLM ecosystems — OpenAI, Anthropic, Hugging Face, LangChain/LangGraph — sufficient to understand model behavior, prompt structure, and agent architecture deeply enough to test them rigorously.
• Familiarity with MLOps/LLMOps pipelines (MLflow, Databricks, SageMaker) and experience integrating automated quality gates into CI/CD workflows for AI systems.
• Experience with cloud AI infrastructure (AWS, Azure, or GCP) and observability tooling for monitoring live AI system behavior and output quality in production.
• Strong analytical, communication, and stakeholder management skills — with the ability to translate complex AI failure patterns into clear risk assessments and remediation recommendations for both technical and business audiences.
Mastercard is a merit-based, inclusive, equal opportunity employer that considers applicants without regard to gender, gender identity, sexual orientation, race, ethnicity, disabled or veteran status, or any other characteristic protected by law. We hire the most qualified candidate for the role. In the US or Canada, if you require accommodations or assistance to complete the online application process or during the recruitment process, please contact [contacto en el portal] and identify the type of accommodation or assistance you are requesting. Do not include any medical or health information in this email. The Reasonable Accommodations team will respond to your email promptly.
Corporate Security Responsibility
All activities involving access to Mastercard assets, information, and networks comes with an inherent risk to the organization and, therefore, it is expected that every person working for, or on behalf of, Mastercard is responsible for information security and must:
• Abide by Mastercard’s security policies and practices;
• Ensure the confidentiality and integrity of the information being accessed;
• Report any suspected information security violation or breach, and
• Complete all periodic mandatory security trainings in accordance with Mastercard’s guidelines.
In line with Mastercard’s total compensation philosophy and assuming that the job will be performed in the US, the successful candidate will be offered a competitive base salary and may be eligible for an annual bonus or commissions depending on the role. The base salary offered may vary depending on multiple factors, including but not limited to location, job-related knowledge, skills, and experience. Mastercard benefits for full time (and certain part time) employees generally include: insurance (including medical, prescription drug, dental, vision, disability, life insurance); flexible spending account and health savings account; paid leaves (including 16 weeks of new parent leave and up to 20 days of bereavement leave); 80 hours of Paid Sick and Safe Time, 25 days of vacation time and 5 personal days, pro-rated based on date of hire; 10 annual paid U.S. observed holidays; 401k with a best-in-class company match; deferred compensation for eligible roles; fitness reimbursement or on-site fitness facilities; eligibility for tuition reimbursement; and many more. Mastercard benefits for interns generally include: 56 hours of Paid Sick and Safe Time; jury duty leave; and on-site fitness facilities in some locations.
Pay Ranges
O'Fallon, Missouri: $140,000 - $231,000 USD
Cuenta gratis — el contacto y el enlace oficial del empleo están en el portal.