
Real job — pulled straight from MercadoLibre’s careers page · Verified November 1, 2026 · No reposts.
Job description
MercadoLibre is hiring a Software Engineer, Agent Evaluation — a full-time, based in Buenos Aires, Argentina role. Apply directly on MercadoLibre's careers page below.
Software Engineer - Evals for Agents
Location: Buenos Aires,Argentina
Department: IT
Work Location: onsite
Como Software Engineer Backend en Mercado Libre, diseñarás y escalarás sistemas innovadores y seguros que resuelven problemas reales y de alto impacto. Trabajarás en un entorno dinámico con tecnología de vanguardia, aplicando buenas prácticas de ingeniería, modelos de IA propios y aprendizaje continuo, con el propósito de democratizar el comercio electrónico y los servicios financieros en América Latina.
Imagináte emprendiendo proyectos desafiantes, dinámicos e innovadores y siendo responsable de:
- Evolucionar y mantener la plataforma de evaluación de agentes (online y offline evals) que usan los equipos de MELI que construyen agentes y desarrollar capabilities para entender la salud de los agentes en producción: métricas de calidad, detección de regresiones, observabilidad y alertas.
Construir herramientas de experimentación offline: replay de conversaciones reales, usuarios simulados y comparación de versiones de modelos, prompts y configuraciones. - Crear el ciclo de mejora continua de agentes para transformar los resultados de las evaluaciones en mejoras accionables para los equipos dueños de los agentes: selección de modelos por calidad y costo, ajustes de prompts, tools y flujos conversacionales.
- Hacer que la plataforma sea simple de adoptar: APIs, CLI e integraciones con herramientas de desarrollo asistido por IA (Skills, MCPs).
- Colaborar con equipos de producto, negocio y tecnología para traducir necesidades concretas en soluciones de impacto.
- Mantenerse actualizado/a sobre tendencias, modelos y buenas prácticas del ecosistema de IA generativa y evaluación de agentes, en un contexto de evolución constante.
¿Qué buscamos en vos?
- Poseer conocimiento sobre arquitectura de microservicios y contar con experiencia con sistemas distribuidos y procesamiento asíncrono (colas de mensajes, retry patterns, idempotency).
- Poseer conocimientos sólidos en Go y/o Python, y capacidad de aprender otros, así como tener conocimiento de diseño de APIs, RESTful y buenas prácticas de desarrollo (SOLID, clean architecture, design patterns, etc).
- Poseer conocimiento de bases de datos relacionales y no relacionales.
- Estar familiarizado con LLMs y sus APIs (GPT, Gemini, Claude u otros)
- Es un plus tener experiencia con frameworks de evaluación, LLM-as-judge u observabilidad de sistemas con LLMs, haber trabajado con plataformas de IA y/o desarrollo de agentes y tener conocimientos de análisis de datos y estadística aplicada (SQL, BigQuery, diseño de experimentos).
¿Te animás a dejar huella en la tecnología de América Latina?
¡Postulate y sumate a nuestro propósito!
Modalidad de trabajo híbrido. Site Buenos Aires, Argentina
Get Software Engineer jobs like this→
New roles from thousands of companies land hourly, straight from their careers pages. Get the freshest matches by email so you never miss one.
Email me new jobsSimilar jobs




Frequently asked questions
What skills are required for Software Engineer, Agent Evaluation at MercadoLibre?
The required skills for Software Engineer, Agent Evaluation at MercadoLibre include: Go, Python, API, REST, Microservices, LLM, SQL, BigQuery.
What is the seniority level for Software Engineer, Agent Evaluation at MercadoLibre?
Software Engineer, Agent Evaluation at MercadoLibre is a Mid Level level position.
How do I apply for Software Engineer, Agent Evaluation at MercadoLibre?
You can view the full description and apply for Software Engineer, Agent Evaluation at MercadoLibre on EchoJobs: https://echojobs.io/job/mercadolibre-software-engineer-evals-for-agents-cg7a5.