Framework de código abierto para evaluar y probar la calidad de tus prompts y modelos de IA mediante tests automatizados.
Pros
- Soporta más de 100 modelos (OpenAI, Anthropic, Google, locales, etc.)
- Integración nativa en flujos de CI/CD para evitar regresiones
- Permite realizar 'red-teaming' para encontrar vulnerabilidades y sesgos
- Genera tablas comparativas visuales para elegir el mejor prompt
- Completamente local y privado, sin necesidad de enviar datos a nubes externas
Contras
- Interfaz visual limitada comparada con soluciones SaaS completas
- Requiere conocimientos técnicos (Node.js, YAML, terminal)
- La configuración de tests complejos puede volverse tediosa manualmente
Consejo Mafia IA
Úsalo para crear una 'matriz de confianza': prueba tus 3 mejores prompts contra 3 modelos distintos y deja que Promptfoo te diga cuál es el ganador estadístico.
Introducción
Promptfoo es una herramienta esencial para cualquier desarrollador que trabaje con modelos de lenguaje de gran tamaño (LLMs). Nacida como una solución de código abierto y recientemente integrada en el ecosistema de OpenAI (tras su adquisición en marzo de 2026), se ha consolidado como el estándar de facto para la evaluación pre-despliegue. Su enfoque es simple pero potente: tratar los prompts como código que debe ser testeado sistemáticamente.
Cómo funciona
La magia de Promptfoo reside en su arquitectura 'CLI-first'. Los desarrolladores definen casos de prueba en archivos YAML o JSON, especificando variables de entrada y los resultados esperados (aserciones).
Al ejecutar un comando, Promptfoo genera una matriz que cruza tus prompts con diferentes modelos (GPT-4o, Claude 3.5, Llama 3, etc.) y evalúa las respuestas basándose en criterios como relevancia, similitud semántica, cumplimiento de formato JSON o incluso mediante otro LLM que actúa como juez. Los resultados se visualizan en una tabla detallada en el navegador o directamente en la terminal.
Planes y pricing detallado
Promptfoo es una herramienta Open Source bajo licencia MIT, lo que significa que puedes descargarla, usarla y modificarla de forma totalmente gratuita y para siempre.
- Versión Local (CLI): 100% Gratis. Sin límites de tests o modelos (más allá de lo que pagues a tus proveedores de API).
- Promptfoo Cloud/Enterprise: Tras la adquisición por OpenAI, se han integrado funciones avanzadas de colaboración en equipo y dashboards centralizados para empresas que requieren gestión de flota de prompts a gran escala.
Para quién es (y para quién NO)
Es ideal para:
- Ingenieros de IA que quieren rigor científico en sus prompts.
- Equipos que necesitan asegurar que un cambio en el prompt no 'rompe' casos de uso que antes funcionaban (regresiones).
- Desarrolladores que buscan optimizar costes comparando modelos baratos vs caros.
NO es para:
- Usuarios no técnicos que buscan una interfaz de chat simple.
- Equipos que solo necesitan observancia en producción (para eso existen herramientas como LangSmith o Helicone).
Tabla comparativa vs alternativas
| Característica | Promptfoo | LangSmith | DeepEval |
|---|---|---|---|
| Enfoque | Evaluación/Testing | Observabilidad/Tracing | Unit Testing (Python) |
| Privacidad | Alta (Local-first) | Media (SaaS) | Alta (Open Source) |
| Facilidad CLI | ✅ Excelente | ❌ Limitada | ✅ Buena |
| Uso en CI/CD | ✅ Nativo | ⚠️ Requiere API | ✅ Nativo |
| Precio | Gratis (MIT) | Pago por uso | Gratis (Open Source) |
Veredicto
Promptfoo es una de esas herramientas que cambia tu forma de trabajar. Si estás cansado de 'probar a ojo' si un prompt funciona mejor que otro, esta herramienta es obligatoria. Su capacidad para detectar fallos de seguridad y regresiones antes de que lleguen al usuario final la convierte en una inversión de tiempo que se paga sola en la primera semana de desarrollo.