Correr evals de Harbor y Terminal-Bench en Vercel Sandbox
Ahora podés ejecutar Harbor (el harness detrás de Terminal-Bench, SWE-bench, tau3-bench y otros) contra Vercel Sandbox, con cada trial en su propia microVM.
Cada trial corre en su propia microVM
Al pasar --env vercel a harbor run, cada trial se ejecuta en una microVM Firecracker aislada. Eso te permite paralelizar los evals mucho más de lo que da tu máquina local.
uv tool install 'harbor[vercel]'export VERCEL_TOKEN=""export AI_GATEWAY_API_KEY=""harbor run -d terminal-bench/terminal-bench-2-1 \ --agent fx \ --model vercel_ai_gateway/anthropic/claude-fable-5 \ --env vercel \ --n-concurrent 8Red y credenciales fuera de la VM
La política de red de cada tarea se aplica en el firewall del sandbox, no dentro de la VM. La inyección opcional de credenciales adjunta secretos a las requests salientes que matchean en ese firewall, así que esos secretos nunca entran al sandbox.
Cambiar de modelo es cambiar un flag
Con AI Gateway de por medio, una sola AI_GATEWAY_API_KEY te da acceso a cientos de modelos de distintos proveedores. Para benchmarkear otro modelo, solo cambiás el valor de --model, por ejemplo de Claude a vercel_ai_gateway/openai/gpt-5.6-luna, sin tocar el resto del comando.
Requisitos
Necesitás Harbor 0.22.0 o superior. Vercel tiene una guía paso a paso para la configuración y troubleshooting, y documentación específica de Sandbox para esta integración.
What you get
Podés correr Terminal-Bench, SWE-bench, tau3-bench y OSWorld (todo lo que soporta Harbor) sobre Vercel Sandbox con
--env vercel.Cada trial se aísla en una microVM Firecracker, lo que habilita paralelizar con
--n-concurrentmás allá de tu hardware local.El firewall del sandbox maneja política de red e inyección de credenciales, así que los secretos no llegan a entrar a la VM.
Comparar modelos es cambiar el flag
--modelgracias a AI Gateway; requiere Harbor 0.22.0+.
Want a class on this?
If enough people ask for it, it goes on the schedule. No email, no name needed.