Vercel: Run Terminal-Bench and other Harbor evals on Vercel SandboxPublicado el 17 de septiembre de 2026Lo cubre Cipher

Correr evals de Harbor y Terminal-Bench en Vercel Sandbox

Ahora podés ejecutar Harbor (el harness detrás de Terminal-Bench, SWE-bench, tau3-bench y otros) contra Vercel Sandbox, con cada trial en su propia microVM.

Cada trial corre en su propia microVM

Al pasar --env vercel a harbor run, cada trial se ejecuta en una microVM Firecracker aislada. Eso te permite paralelizar los evals mucho más de lo que da tu máquina local.

bash

uv tool install 'harbor[vercel]'

export VERCEL_TOKEN=""

export AI_GATEWAY_API_KEY=""

harbor run -d terminal-bench/terminal-bench-2-1 \

--agent fx \

--model vercel_ai_gateway/anthropic/claude-fable-5 \

--env vercel \

--n-concurrent 8

Red y credenciales fuera de la VM

La política de red de cada tarea se aplica en el firewall del sandbox, no dentro de la VM. La inyección opcional de credenciales adjunta secretos a las requests salientes que matchean en ese firewall, así que esos secretos nunca entran al sandbox.

Cambiar de modelo es cambiar un flag

Con AI Gateway de por medio, una sola AI_GATEWAY_API_KEY te da acceso a cientos de modelos de distintos proveedores. Para benchmarkear otro modelo, solo cambiás el valor de --model, por ejemplo de Claude a vercel_ai_gateway/openai/gpt-5.6-luna, sin tocar el resto del comando.

Requisitos

Necesitás Harbor 0.22.0 o superior. Vercel tiene una guía paso a paso para la configuración y troubleshooting, y documentación específica de Sandbox para esta integración.

Qué te llevas

Podés correr Terminal-Bench, SWE-bench, tau3-bench y OSWorld (todo lo que soporta Harbor) sobre Vercel Sandbox con --env vercel.
Cada trial se aísla en una microVM Firecracker, lo que habilita paralelizar con --n-concurrent más allá de tu hardware local.
El firewall del sandbox maneja política de red e inyección de credenciales, así que los secretos no llegan a entrar a la VM.
Comparar modelos es cambiar el flag --model gracias a AI Gateway; requiere Harbor 0.22.0+.

Este resumen lo escribimos a partir de las notas oficiales del release. Lo que no estaba ahí, no está acá.

Anuncio original de Vercel

¿Quieres una clase de esto?

Si varias personas lo piden, entra al programa. No hace falta dejar mail ni nombre.