Probamos 4 modelos de embeddings sobre jurisprudencia paraguaya: ganó el especializado

En abril de este año, Voyage AI (la empresa de modelos de embeddings que hoy es parte de MongoDB) lanzó su familia Voyage 4 y nos dio 200 millones de tokens gratis para probarla. Sus benchmarks en inglés decían que el modelo nuevo superaba a voyage-law-2, el modelo especializado en texto legal que usa GNOSIS, incluso dentro del dominio jurídico. Si eso se confirmaba con nuestros datos, migrar significaba consultas hasta 83% más baratas de operar.

Había un problema. Ningún benchmark público evalúa español jurídico. Mucho menos terminología paraguaya: preaviso, aguinaldo, CCCT, despido indirecto. Los resultados en inglés no se trasladan solos a otro idioma y otro sistema legal, y migrar implica volver a indexar el corpus completo, una operación costosa y difícil de deshacer.

Así que armamos nuestro propio benchmark. Ganó el modelo viejo.

Qué mide un benchmark de embeddings y por qué te afecta#

Cuando le hacés una pregunta a GNOSIS, el sistema convierte tu consulta en un vector numérico (un embedding) y lo compara contra los vectores de todos los fragmentos de jurisprudencia y normativa del corpus. Los fragmentos más cercanos son los candidatos a respuesta. El modelo de embeddings es la pieza que decide qué significa "cercano". Si el modelo entiende mal el español jurídico, el fallo correcto no aparece, y ya contamos en la guía sobre cómo buscar jurisprudencia paraguaya que la sentencia que el sistema no encuentra es, para efectos prácticos, una sentencia que no existe.

Por eso la elección del modelo no es un detalle de infraestructura. Es la diferencia entre encontrar el precedente que sostiene tu escrito o quedarte con la sensación de que "no hay jurisprudencia sobre esto".

La metodología, antes de ver un solo número#

Definimos los criterios de decisión antes de correr el experimento, por escrito. Migrar solo si el modelo nuevo igualaba o superaba al actual en las métricas de ranking, y sin degradación mayor al 5% en ninguna área del derecho. Fijar la vara antes de medir evita el autoengaño de mover el arco después del gol.

El corpus de prueba: 4.430 fragmentos extraídos de la base de producción de GNOSIS. Resoluciones de cámaras laborales y civiles, artículos del Código del Trabajo y del Código Civil, leyes laborales complementarias y dictámenes del MTESS.

Las consultas: 44, clasificadas por área (laboral, civil, comercial, tributario) y dificultad, cada una con su respuesta correcta definida de antemano. Mezclamos consultas técnicas ("prescripción de acciones laborales según el art. 399 CT") con consultas coloquiales, como preguntaría un cliente ("me echaron sin motivo, ¿qué me corresponde?").

Los cuatro escenarios:

Escenario	Modelo para el corpus	Modelo para las consultas
A (actual)	voyage-law-2	voyage-law-2
B	voyage-4-large	voyage-4-large
C	voyage-4-large	voyage-4-lite
D	voyage-4-large	voyage-4

Los escenarios C y D prueban el "shared embedding space" de Voyage 4: indexar los documentos una sola vez con el modelo grande y usar uno liviano para las consultas, que son el gasto constante. Es la promesa del ahorro del 83%.

Las métricas principales: Hit Rate@5 (¿el documento correcto aparece entre los primeros 5 resultados?), NDCG@5 (¿qué tan bien ordenados están esos 5?) y MRR (¿en qué posición aparece el primer resultado relevante?). Que el fallo correcto aparezca primero o aparezca quinto cambia la experiencia de quien investiga.

Los resultados#

Métrica	voyage-law-2 (actual)	voyage-4-large	large + lite	large + mid
Hit Rate@5	97,7%	97,7%	100,0%	100,0%
NDCG@5	95,3%	89,0%	88,7%	87,8%
MRR	97,7%	90,2%	93,2%	90,5%
Keyword Recall	78,8%	78,2%	81,1%	80,5%
Norma Recall	88,6%	89,8%	88,6%	90,9%
Latencia	373 ms	352 ms	336 ms	328 ms

Tres lecturas de esa tabla.

Primera: en Hit Rate todos rinden parecido. El documento correcto casi siempre aparece en el top 5, gane quien gane. La diferencia real está en el orden. El modelo especializado pone el resultado correcto primero (MRR de 97,7%) mientras el nuevo lo deja más abajo en la lista (90,2%). En NDCG@5, la métrica que mide la calidad del ranking completo, voyage-law-2 le saca 6,3 puntos al modelo nuevo. Nuestro criterio pedía como mínimo un empate. No hubo empate.

Segunda: el área tributaria se desplomó con los modelos nuevos. El NDCG@5 pasó de 93,4% con voyage-law-2 a 69,2% con voyage-4-large, y a 56,6% con las consultas del modelo liviano. Una caída de 24 puntos en un área entera del derecho, cuando nuestro límite tolerable era 5%. Con la muestra chica que tenemos en tributario el número exacto hay que tomarlo con pinzas, pero la dirección es inequívoca.

Tercera, y la que más me gustó como hallazgo: el modelo nuevo estaba más seguro de resultados peores. La similaridad promedio subió de 48,4% a 51,0% mientras el ranking empeoraba. Más confianza, menos precisión. En derecho ya conocemos ese personaje.

La decisión: nos quedamos, y aprendimos algo para después#

Aplicando los criterios que habíamos fijado, la decisión salió sola: no migramos. El corpus de GNOSIS sigue indexado con voyage-law-2.

La tentación del ahorro era real pero chica. Una consulta cuesta fracciones de centavo con cualquiera de los modelos; el 83% de ahorro son moneditas al volumen actual. Cambiar calidad de ranking por ese descuento habría sido vender el producto para pagar el estacionamiento.

El experimento igual dejó un activo. El shared embedding space funciona: las consultas con el modelo liviano retienen el 99,7% de la calidad del modelo grande. El día que exista un Voyage especializado en legal de nueva generación, o que el volumen de consultas haga que el costo pese de verdad, ya sabemos que ese esquema es viable sobre nuestros datos. Y todo el benchmark consumió 3,4 millones de los 200 millones de tokens que nos dieron: unos 22 centavos de dólar a precio de lista.

Los límites de lo que medimos, para ser honestos: 44 consultas es una muestra chica, el corpus es el nuestro y no el universo de la jurisprudencia paraguaya, y esto es una foto de abril de 2026. No es un paper. Es la evidencia suficiente para una decisión de ingeniería, documentada para poder revisarla cuando cambien las condiciones.

Qué te llevás de esto si estás evaluando herramientas de IA jurídica#

Cuando un proveedor te diga que su herramienta "usa el modelo más avanzado", la pregunta que vale es otra: ¿lo midieron sobre texto jurídico en español, con consultas como las que vos hacés? Un benchmark en inglés sobre documentos genéricos no dice nada sobre cómo va a responder cuando le preguntes por la carga de la prueba en un despido indirecto.

Nosotros publicamos la tabla completa, con las derrotas incluidas, porque ese es el estándar que nos gustaría encontrar cuando evaluamos software ajeno.

Cada semana aparece un modelo que promete superar al anterior, y la novedad se volvió el argumento de venta más barato que existe: decir "usamos lo último" no cuesta nada. Medir sí cuesta. Hay que armar el corpus, definir las respuestas correctas antes de correr la prueba, y aceptar el riesgo de que el resultado contradiga lo que uno esperaba encontrar. Después hay que publicarlo, aunque el titular quede menos brillante que el del vecino.

Ese fue el intercambio que hicimos acá. Renunciamos al titular de "GNOSIS ahora corre sobre el modelo más nuevo del mercado" y nos quedamos con algo que para tu trabajo vale más: la certeza, medida sobre jurisprudencia paraguaya real, de que la búsqueda que usás hoy es la mejor de las cuatro configuraciones que probamos. Lo más nuevo no ganó esta vez. Lo medido va ganando siempre.

Si querés entender cómo pensamos la calidad en Dikaia, podés leer el Protocolo Dikaia: los cuatro compromisos que guían cada decisión de producto.