
Meta: Llama 3.1 8B Instruct
meta-llama/llama-3.1-8b-instruct
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient.
It has demonstrated strong performance compared to leading closed-source models in human evaluations.
To read more about the model release, click hereOpens in new tab. Usage of this model is subject to Meta's Acceptable Use PolicyOpens in new tab.
Proveedores
Distintas empresas alojan el mismo modelo. OpenRouter enruta su solicitud a una de ellas según el modo de enrutamiento que elija: Balanced (precio + velocidad), Nitro (el más rápido) o Floor (el más económico).
| 0,05 US$ | 0,08 US$ | 0,025 US$ | 0,12s | 487 tok/s | ||
| 0,02 US$ | 0,04 US$ | -- | 0,18s | 72 tok/s | ||
| 0,22 US$ | 0,22 US$ | 0,220 US$ | 0,33s | 142 tok/s | ||
| 0,22 US$ | 0,22 US$ | -- | 0,63s | 260 tok/s |
- Entrada /M
- 0,05 US$
- Salida /M
- 0,08 US$
- Lectura de caché /M
- 0,025 US$
- Latencia
- 0,12 s
- Rendimiento
- 487 tok/s
- Tiempo de actividad
- 99,85 %

- Entrada /M
- 0,02 US$
- Salida /M
- 0,04 US$
- Lectura de caché /M
- --
- Latencia
- 0,18 s
- Rendimiento
- 72 tok/s
- Tiempo de actividad
- 99,19 %
- Entrada /M
- 0,22 US$
- Salida /M
- 0,22 US$
- Lectura de caché /M
- 0,22 US$
- Latencia
- 0,33 s
- Rendimiento
- 142 tok/s
- Tiempo de actividad
- 99,97 %
- Entrada /M
- 0,22 US$
- Salida /M
- 0,22 US$
- Lectura de caché /M
- --
- Latencia
- 0,63 s
- Rendimiento
- 260 tok/s
- Tiempo de actividad
- 99,42 %
Precios
El precio medio que los clientes pagan realmente por este modelo, junto a los precios que publican los proveedores. El uso de caché y los descuentos hacen que el precio realmente pagado a menudo sea muy inferior al publicado.
Media ponderada
Llama 3.1 8B Instruct — Historial de precios
| 0,0196 US$ | 0,0372 US$ | 0,0 % | 30,0 % | ||
| 0,0470 US$ | 0,0783 US$ | 10,6 % | 61,0 % | ||
| 0,2194 US$ | 0,2175 US$ | 0,0 % | 0,6 % | ||
| 0,2195 US$ | 0,2181 US$ | 29,2 % | 8,4 % |
- En vigor en 0,0196 US$ / Salida efectiva 0,0372 US$Proporción de tókenes30,0 %
- En vigor en 0,0470 US$ / Salida efectiva 0,0783 US$Proporción de tókenes61,0 %
- En vigor en 0,2194 US$ / Salida efectiva 0,2175 US$Proporción de tókenes0,6 %
- En vigor en 0,2195 US$ / Salida efectiva 0,2181 US$Proporción de tókenes8,4 %
Rendimiento
La velocidad de generación indica lo rápido que escribe el modelo (tokens por segundo: cuanto mayor, mejor). La latencia es el tiempo total de ida y vuelta (cuanto menor, mejor). TTFT es el tiempo hasta el primer token: cuánto tarda en aparecer algo en pantalla (cuanto menor, mejor).
P50, el mejor entre los proveedores
P50, mejor proveedor
Tiempo de actividad
El tiempo de actividad es el porcentaje de los últimos 3 días en que al menos un proveedor respondía a las solicitudes. La disponibilidad es el porcentaje de tiempo en que la inferencia se sirvió correctamente. OpenRouter supervisa continuamente y utiliza el siguiente mejor proveedor cuando uno devuelve un error.
Disponibilidad durante los últimos 3 días
Últimas 72 horasDisponibilidad en las últimas 24 horas
Cuando se produce un error en un proveedor ascendente, podemos recuperarnos enrutando la solicitud a otro proveedor que funcione correctamente, si los filtros de su solicitud lo permiten. Puede acceder mediante programación a los datos de tiempo de actividad de cada proveedor a través de la API de endpoints. Obtenga más información sobre nuestras opciones de equilibrio de carga y enrutamiento de proveedores.
Pruebas de rendimiento
Puntuaciones en evaluaciones estandarizadas y respuestas de este modelo a instrucciones compartidas de las pruebas de referencia. Los porcentajes más altos son mejores, y cada posición indica dónde se sitúa este modelo entre los modelos evaluados en esa fuente.
| Fuente | Prueba de rendimiento | Puntuación |
|---|---|---|
| Artificial Analysis | Llama 3.1 Instruct 8B Multilingual Index | 35.1% |
| Artificial Analysis | Llama 3.1 Instruct 8B GPQA Diamond | 25.9% |
| Artificial Analysis | Llama 3.1 Instruct 8B HLE | 5.3% |
| Artificial Analysis | Llama 3.1 Instruct 8B IFBench | 28.6% |
| Artificial Analysis | Llama 3.1 Instruct 8B τ²-Bench Telecom | 16.4% |
| Artificial Analysis | Llama 3.1 Instruct 8B AA-LCR | 18.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B GDPval-AA | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B CritPt | 0.0% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench Hard | 0.8% |
| Artificial Analysis | Llama 3.1 Instruct 8B Terminal-Bench 2.1 | 1.5% |
Aplicaciones
Aplicaciones públicas que envían más tráfico a este modelo. Una buena señal de cómo son las cargas de trabajo reales en producción, y una pista sobre los casos de uso para los que este modelo es más adecuado.
Actividad
Volumen de tokens y tráfico de solicitudes a este modelo a lo largo del tiempo.
API
Código listo para usar para llamar a este modelo. La API de OpenRouter es compatible con OpenAI: la mayoría de los SDK funcionan con solo cambiar la URL base. Lo único que cambia entre modelos es el identificador del modelo que aparece a continuación.
Actualmente no está disponible mediante el enrutamiento dentro de la región de la UE. Documentación de enrutamiento dentro de la región
Preguntas frecuentes
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 8B instruct-tuned version is fast and efficient. It has demonstrated strong performance compared to leading closed-source models in human evaluations. To read more about the model release, click here. Usage of this model is subject to Meta's Acceptable Use Policy.
Llama 3.1 8B Instruct cuesta 0,02 US$/M de tokens de entrada y 0,04 US$/M de tókenes de salida.
Llama 3.1 8B Instruct tiene una ventana de contexto de 131.072 tókenes. Admite hasta 16.384 tókenes de respuesta.
Sí. Llama 3.1 8B Instruct acepta tools y tool_choice para llamadas a funciones en 3 de los 4 proveedores que lo ofrecen, y las solicitudes que envían herramientas se enrutan a esos proveedores. También admite salidas estructuradas mediante un esquema JSON en response_format.
Llama 3.1 8B Instruct está disponible a través de 4 proveedores en OpenRouter: DeepInfra, Groq, Amazon Bedrock y CoreWeave. Las solicitudes se enrutan al mejor proveedor disponible, con conmutación automática a los demás en caso de fallo, y puede fijar o excluir proveedores mediante el enrutamiento de proveedores.
Llama 3.1 8B Instruct se lanzó el 23 de julio de 2024. Su fecha límite de conocimientos es 31 de diciembre de 2023.