HyperAIHyperAI

Auto Debugging On Big Bench Lite

Métriques

Exact string match

Résultats

Résultats de performance de divers modèles sur ce benchmark

Nom du modèle
Exact string match
Paper TitleRepository
PaLM 62B (few-shot, k=5)38.2PaLM: Scaling Language Modeling with Pathways-
PaLM 8B (few-shot, k=5)14.7PaLM: Scaling Language Modeling with Pathways-
PaLM 540B (few-shot, k=5)38.2PaLM: Scaling Language Modeling with Pathways-
0 of 3 row(s) selected.
Auto Debugging On Big Bench Lite | SOTA | HyperAI