UnifyBench

RankingGPQA Diamond

GPQA Diamond

Data updated 12 Sept 2026

Bucket
Hard reasoning
Unit
percent
Direction
Higher is better
Version
diamond
Display harness
GPQA Diamond reported
Board
https://github.com/idavidrein/gpqa

Compare published benchmark results with category weights →

Models

ModelScoreEvidenceSource-recorded date
GPT-6 AstraOpenAI96.061%independent repro2026-09-11
Gemini 3.8 FlashGoogle95.253%independent repro2026-09-11
Grok 4.6xAI94.949%independent repro2026-09-11
Gemini 3.7 FlashGoogle94.545%independent repro2026-09-11
Gemini 3.1 ProGoogle94.141%independent repro2026-09-11
GPT-5.6 SolOpenAI94.141%independent repro2026-09-11
Claude Fable 5.1Anthropic93.737%independent repro2026-09-11
Kimi K3Moonshot93.535%independent repro2026-09-11
Muse Spark 1.3Meta93.535%independent repro2026-09-11
Qwen3.8-2.4T-A95BQwen93.535%independent repro2026-09-11
Claude Opus 5Anthropic93.232%independent repro2026-09-11
MiniMax-M3MiniMax92.929%independent repro2026-09-11
DeepSeek V4-Pro 0813DeepSeek92.828%independent repro2026-09-11
Claude Fable 5Anthropic92.626%independent repro2026-09-11
Qwen 3.8-MaxQwen92.6%lab self-report

Cited Qwen page returned no readable content in this audit; exact model/version, value and protocol could not be independently verified from that source.

2026-08-03
GPT-5.6 TerraOpenAI92.525%independent repro2026-09-11
GLM-5.3Z.ai91.717%independent repro2026-09-11
GLM-5.3-FlashZ.ai91.212%independent repro2026-09-11
GPT-5.6 LunaOpenAI91.111%independent repro2026-09-11
Qwen3.8-27BQwen90.505%independent repro2026-09-11
NVIDIA Nemotron 3 UltraNVIDIA86.667%independent repro2026-09-11
Gemini 3.5 Flash-LiteGoogle83.838%independent repro2026-09-11
gpt-oss-120bOpenAI78.182%independent repro2026-09-11
Mistral Medium 3.5Mistral74.848%independent repro2026-09-11
Llama 4 MaverickMeta69.8%lab self-report

Diamond score is reported, but matching the current reference prompt, sampling/tool protocol and exact observation is not established.

2025-04-05
Mistral Large 3Mistral68.43%independent repro2026-09-04
Agnes 2.5 Pro AlphaAgnes AI———
Amazon Nova 2 LiteAmazon———
Amazon Nova 2 Pro PreviewAmazon———
Amazon Nova LiteAmazon———
Amazon Nova MicroAmazon———
Amazon Nova PremierAmazon———
Amazon Nova ProAmazon———
AutoGLM-Phone-9BZ.ai———
AutoGLM-Phone-9B-MultilingualZ.ai———
aya-101Cohere———
aya-23-35BCohere———
aya-23-8BCohere———
aya-expanse-8bCohere———
aya-vision-8bCohere———
C4Ai Aya Expanse 32BCohere———
C4Ai Aya Vision 32BCohere———
c4ai-command-r7b-arabic-02-2025Cohere———
chatglm-6bZ.ai———
chatglm2-6bZ.ai———
chatglm2-6b-32kZ.ai———
chatglm3-6bZ.ai———
chatglm3-6b-128kZ.ai———
chatglm3-6b-32kZ.ai———
Claude Haiku 4.5Anthropic———
Claude Opus 4.5Anthropic———
Claude Opus 4.6Anthropic———
Claude Opus 4.7Anthropic———
Claude Opus 4.8Anthropic———
Claude Sonnet 4.5Anthropic———
Claude Sonnet 4.6Anthropic———
Claude Sonnet 5Anthropic———
codegeex2-6bZ.ai———
codegeex4-all-9bZ.ai———
CodeGemma 7B ITGoogle———
Codestral 2508Mistral———
cogagent-9b-20241220Z.ai———
cogagent-chat-hfZ.ai———
cogagent-vqa-hfZ.ai———
cogvlm-chat-hfZ.ai———
cogvlm2-llama3-chat-19BZ.ai———
cogvlm2-llama3-chinese-chat-19BZ.ai———
cogvlm2-video-llama3-chatZ.ai———
CommandCohere———
Command A 03 2025Cohere———
Command A Plus 05 2026Cohere———
Command A Reasoning 08 2025Cohere———
Command A Translate 08 2025Cohere———
Command A Vision 07 2025Cohere———
Command LightCohere———
Command R 03 2024Cohere———
Command R 08 2024Cohere———
Command R Plus 04 2024Cohere———
Command R Plus 08 2024Cohere———
Command R7B 12 2024Cohere———
DeepSeek V4 Flash 0424DeepSeek———
DeepSeek V4-Pro 0424DeepSeek———
DeepSeek-R1-0528DeepSeek———
DeepSeek-R1-0528-Qwen3-8BDeepSeek———
DeepSeek-R1-Distill-Llama-70BDeepSeek———
DeepSeek-R1-Distill-Llama-8BDeepSeek———
DeepSeek-R1-Distill-Qwen-1.5BDeepSeek———
DeepSeek-R1-Distill-Qwen-14BDeepSeek———
DeepSeek-R1-Distill-Qwen-32BDeepSeek———
DeepSeek-R1-Distill-Qwen-7BDeepSeek———
DeepSeek-V3.2DeepSeek———
DeepSeek-V3.2-SpecialeDeepSeek———
DeepSeek-V4-Flash-0731DeepSeek———
DeepSeek-V4-Flash-Vision-ExpDeepSeek———
Devstral 2Mistral———
Devstral Medium 1.0Mistral———
Devstral Small 1.1Mistral———
Devstral Small 2Mistral———
DiffusionGemma 26B A4BGoogle———
Doubao Seed CodeByteDance———
ERNIE-4.5-0.3B-PTBaidu———
ERNIE-4.5-21B-A3B-PTBaidu———
ERNIE-4.5-21B-A3B-ThinkingBaidu———
ERNIE-4.5-300B-A47B-PTBaidu———
ERNIE-4.5-turbo-128kBaidu———
ERNIE-4.5-turbo-20260402Baidu———
ERNIE-4.5-turbo-32kBaidu———
ERNIE-4.5-turbo-vlBaidu———
ERNIE-4.5-turbo-vl-32kBaidu———
ERNIE-4.5-VL-28B-A3B-PTBaidu———
ERNIE-4.5-VL-28B-A3B-ThinkingBaidu———
ERNIE-4.5-VL-424B-A47B-PTBaidu———
ERNIE-5.0Baidu———
ERNIE-5.0-thinking-expBaidu———
ERNIE-5.0-thinking-latestBaidu———
ERNIE-5.0-thinking-previewBaidu———
ERNIE-5.1Baidu———
EXAONE 3.0 7.8B InstructLG AI Research———
EXAONE 3.5 2.4B InstructLG AI Research———
EXAONE 3.5 32B InstructLG AI Research———
EXAONE 3.5 7.8B InstructLG AI Research———
EXAONE 4.0 1.2BLG AI Research———
EXAONE 4.0 32BLG AI Research———
EXAONE 4.0.1 32BLG AI Research———
EXAONE 4.5 33BLG AI Research———
EXAONE Deep 2.4BLG AI Research———
EXAONE Deep 32BLG AI Research———
EXAONE Deep 7.8BLG AI Research———
Gemini 2.5 FlashGoogle———
Gemini 2.5 Flash-LiteGoogle———
Gemini 2.5 ProGoogle———
Gemini 3 Flash PreviewGoogle———
Gemini 3.1 Flash-LiteGoogle———
Gemini 3.5 FlashGoogle———
Gemini 3.6 FlashGoogle———
Gemma 1 2B ITGoogle———
Gemma 1 7B ITGoogle———
Gemma 1.1 2B ITGoogle———
Gemma 1.1 7B ITGoogle———
Gemma 2 27B ITGoogle———
Gemma 2 2B ITGoogle———
Gemma 2 9B ITGoogle———
Gemma 3 12B ITGoogle———
Gemma 3 1B ITGoogle———
Gemma 3 270M ITGoogle———
Gemma 3 27B ITGoogle———
Gemma 3 4B ITGoogle———
Gemma 3n E2B ITGoogle———
Gemma 3n E4B ITGoogle———
Gemma 4 12B ITGoogle———
Gemma 4 26B-A4B ITGoogle———
Gemma 4 31B ITGoogle———
Gemma 4 E2B ITGoogle———
Gemma 4 E4B ITGoogle———
GLM-4-32B-0414Z.ai———
GLM-4-32B-0414-128KZ.ai———
GLM-4-9B-0414Z.ai———
glm-4-9b-chatZ.ai———
glm-4-9b-chat-1mZ.ai———
GLM-4.1V-9B-ThinkingZ.ai———
GLM-4.5Z.ai———
GLM-4.5-AirZ.ai———
GLM-4.5-AirXZ.ai———
GLM-4.5-FlashZ.ai———
GLM-4.5-XZ.ai———
GLM-4.5VZ.ai———
GLM-4.6Z.ai———
GLM-4.6VZ.ai———
GLM-4.6V-FlashZ.ai———
GLM-4.6V-FlashXZ.ai———
GLM-4.7Z.ai———
GLM-4.7-FlashZ.ai———
GLM-4.7-FlashXZ.ai———
glm-4v-9bZ.ai———
GLM-5Z.ai———
GLM-5-TurboZ.ai———
GLM-5.1Z.ai———
GLM-5.2Z.ai———
GLM-5V-TurboZ.ai———
glm-edge-1.5b-chatZ.ai———
glm-edge-4b-chatZ.ai———
glm-edge-v-2bZ.ai———
glm-edge-v-5bZ.ai———
GLM-Z1-32B-0414Z.ai———
GLM-Z1-9B-0414Z.ai———
GLM-Z1-Rumination-32B-0414Z.ai———
GPT-3.5-turboOpenAI———
GPT-3.5-turbo-1106OpenAI———
GPT-3.5-turbo-instructOpenAI———
GPT-4OpenAI———
GPT-4-turboOpenAI———
GPT-4.1OpenAI———
GPT-4.1 MiniOpenAI———
GPT-4.1-nanoOpenAI———
GPT-4oOpenAI———
GPT-4o MiniOpenAI———
GPT-5OpenAI———
GPT-5 MiniOpenAI———
GPT-5 NanoOpenAI———
GPT-5 ProOpenAI———
GPT-5.1OpenAI———
GPT-5.2OpenAI———
GPT-5.2 ProOpenAI———
GPT-5.3 CodexOpenAI———
GPT-5.3 Codex SparkOpenAI———
GPT-5.4OpenAI———
GPT-5.4 MiniOpenAI———
GPT-5.4 NanoOpenAI———
GPT-5.4 ProOpenAI———
GPT-5.5OpenAI———
GPT-5.5 ProOpenAI———
gpt-oss-20bOpenAI———
Grok-4.20-0309-non-reasoningxAI———
Grok-4.20-0309-reasoningxAI———
Grok-4.20-multi-agent-0309xAI———
Grok-4.3xAI———
Grok-4.5xAI———
Grok-build-0.1xAI———
Hunyuan A52B InstructTencent———
Hunyuan-0.5B-InstructTencent———
Hunyuan-1.8B-InstructTencent———
Hunyuan-4B-InstructTencent———
Hunyuan-7B-InstructTencent———
Hunyuan-7B-Instruct-0124Tencent———
Hunyuan-A13B-InstructTencent———
Hy3Tencent———
Hy3-previewTencent———
Hy4-previewTencent———
K EXAONE 2.0 750B A37BLG AI Research———
K EXAONE 236B A23BLG AI Research———
Kimi-Dev-72BMoonshot———
Kimi-K2.6Moonshot———
Kimi-K2.7-CodeMoonshot———
Kimi-Linear-48B-A3B-InstructMoonshot———
Kimi-VL-A3B-InstructMoonshot———
Kimi-VL-A3B-Thinking-2506Moonshot———
Leanstral 1.5Mistral———
Llama-3.1-405B-InstructMeta———
Llama-3.1-70B-InstructMeta———
Llama-3.1-8B-InstructMeta———
Llama-3.2-11B-Vision-InstructMeta———
Llama-3.2-1B-InstructMeta———
Llama-3.2-3B-InstructMeta———
Llama-3.2-90B-Vision-InstructMeta———
Llama-3.3-70B-InstructMeta———
Llama-4-Scout-17B-16E-InstructMeta———
Magistral Medium 1.2Mistral———
Magistral Small 1.2Mistral———
MAI-Code-1-FlashMicrosoft———
MAI-Code-1.1-FlashMicrosoft———
MAI-DS-R1Microsoft———
MAI-Thinking-1Microsoft———
MiMo-7B-RLXiaomi———
MiMo-7B-RL-0530Xiaomi———
MiMo-7B-RL-ZeroXiaomi———
MiMo-7B-SFTXiaomi———
MiMo-V2-FlashXiaomi———
MiMo-V2.5Xiaomi———
MiMo-V2.5-ProXiaomi———
MiMo-VL-7B-RLXiaomi———
MiMo-VL-7B-RL-2508Xiaomi———
MiMo-VL-7B-SFTXiaomi———
MiMo-VL-7B-SFT-2508Xiaomi———
MiniCPM5-2BOpenBMB———
MiniMax-M1-40kMiniMax———
MiniMax-M1-80kMiniMax———
MiniMax-M2MiniMax———
MiniMax-M2-herMiniMax———
MiniMax-M2.1MiniMax———
MiniMax-M2.5MiniMax———
MiniMax-M2.7MiniMax———
MiniMax-Text-01MiniMax———
MiniMax-VL-01MiniMax———
Ministral 3 14BMistral———
Ministral 3 3BMistral———
Ministral 3 8BMistral———
Ministral 3BMistral———
Ministral 8BMistral———
Mistral Large 2 (July 2024)Mistral———
Mistral Large 2.1Mistral———
Mistral Medium 3Mistral———
Mistral Medium 3.1Mistral———
Mistral Nemo 12BMistral———
Mistral Small 3.2Mistral———
Mistral Small 4Mistral———
Mistral Small CreativeMistral———
Muse Glimmer 30BMeta———
Muse Spark 1.1Meta———
Muse Spark 1.2Meta———
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16NVIDIA———
North-Micro-Vision-InstructCohere———
North-Mini-Code-1.0Cohere———
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-3-Nano-4B-BF16NVIDIA———
NVIDIA-Nemotron-3-Super-120B-A12B-BF16NVIDIA———
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2-VL-BF16NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2-JapaneseNVIDIA———
o1OpenAI———
o1-proOpenAI———
o3OpenAI———
o3-miniOpenAI———
o3-proOpenAI———
o4-miniOpenAI———
Phi-3-medium-128k-instructMicrosoft———
Phi-3-medium-4k-instructMicrosoft———
Phi-3-mini-128k-instructMicrosoft———
Phi-3-mini-4k-instructMicrosoft———
Phi-3-small-128k-instructMicrosoft———
Phi-3-small-8k-instructMicrosoft———
Phi-3-vision-128k-instructMicrosoft———
Phi-3.5-mini-instructMicrosoft———
Phi-3.5-MoE-instructMicrosoft———
Phi-3.5-vision-instructMicrosoft———
phi-4Microsoft———
Phi-4-mini-flash-reasoningMicrosoft———
Phi-4-mini-instructMicrosoft———
Phi-4-mini-reasoningMicrosoft———
Phi-4-multimodal-instructMicrosoft———
Phi-4-reasoningMicrosoft———
Phi-4-reasoning-plusMicrosoft———
Phi-4-reasoning-vision-15BMicrosoft———
Phi-mini-MoE-instructMicrosoft———
Phi-tiny-MoE-instructMicrosoft———
Pixtral 12BMistral———
Pixtral LargeMistral———
Qianfan-VL-3BBaidu———
Qianfan-VL-70BBaidu———
Qianfan-VL-8BBaidu———
QVQ-maxQwen———
QVQ-plusQwen———
Qwen-coder-plusQwen———
Qwen-coder-turboQwen———
Qwen-flashQwen———
Qwen-flash-characterQwen———
Qwen-longQwen———
Qwen-math-plusQwen———
Qwen-math-turboQwen———
Qwen-maxQwen———
Qwen-omni-turboQwen———
Qwen-plusQwen———
Qwen-plus-characterQwen———
Qwen-plus-character-jaQwen———
Qwen-turboQwen———
Qwen-vl-maxQwen———
Qwen-vl-plusQwen———
Qwen3-0.6BQwen———
Qwen3-1.7BQwen———
Qwen3-14BQwen———
Qwen3-235B-A22BQwen———
Qwen3-235B-A22B-Instruct-2507Qwen———
Qwen3-235B-A22B-Thinking-2507Qwen———
Qwen3-30B-A3BQwen———
Qwen3-30B-A3B-Instruct-2507Qwen———
Qwen3-30B-A3B-Thinking-2507Qwen———
Qwen3-32BQwen———
Qwen3-4BQwen———
Qwen3-4B-Instruct-2507Qwen———
Qwen3-4B-Thinking-2507Qwen———
Qwen3-8BQwen———
Qwen3-Coder-30B-A3B-InstructQwen———
Qwen3-Coder-480B-A35B-InstructQwen———
Qwen3-coder-flashQwen———
Qwen3-Coder-NextQwen———
Qwen3-coder-plusQwen———
Qwen3-maxQwen———
Qwen3-Next-80B-A3B-InstructQwen———
Qwen3-Next-80B-A3B-ThinkingQwen———
Qwen3-Omni-30B-A3B-InstructQwen———
Qwen3-Omni-30B-A3B-ThinkingQwen———
Qwen3-omni-flashQwen———
Qwen3-VL-235B-A22B-InstructQwen———
Qwen3-VL-235B-A22B-ThinkingQwen———
Qwen3-VL-2B-InstructQwen———
Qwen3-VL-2B-ThinkingQwen———
Qwen3-VL-30B-A3B-InstructQwen———
Qwen3-VL-30B-A3B-ThinkingQwen———
Qwen3-VL-32B-InstructQwen———
Qwen3-VL-32B-ThinkingQwen———
Qwen3-VL-4B-InstructQwen———
Qwen3-VL-4B-ThinkingQwen———
Qwen3-VL-8B-InstructQwen———
Qwen3-VL-8B-ThinkingQwen———
Qwen3-vl-flashQwen———
Qwen3-vl-plusQwen———
Qwen3.5-0.8BQwen———
Qwen3.5-122B-A10BQwen———
Qwen3.5-27BQwen———
Qwen3.5-2BQwen———
Qwen3.5-35B-A3BQwen———
Qwen3.5-397B-A17BQwen———
Qwen3.5-4BQwen———
Qwen3.5-9BQwen———
Qwen3.5-flashQwen———
Qwen3.5-omni-flashQwen———
Qwen3.5-omni-plusQwen———
Qwen3.5-plusQwen———
Qwen3.6-27BQwen———
Qwen3.6-35B-A3BQwen———
Qwen3.6-flashQwen———
Qwen3.6-plusQwen———
Qwen3.7-flashQwen———
Qwen3.7-maxQwen———
Qwen3.7-plusQwen———
Qwen3.8-flashQwen———
Qwen3.8-Flash-NextQwen———
QwQ-plusQwen———
RecurrentGemma 2B ITGoogle———
RecurrentGemma 9B ITGoogle———
Seed 1.6ByteDance———
Seed 1.6 ThinkingByteDance———
Seed 1.6 VisionByteDance———
Seed 1.8ByteDance———
Seed 2.0 CodeByteDance———
Seed 2.0 LiteByteDance———
Seed 2.0 MiniByteDance———
Seed 2.0 ProByteDance———
Seed 2.1 ProByteDance———
Seed 2.1 TurboByteDance———
Seed CharacterByteDance———
Seed Coder 8B InstructByteDance———
Seed Coder 8B ReasoningByteDance———
Seed EvolvingByteDance———
Seed OSS 36B InstructByteDance———
SOLAR 10.7B Instruct v1.0Upstage———
Solar Mini (April 2025)Upstage———
Solar Open 100BUpstage———
Solar Open2 250BUpstage———
Solar Pro 2 (December 2025)Upstage———
Solar Pro 3Upstage———
Solar Pro 4Upstage———
solar pro preview instructUpstage———
Step 3StepFun———
Step 3 VL 10BStepFun———
Step 3.5 FlashStepFun———
Step 3.7 FlashStepFun———
SynLogic-32BMiniMax———
SynLogic-7BMiniMax———
SynLogic-Mix-3-32BMiniMax———
Tiny Aya EarthCohere———
Tiny Aya FireCohere———
Tiny Aya GlobalCohere———
Tiny Aya WaterCohere———
visualglm-6bZ.ai———
Voxtral MiniMistral———
Voxtral SmallMistral———
WeDLM-7B-InstructTencent———
WeDLM-8B-InstructTencent———
Youtu-LLM-2BTencent———