UnifyBench

RankingSWE-bench Verified

SWE-bench Verified

Data updated 12 Sept 2026

Bucket
Coding
Unit
percent
Direction
Higher is better
Version
verified
Display harness
SWE-bench Verified official
Board
https://www.swebench.com/

Compare published benchmark results with category weights →

Models

ModelScoreEvidenceSource-recorded date
Claude Opus 5Anthropic96%lab self-report

The cited result does not establish the same preferred agent and task/runtime configuration; matching benchmark title alone is insufficient.

2026-07-24
DeepSeek V4-Pro 0813DeepSeek80.6%lab self-report

The cited result does not establish the same preferred agent and task/runtime configuration; matching benchmark title alone is insufficient.

2026-08-13
Gemini 3.1 ProGoogle80.6%lab self-report

Google methodology explicitly uses custom scaffolding rather than mini-SWE-agent; Verified also adjusts three tasks after harness fixes.

2026-02-19
Gemini 3 Flash PreviewGoogle75.8%official board2026-02-17
MiniMax-M2.5MiniMax75.8%official board2026-02-17
Claude Opus 4.6Anthropic75.6%official board2026-02-17
Claude Opus 4.5Anthropic74.4%official board2025-11-24
GLM-5Z.ai72.8%official board2026-02-17
NVIDIA Nemotron 3 UltraNVIDIA71.9%lab self-report

Current source table reports70.7 BF16/69.5 NVFP4, not fixture71.9; exact observation and preferred agent cannot be verified.

2026-06-04
Claude Sonnet 4.5Anthropic71.4%official board2026-02-17
DeepSeek-V3.2DeepSeek70%official board2026-02-17
Claude Haiku 4.5Anthropic66.6%official board2026-02-17
MiniMax-M2MiniMax61%official board2025-11-24
o3OpenAI58.4%official board2025-07-26
GLM-4.6Z.ai55.4%official board2025-12-01
Qwen3-Coder-480B-A35B-InstructQwen55.4%official board2025-08-02
GLM-4.5Z.ai54.2%official board2025-08-22
Devstral 2Mistral53.8%official board2025-12-09
Gemini 2.5 ProGoogle53.6%official board2025-07-26
o4-miniOpenAI45%official board2025-07-26
Gemini 2.5 FlashGoogle28.73%official board2025-07-26
gpt-oss-120bOpenAI26%official board2025-08-07
Llama 4 MaverickMeta21.04%official board2025-07-20
Agnes 2.5 Pro AlphaAgnes AI———
Amazon Nova 2 LiteAmazon———
Amazon Nova 2 Pro PreviewAmazon———
Amazon Nova LiteAmazon———
Amazon Nova MicroAmazon———
Amazon Nova PremierAmazon———
Amazon Nova ProAmazon———
AutoGLM-Phone-9BZ.ai———
AutoGLM-Phone-9B-MultilingualZ.ai———
aya-101Cohere———
aya-23-35BCohere———
aya-23-8BCohere———
aya-expanse-8bCohere———
aya-vision-8bCohere———
C4Ai Aya Expanse 32BCohere———
C4Ai Aya Vision 32BCohere———
c4ai-command-r7b-arabic-02-2025Cohere———
chatglm-6bZ.ai———
chatglm2-6bZ.ai———
chatglm2-6b-32kZ.ai———
chatglm3-6bZ.ai———
chatglm3-6b-128kZ.ai———
chatglm3-6b-32kZ.ai———
Claude Fable 5Anthropic———
Claude Fable 5.1Anthropic———
Claude Opus 4.7Anthropic———
Claude Opus 4.8Anthropic———
Claude Sonnet 4.6Anthropic———
Claude Sonnet 5Anthropic———
codegeex2-6bZ.ai———
codegeex4-all-9bZ.ai———
CodeGemma 7B ITGoogle———
Codestral 2508Mistral———
cogagent-9b-20241220Z.ai———
cogagent-chat-hfZ.ai———
cogagent-vqa-hfZ.ai———
cogvlm-chat-hfZ.ai———
cogvlm2-llama3-chat-19BZ.ai———
cogvlm2-llama3-chinese-chat-19BZ.ai———
cogvlm2-video-llama3-chatZ.ai———
CommandCohere———
Command A 03 2025Cohere———
Command A Plus 05 2026Cohere———
Command A Reasoning 08 2025Cohere———
Command A Translate 08 2025Cohere———
Command A Vision 07 2025Cohere———
Command LightCohere———
Command R 03 2024Cohere———
Command R 08 2024Cohere———
Command R Plus 04 2024Cohere———
Command R Plus 08 2024Cohere———
Command R7B 12 2024Cohere———
DeepSeek V4 Flash 0424DeepSeek———
DeepSeek V4-Pro 0424DeepSeek———
DeepSeek-R1-0528DeepSeek———
DeepSeek-R1-0528-Qwen3-8BDeepSeek———
DeepSeek-R1-Distill-Llama-70BDeepSeek———
DeepSeek-R1-Distill-Llama-8BDeepSeek———
DeepSeek-R1-Distill-Qwen-1.5BDeepSeek———
DeepSeek-R1-Distill-Qwen-14BDeepSeek———
DeepSeek-R1-Distill-Qwen-32BDeepSeek———
DeepSeek-R1-Distill-Qwen-7BDeepSeek———
DeepSeek-V3.2-SpecialeDeepSeek———
DeepSeek-V4-Flash-0731DeepSeek———
DeepSeek-V4-Flash-Vision-ExpDeepSeek———
Devstral Medium 1.0Mistral———
Devstral Small 1.1Mistral———
Devstral Small 2Mistral———
DiffusionGemma 26B A4BGoogle———
Doubao Seed CodeByteDance———
ERNIE-4.5-0.3B-PTBaidu———
ERNIE-4.5-21B-A3B-PTBaidu———
ERNIE-4.5-21B-A3B-ThinkingBaidu———
ERNIE-4.5-300B-A47B-PTBaidu———
ERNIE-4.5-turbo-128kBaidu———
ERNIE-4.5-turbo-20260402Baidu———
ERNIE-4.5-turbo-32kBaidu———
ERNIE-4.5-turbo-vlBaidu———
ERNIE-4.5-turbo-vl-32kBaidu———
ERNIE-4.5-VL-28B-A3B-PTBaidu———
ERNIE-4.5-VL-28B-A3B-ThinkingBaidu———
ERNIE-4.5-VL-424B-A47B-PTBaidu———
ERNIE-5.0Baidu———
ERNIE-5.0-thinking-expBaidu———
ERNIE-5.0-thinking-latestBaidu———
ERNIE-5.0-thinking-previewBaidu———
ERNIE-5.1Baidu———
EXAONE 3.0 7.8B InstructLG AI Research———
EXAONE 3.5 2.4B InstructLG AI Research———
EXAONE 3.5 32B InstructLG AI Research———
EXAONE 3.5 7.8B InstructLG AI Research———
EXAONE 4.0 1.2BLG AI Research———
EXAONE 4.0 32BLG AI Research———
EXAONE 4.0.1 32BLG AI Research———
EXAONE 4.5 33BLG AI Research———
EXAONE Deep 2.4BLG AI Research———
EXAONE Deep 32BLG AI Research———
EXAONE Deep 7.8BLG AI Research———
Gemini 2.5 Flash-LiteGoogle———
Gemini 3.1 Flash-LiteGoogle———
Gemini 3.5 FlashGoogle———
Gemini 3.5 Flash-LiteGoogle———
Gemini 3.6 FlashGoogle———
Gemini 3.7 FlashGoogle———
Gemini 3.8 FlashGoogle———
Gemma 1 2B ITGoogle———
Gemma 1 7B ITGoogle———
Gemma 1.1 2B ITGoogle———
Gemma 1.1 7B ITGoogle———
Gemma 2 27B ITGoogle———
Gemma 2 2B ITGoogle———
Gemma 2 9B ITGoogle———
Gemma 3 12B ITGoogle———
Gemma 3 1B ITGoogle———
Gemma 3 270M ITGoogle———
Gemma 3 27B ITGoogle———
Gemma 3 4B ITGoogle———
Gemma 3n E2B ITGoogle———
Gemma 3n E4B ITGoogle———
Gemma 4 12B ITGoogle———
Gemma 4 26B-A4B ITGoogle———
Gemma 4 31B ITGoogle———
Gemma 4 E2B ITGoogle———
Gemma 4 E4B ITGoogle———
GLM-4-32B-0414Z.ai———
GLM-4-32B-0414-128KZ.ai———
GLM-4-9B-0414Z.ai———
glm-4-9b-chatZ.ai———
glm-4-9b-chat-1mZ.ai———
GLM-4.1V-9B-ThinkingZ.ai———
GLM-4.5-AirZ.ai———
GLM-4.5-AirXZ.ai———
GLM-4.5-FlashZ.ai———
GLM-4.5-XZ.ai———
GLM-4.5VZ.ai———
GLM-4.6VZ.ai———
GLM-4.6V-FlashZ.ai———
GLM-4.6V-FlashXZ.ai———
GLM-4.7Z.ai———
GLM-4.7-FlashZ.ai———
GLM-4.7-FlashXZ.ai———
glm-4v-9bZ.ai———
GLM-5-TurboZ.ai———
GLM-5.1Z.ai———
GLM-5.2Z.ai———
GLM-5.3Z.ai———
GLM-5.3-FlashZ.ai———
GLM-5V-TurboZ.ai———
glm-edge-1.5b-chatZ.ai———
glm-edge-4b-chatZ.ai———
glm-edge-v-2bZ.ai———
glm-edge-v-5bZ.ai———
GLM-Z1-32B-0414Z.ai———
GLM-Z1-9B-0414Z.ai———
GLM-Z1-Rumination-32B-0414Z.ai———
GPT-3.5-turboOpenAI———
GPT-3.5-turbo-1106OpenAI———
GPT-3.5-turbo-instructOpenAI———
GPT-4OpenAI———
GPT-4-turboOpenAI———
GPT-4.1OpenAI———
GPT-4.1 MiniOpenAI———
GPT-4.1-nanoOpenAI———
GPT-4oOpenAI———
GPT-4o MiniOpenAI———
GPT-5OpenAI———
GPT-5 MiniOpenAI———
GPT-5 NanoOpenAI———
GPT-5 ProOpenAI———
GPT-5.1OpenAI———
GPT-5.2OpenAI———
GPT-5.2 ProOpenAI———
GPT-5.3 CodexOpenAI———
GPT-5.3 Codex SparkOpenAI———
GPT-5.4OpenAI———
GPT-5.4 MiniOpenAI———
GPT-5.4 NanoOpenAI———
GPT-5.4 ProOpenAI———
GPT-5.5OpenAI———
GPT-5.5 ProOpenAI———
GPT-5.6 LunaOpenAI———
GPT-5.6 SolOpenAI———
GPT-5.6 TerraOpenAI———
GPT-6 AstraOpenAI———
gpt-oss-20bOpenAI———
Grok 4.6xAI———
Grok-4.20-0309-non-reasoningxAI———
Grok-4.20-0309-reasoningxAI———
Grok-4.20-multi-agent-0309xAI———
Grok-4.3xAI———
Grok-4.5xAI———
Grok-build-0.1xAI———
Hunyuan A52B InstructTencent———
Hunyuan-0.5B-InstructTencent———
Hunyuan-1.8B-InstructTencent———
Hunyuan-4B-InstructTencent———
Hunyuan-7B-InstructTencent———
Hunyuan-7B-Instruct-0124Tencent———
Hunyuan-A13B-InstructTencent———
Hy3Tencent———
Hy3-previewTencent———
Hy4-previewTencent———
K EXAONE 2.0 750B A37BLG AI Research———
K EXAONE 236B A23BLG AI Research———
Kimi K3Moonshot———
Kimi-Dev-72BMoonshot———
Kimi-K2.6Moonshot———
Kimi-K2.7-CodeMoonshot———
Kimi-Linear-48B-A3B-InstructMoonshot———
Kimi-VL-A3B-InstructMoonshot———
Kimi-VL-A3B-Thinking-2506Moonshot———
Leanstral 1.5Mistral———
Llama-3.1-405B-InstructMeta———
Llama-3.1-70B-InstructMeta———
Llama-3.1-8B-InstructMeta———
Llama-3.2-11B-Vision-InstructMeta———
Llama-3.2-1B-InstructMeta———
Llama-3.2-3B-InstructMeta———
Llama-3.2-90B-Vision-InstructMeta———
Llama-3.3-70B-InstructMeta———
Llama-4-Scout-17B-16E-InstructMeta———
Magistral Medium 1.2Mistral———
Magistral Small 1.2Mistral———
MAI-Code-1-FlashMicrosoft———
MAI-Code-1.1-FlashMicrosoft———
MAI-DS-R1Microsoft———
MAI-Thinking-1Microsoft———
MiMo-7B-RLXiaomi———
MiMo-7B-RL-0530Xiaomi———
MiMo-7B-RL-ZeroXiaomi———
MiMo-7B-SFTXiaomi———
MiMo-V2-FlashXiaomi———
MiMo-V2.5Xiaomi———
MiMo-V2.5-ProXiaomi———
MiMo-VL-7B-RLXiaomi———
MiMo-VL-7B-RL-2508Xiaomi———
MiMo-VL-7B-SFTXiaomi———
MiMo-VL-7B-SFT-2508Xiaomi———
MiniCPM5-2BOpenBMB———
MiniMax-M1-40kMiniMax———
MiniMax-M1-80kMiniMax———
MiniMax-M2-herMiniMax———
MiniMax-M2.1MiniMax———
MiniMax-M2.7MiniMax———
MiniMax-M3MiniMax———
MiniMax-Text-01MiniMax———
MiniMax-VL-01MiniMax———
Ministral 3 14BMistral———
Ministral 3 3BMistral———
Ministral 3 8BMistral———
Ministral 3BMistral———
Ministral 8BMistral———
Mistral Large 2 (July 2024)Mistral———
Mistral Large 2.1Mistral———
Mistral Large 3Mistral———
Mistral Medium 3Mistral———
Mistral Medium 3.1Mistral———
Mistral Medium 3.5Mistral———
Mistral Nemo 12BMistral———
Mistral Small 3.2Mistral———
Mistral Small 4Mistral———
Mistral Small CreativeMistral———
Muse Glimmer 30BMeta———
Muse Spark 1.1Meta———
Muse Spark 1.2Meta———
Muse Spark 1.3Meta———
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16NVIDIA———
North-Micro-Vision-InstructCohere———
North-Mini-Code-1.0Cohere———
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-3-Nano-4B-BF16NVIDIA———
NVIDIA-Nemotron-3-Super-120B-A12B-BF16NVIDIA———
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2-VL-BF16NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2-JapaneseNVIDIA———
o1OpenAI———
o1-proOpenAI———
o3-miniOpenAI———
o3-proOpenAI———
Phi-3-medium-128k-instructMicrosoft———
Phi-3-medium-4k-instructMicrosoft———
Phi-3-mini-128k-instructMicrosoft———
Phi-3-mini-4k-instructMicrosoft———
Phi-3-small-128k-instructMicrosoft———
Phi-3-small-8k-instructMicrosoft———
Phi-3-vision-128k-instructMicrosoft———
Phi-3.5-mini-instructMicrosoft———
Phi-3.5-MoE-instructMicrosoft———
Phi-3.5-vision-instructMicrosoft———
phi-4Microsoft———
Phi-4-mini-flash-reasoningMicrosoft———
Phi-4-mini-instructMicrosoft———
Phi-4-mini-reasoningMicrosoft———
Phi-4-multimodal-instructMicrosoft———
Phi-4-reasoningMicrosoft———
Phi-4-reasoning-plusMicrosoft———
Phi-4-reasoning-vision-15BMicrosoft———
Phi-mini-MoE-instructMicrosoft———
Phi-tiny-MoE-instructMicrosoft———
Pixtral 12BMistral———
Pixtral LargeMistral———
Qianfan-VL-3BBaidu———
Qianfan-VL-70BBaidu———
Qianfan-VL-8BBaidu———
QVQ-maxQwen———
QVQ-plusQwen———
Qwen 3.8-MaxQwen———
Qwen-coder-plusQwen———
Qwen-coder-turboQwen———
Qwen-flashQwen———
Qwen-flash-characterQwen———
Qwen-longQwen———
Qwen-math-plusQwen———
Qwen-math-turboQwen———
Qwen-maxQwen———
Qwen-omni-turboQwen———
Qwen-plusQwen———
Qwen-plus-characterQwen———
Qwen-plus-character-jaQwen———
Qwen-turboQwen———
Qwen-vl-maxQwen———
Qwen-vl-plusQwen———
Qwen3-0.6BQwen———
Qwen3-1.7BQwen———
Qwen3-14BQwen———
Qwen3-235B-A22BQwen———
Qwen3-235B-A22B-Instruct-2507Qwen———
Qwen3-235B-A22B-Thinking-2507Qwen———
Qwen3-30B-A3BQwen———
Qwen3-30B-A3B-Instruct-2507Qwen———
Qwen3-30B-A3B-Thinking-2507Qwen———
Qwen3-32BQwen———
Qwen3-4BQwen———
Qwen3-4B-Instruct-2507Qwen———
Qwen3-4B-Thinking-2507Qwen———
Qwen3-8BQwen———
Qwen3-Coder-30B-A3B-InstructQwen———
Qwen3-coder-flashQwen———
Qwen3-Coder-NextQwen———
Qwen3-coder-plusQwen———
Qwen3-maxQwen———
Qwen3-Next-80B-A3B-InstructQwen———
Qwen3-Next-80B-A3B-ThinkingQwen———
Qwen3-Omni-30B-A3B-InstructQwen———
Qwen3-Omni-30B-A3B-ThinkingQwen———
Qwen3-omni-flashQwen———
Qwen3-VL-235B-A22B-InstructQwen———
Qwen3-VL-235B-A22B-ThinkingQwen———
Qwen3-VL-2B-InstructQwen———
Qwen3-VL-2B-ThinkingQwen———
Qwen3-VL-30B-A3B-InstructQwen———
Qwen3-VL-30B-A3B-ThinkingQwen———
Qwen3-VL-32B-InstructQwen———
Qwen3-VL-32B-ThinkingQwen———
Qwen3-VL-4B-InstructQwen———
Qwen3-VL-4B-ThinkingQwen———
Qwen3-VL-8B-InstructQwen———
Qwen3-VL-8B-ThinkingQwen———
Qwen3-vl-flashQwen———
Qwen3-vl-plusQwen———
Qwen3.5-0.8BQwen———
Qwen3.5-122B-A10BQwen———
Qwen3.5-27BQwen———
Qwen3.5-2BQwen———
Qwen3.5-35B-A3BQwen———
Qwen3.5-397B-A17BQwen———
Qwen3.5-4BQwen———
Qwen3.5-9BQwen———
Qwen3.5-flashQwen———
Qwen3.5-omni-flashQwen———
Qwen3.5-omni-plusQwen———
Qwen3.5-plusQwen———
Qwen3.6-27BQwen———
Qwen3.6-35B-A3BQwen———
Qwen3.6-flashQwen———
Qwen3.6-plusQwen———
Qwen3.7-flashQwen———
Qwen3.7-maxQwen———
Qwen3.7-plusQwen———
Qwen3.8-2.4T-A95BQwen———
Qwen3.8-27BQwen———
Qwen3.8-flashQwen———
Qwen3.8-Flash-NextQwen———
QwQ-plusQwen———
RecurrentGemma 2B ITGoogle———
RecurrentGemma 9B ITGoogle———
Seed 1.6ByteDance———
Seed 1.6 ThinkingByteDance———
Seed 1.6 VisionByteDance———
Seed 1.8ByteDance———
Seed 2.0 CodeByteDance———
Seed 2.0 LiteByteDance———
Seed 2.0 MiniByteDance———
Seed 2.0 ProByteDance———
Seed 2.1 ProByteDance———
Seed 2.1 TurboByteDance———
Seed CharacterByteDance———
Seed Coder 8B InstructByteDance———
Seed Coder 8B ReasoningByteDance———
Seed EvolvingByteDance———
Seed OSS 36B InstructByteDance———
SOLAR 10.7B Instruct v1.0Upstage———
Solar Mini (April 2025)Upstage———
Solar Open 100BUpstage———
Solar Open2 250BUpstage———
Solar Pro 2 (December 2025)Upstage———
Solar Pro 3Upstage———
Solar Pro 4Upstage———
solar pro preview instructUpstage———
Step 3StepFun———
Step 3 VL 10BStepFun———
Step 3.5 FlashStepFun———
Step 3.7 FlashStepFun———
SynLogic-32BMiniMax———
SynLogic-7BMiniMax———
SynLogic-Mix-3-32BMiniMax———
Tiny Aya EarthCohere———
Tiny Aya FireCohere———
Tiny Aya GlobalCohere———
Tiny Aya WaterCohere———
visualglm-6bZ.ai———
Voxtral MiniMistral———
Voxtral SmallMistral———
WeDLM-7B-InstructTencent———
WeDLM-8B-InstructTencent———
Youtu-LLM-2BTencent———