UnifyBench

RankingDeepSWE v1.1

DeepSWE v1.1

Data updated 12 Sept 2026

Bucket
Coding
Unit
percent
Direction
Higher is better
Version
1.1
Display harness
DeepSWE v1.1 reported
Board
https://deepswe.datacurve.ai/

Compare published benchmark results with category weights →

Models

ModelScoreEvidenceSource-recorded date
GPT-6 AstraOpenAI74.1%official board2026-09-03
Gemini 3.8 FlashGoogle73.8%official board2026-09-03
Claude Opus 5Anthropic73.6%official board2026-09-03
GPT-5.6 SolOpenAI72.7%official board2026-09-03
Claude Fable 5Anthropic69.9%official board2026-09-03
GPT-5.6 TerraOpenAI69.6%official board2026-09-03
GLM-5.3Z.ai69%official board2026-09-03
Kimi K3Moonshot68.5%official board2026-09-03
Grok 4.6xAI67.5%official board2026-09-03
GPT-5.6 LunaOpenAI67.2%official board2026-09-03
GPT-5.5OpenAI67%official board2026-09-03
Gemini 3.7 FlashGoogle65.5%official board2026-09-03
GLM-5.3-FlashZ.ai63.4%official board2026-09-03
DeepSeek V4-Pro 0813DeepSeek62.8%official board2026-09-03
Claude Opus 4.8Anthropic59%official board2026-09-03
Qwen 3.8-MaxQwen57.5%official board2026-09-03
Muse Spark 1.2Meta54.9%official board2026-09-03
Claude Sonnet 5Anthropic53.8%official board2026-09-03
Grok-4.5xAI53.8%official board2026-09-03
DeepSeek-V4-Flash-0731DeepSeek53.3%official board2026-09-03
Muse Spark 1.1Meta53.3%official board2026-09-03
GPT-5.4OpenAI51.8%official board2026-09-03
Gemini 3.6 FlashGoogle46.7%official board2026-09-03
GLM-5.2Z.ai43.8%official board2026-09-03
Gemini 3.5 FlashGoogle36.1%official board2026-09-03
Kimi-K2.7-CodeMoonshot30.5%official board2026-09-03
Claude Sonnet 4.6Anthropic29.9%official board2026-09-03
Gemini 3.1 ProGoogle11.7%official board2026-09-03
Agnes 2.5 Pro AlphaAgnes AI———
Amazon Nova 2 LiteAmazon———
Amazon Nova 2 Pro PreviewAmazon———
Amazon Nova LiteAmazon———
Amazon Nova MicroAmazon———
Amazon Nova PremierAmazon———
Amazon Nova ProAmazon———
AutoGLM-Phone-9BZ.ai———
AutoGLM-Phone-9B-MultilingualZ.ai———
aya-101Cohere———
aya-23-35BCohere———
aya-23-8BCohere———
aya-expanse-8bCohere———
aya-vision-8bCohere———
C4Ai Aya Expanse 32BCohere———
C4Ai Aya Vision 32BCohere———
c4ai-command-r7b-arabic-02-2025Cohere———
chatglm-6bZ.ai———
chatglm2-6bZ.ai———
chatglm2-6b-32kZ.ai———
chatglm3-6bZ.ai———
chatglm3-6b-128kZ.ai———
chatglm3-6b-32kZ.ai———
Claude Fable 5.1Anthropic———
Claude Haiku 4.5Anthropic———
Claude Opus 4.5Anthropic———
Claude Opus 4.6Anthropic———
Claude Opus 4.7Anthropic———
Claude Sonnet 4.5Anthropic———
codegeex2-6bZ.ai———
codegeex4-all-9bZ.ai———
CodeGemma 7B ITGoogle———
Codestral 2508Mistral———
cogagent-9b-20241220Z.ai———
cogagent-chat-hfZ.ai———
cogagent-vqa-hfZ.ai———
cogvlm-chat-hfZ.ai———
cogvlm2-llama3-chat-19BZ.ai———
cogvlm2-llama3-chinese-chat-19BZ.ai———
cogvlm2-video-llama3-chatZ.ai———
CommandCohere———
Command A 03 2025Cohere———
Command A Plus 05 2026Cohere———
Command A Reasoning 08 2025Cohere———
Command A Translate 08 2025Cohere———
Command A Vision 07 2025Cohere———
Command LightCohere———
Command R 03 2024Cohere———
Command R 08 2024Cohere———
Command R Plus 04 2024Cohere———
Command R Plus 08 2024Cohere———
Command R7B 12 2024Cohere———
DeepSeek V4 Flash 0424DeepSeek———
DeepSeek V4-Pro 0424DeepSeek———
DeepSeek-R1-0528DeepSeek———
DeepSeek-R1-0528-Qwen3-8BDeepSeek———
DeepSeek-R1-Distill-Llama-70BDeepSeek———
DeepSeek-R1-Distill-Llama-8BDeepSeek———
DeepSeek-R1-Distill-Qwen-1.5BDeepSeek———
DeepSeek-R1-Distill-Qwen-14BDeepSeek———
DeepSeek-R1-Distill-Qwen-32BDeepSeek———
DeepSeek-R1-Distill-Qwen-7BDeepSeek———
DeepSeek-V3.2DeepSeek———
DeepSeek-V3.2-SpecialeDeepSeek———
DeepSeek-V4-Flash-Vision-ExpDeepSeek———
Devstral 2Mistral———
Devstral Medium 1.0Mistral———
Devstral Small 1.1Mistral———
Devstral Small 2Mistral———
DiffusionGemma 26B A4BGoogle———
Doubao Seed CodeByteDance———
ERNIE-4.5-0.3B-PTBaidu———
ERNIE-4.5-21B-A3B-PTBaidu———
ERNIE-4.5-21B-A3B-ThinkingBaidu———
ERNIE-4.5-300B-A47B-PTBaidu———
ERNIE-4.5-turbo-128kBaidu———
ERNIE-4.5-turbo-20260402Baidu———
ERNIE-4.5-turbo-32kBaidu———
ERNIE-4.5-turbo-vlBaidu———
ERNIE-4.5-turbo-vl-32kBaidu———
ERNIE-4.5-VL-28B-A3B-PTBaidu———
ERNIE-4.5-VL-28B-A3B-ThinkingBaidu———
ERNIE-4.5-VL-424B-A47B-PTBaidu———
ERNIE-5.0Baidu———
ERNIE-5.0-thinking-expBaidu———
ERNIE-5.0-thinking-latestBaidu———
ERNIE-5.0-thinking-previewBaidu———
ERNIE-5.1Baidu———
EXAONE 3.0 7.8B InstructLG AI Research———
EXAONE 3.5 2.4B InstructLG AI Research———
EXAONE 3.5 32B InstructLG AI Research———
EXAONE 3.5 7.8B InstructLG AI Research———
EXAONE 4.0 1.2BLG AI Research———
EXAONE 4.0 32BLG AI Research———
EXAONE 4.0.1 32BLG AI Research———
EXAONE 4.5 33BLG AI Research———
EXAONE Deep 2.4BLG AI Research———
EXAONE Deep 32BLG AI Research———
EXAONE Deep 7.8BLG AI Research———
Gemini 2.5 FlashGoogle———
Gemini 2.5 Flash-LiteGoogle———
Gemini 2.5 ProGoogle———
Gemini 3 Flash PreviewGoogle———
Gemini 3.1 Flash-LiteGoogle———
Gemini 3.5 Flash-LiteGoogle———
Gemma 1 2B ITGoogle———
Gemma 1 7B ITGoogle———
Gemma 1.1 2B ITGoogle———
Gemma 1.1 7B ITGoogle———
Gemma 2 27B ITGoogle———
Gemma 2 2B ITGoogle———
Gemma 2 9B ITGoogle———
Gemma 3 12B ITGoogle———
Gemma 3 1B ITGoogle———
Gemma 3 270M ITGoogle———
Gemma 3 27B ITGoogle———
Gemma 3 4B ITGoogle———
Gemma 3n E2B ITGoogle———
Gemma 3n E4B ITGoogle———
Gemma 4 12B ITGoogle———
Gemma 4 26B-A4B ITGoogle———
Gemma 4 31B ITGoogle———
Gemma 4 E2B ITGoogle———
Gemma 4 E4B ITGoogle———
GLM-4-32B-0414Z.ai———
GLM-4-32B-0414-128KZ.ai———
GLM-4-9B-0414Z.ai———
glm-4-9b-chatZ.ai———
glm-4-9b-chat-1mZ.ai———
GLM-4.1V-9B-ThinkingZ.ai———
GLM-4.5Z.ai———
GLM-4.5-AirZ.ai———
GLM-4.5-AirXZ.ai———
GLM-4.5-FlashZ.ai———
GLM-4.5-XZ.ai———
GLM-4.5VZ.ai———
GLM-4.6Z.ai———
GLM-4.6VZ.ai———
GLM-4.6V-FlashZ.ai———
GLM-4.6V-FlashXZ.ai———
GLM-4.7Z.ai———
GLM-4.7-FlashZ.ai———
GLM-4.7-FlashXZ.ai———
glm-4v-9bZ.ai———
GLM-5Z.ai———
GLM-5-TurboZ.ai———
GLM-5.1Z.ai———
GLM-5V-TurboZ.ai———
glm-edge-1.5b-chatZ.ai———
glm-edge-4b-chatZ.ai———
glm-edge-v-2bZ.ai———
glm-edge-v-5bZ.ai———
GLM-Z1-32B-0414Z.ai———
GLM-Z1-9B-0414Z.ai———
GLM-Z1-Rumination-32B-0414Z.ai———
GPT-3.5-turboOpenAI———
GPT-3.5-turbo-1106OpenAI———
GPT-3.5-turbo-instructOpenAI———
GPT-4OpenAI———
GPT-4-turboOpenAI———
GPT-4.1OpenAI———
GPT-4.1 MiniOpenAI———
GPT-4.1-nanoOpenAI———
GPT-4oOpenAI———
GPT-4o MiniOpenAI———
GPT-5OpenAI———
GPT-5 MiniOpenAI———
GPT-5 NanoOpenAI———
GPT-5 ProOpenAI———
GPT-5.1OpenAI———
GPT-5.2OpenAI———
GPT-5.2 ProOpenAI———
GPT-5.3 CodexOpenAI———
GPT-5.3 Codex SparkOpenAI———
GPT-5.4 MiniOpenAI———
GPT-5.4 NanoOpenAI———
GPT-5.4 ProOpenAI———
GPT-5.5 ProOpenAI———
gpt-oss-120bOpenAI———
gpt-oss-20bOpenAI———
Grok-4.20-0309-non-reasoningxAI———
Grok-4.20-0309-reasoningxAI———
Grok-4.20-multi-agent-0309xAI———
Grok-4.3xAI———
Grok-build-0.1xAI———
Hunyuan A52B InstructTencent———
Hunyuan-0.5B-InstructTencent———
Hunyuan-1.8B-InstructTencent———
Hunyuan-4B-InstructTencent———
Hunyuan-7B-InstructTencent———
Hunyuan-7B-Instruct-0124Tencent———
Hunyuan-A13B-InstructTencent———
Hy3Tencent———
Hy3-previewTencent———
Hy4-previewTencent———
K EXAONE 2.0 750B A37BLG AI Research———
K EXAONE 236B A23BLG AI Research———
Kimi-Dev-72BMoonshot———
Kimi-K2.6Moonshot———
Kimi-Linear-48B-A3B-InstructMoonshot———
Kimi-VL-A3B-InstructMoonshot———
Kimi-VL-A3B-Thinking-2506Moonshot———
Leanstral 1.5Mistral———
Llama 4 MaverickMeta———
Llama-3.1-405B-InstructMeta———
Llama-3.1-70B-InstructMeta———
Llama-3.1-8B-InstructMeta———
Llama-3.2-11B-Vision-InstructMeta———
Llama-3.2-1B-InstructMeta———
Llama-3.2-3B-InstructMeta———
Llama-3.2-90B-Vision-InstructMeta———
Llama-3.3-70B-InstructMeta———
Llama-4-Scout-17B-16E-InstructMeta———
Magistral Medium 1.2Mistral———
Magistral Small 1.2Mistral———
MAI-Code-1-FlashMicrosoft———
MAI-Code-1.1-FlashMicrosoft———
MAI-DS-R1Microsoft———
MAI-Thinking-1Microsoft———
MiMo-7B-RLXiaomi———
MiMo-7B-RL-0530Xiaomi———
MiMo-7B-RL-ZeroXiaomi———
MiMo-7B-SFTXiaomi———
MiMo-V2-FlashXiaomi———
MiMo-V2.5Xiaomi———
MiMo-V2.5-ProXiaomi———
MiMo-VL-7B-RLXiaomi———
MiMo-VL-7B-RL-2508Xiaomi———
MiMo-VL-7B-SFTXiaomi———
MiMo-VL-7B-SFT-2508Xiaomi———
MiniCPM5-2BOpenBMB———
MiniMax-M1-40kMiniMax———
MiniMax-M1-80kMiniMax———
MiniMax-M2MiniMax———
MiniMax-M2-herMiniMax———
MiniMax-M2.1MiniMax———
MiniMax-M2.5MiniMax———
MiniMax-M2.7MiniMax———
MiniMax-M3MiniMax———
MiniMax-Text-01MiniMax———
MiniMax-VL-01MiniMax———
Ministral 3 14BMistral———
Ministral 3 3BMistral———
Ministral 3 8BMistral———
Ministral 3BMistral———
Ministral 8BMistral———
Mistral Large 2 (July 2024)Mistral———
Mistral Large 2.1Mistral———
Mistral Large 3Mistral———
Mistral Medium 3Mistral———
Mistral Medium 3.1Mistral———
Mistral Medium 3.5Mistral———
Mistral Nemo 12BMistral———
Mistral Small 3.2Mistral———
Mistral Small 4Mistral———
Mistral Small CreativeMistral———
Muse Glimmer 30BMeta———
Muse Spark 1.3Meta———
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16NVIDIA———
North-Micro-Vision-InstructCohere———
North-Mini-Code-1.0Cohere———
NVIDIA Nemotron 3 UltraNVIDIA———
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-3-Nano-4B-BF16NVIDIA———
NVIDIA-Nemotron-3-Super-120B-A12B-BF16NVIDIA———
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2-VL-BF16NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2-JapaneseNVIDIA———
o1OpenAI———
o1-proOpenAI———
o3OpenAI———
o3-miniOpenAI———
o3-proOpenAI———
o4-miniOpenAI———
Phi-3-medium-128k-instructMicrosoft———
Phi-3-medium-4k-instructMicrosoft———
Phi-3-mini-128k-instructMicrosoft———
Phi-3-mini-4k-instructMicrosoft———
Phi-3-small-128k-instructMicrosoft———
Phi-3-small-8k-instructMicrosoft———
Phi-3-vision-128k-instructMicrosoft———
Phi-3.5-mini-instructMicrosoft———
Phi-3.5-MoE-instructMicrosoft———
Phi-3.5-vision-instructMicrosoft———
phi-4Microsoft———
Phi-4-mini-flash-reasoningMicrosoft———
Phi-4-mini-instructMicrosoft———
Phi-4-mini-reasoningMicrosoft———
Phi-4-multimodal-instructMicrosoft———
Phi-4-reasoningMicrosoft———
Phi-4-reasoning-plusMicrosoft———
Phi-4-reasoning-vision-15BMicrosoft———
Phi-mini-MoE-instructMicrosoft———
Phi-tiny-MoE-instructMicrosoft———
Pixtral 12BMistral———
Pixtral LargeMistral———
Qianfan-VL-3BBaidu———
Qianfan-VL-70BBaidu———
Qianfan-VL-8BBaidu———
QVQ-maxQwen———
QVQ-plusQwen———
Qwen-coder-plusQwen———
Qwen-coder-turboQwen———
Qwen-flashQwen———
Qwen-flash-characterQwen———
Qwen-longQwen———
Qwen-math-plusQwen———
Qwen-math-turboQwen———
Qwen-maxQwen———
Qwen-omni-turboQwen———
Qwen-plusQwen———
Qwen-plus-characterQwen———
Qwen-plus-character-jaQwen———
Qwen-turboQwen———
Qwen-vl-maxQwen———
Qwen-vl-plusQwen———
Qwen3-0.6BQwen———
Qwen3-1.7BQwen———
Qwen3-14BQwen———
Qwen3-235B-A22BQwen———
Qwen3-235B-A22B-Instruct-2507Qwen———
Qwen3-235B-A22B-Thinking-2507Qwen———
Qwen3-30B-A3BQwen———
Qwen3-30B-A3B-Instruct-2507Qwen———
Qwen3-30B-A3B-Thinking-2507Qwen———
Qwen3-32BQwen———
Qwen3-4BQwen———
Qwen3-4B-Instruct-2507Qwen———
Qwen3-4B-Thinking-2507Qwen———
Qwen3-8BQwen———
Qwen3-Coder-30B-A3B-InstructQwen———
Qwen3-Coder-480B-A35B-InstructQwen———
Qwen3-coder-flashQwen———
Qwen3-Coder-NextQwen———
Qwen3-coder-plusQwen———
Qwen3-maxQwen———
Qwen3-Next-80B-A3B-InstructQwen———
Qwen3-Next-80B-A3B-ThinkingQwen———
Qwen3-Omni-30B-A3B-InstructQwen———
Qwen3-Omni-30B-A3B-ThinkingQwen———
Qwen3-omni-flashQwen———
Qwen3-VL-235B-A22B-InstructQwen———
Qwen3-VL-235B-A22B-ThinkingQwen———
Qwen3-VL-2B-InstructQwen———
Qwen3-VL-2B-ThinkingQwen———
Qwen3-VL-30B-A3B-InstructQwen———
Qwen3-VL-30B-A3B-ThinkingQwen———
Qwen3-VL-32B-InstructQwen———
Qwen3-VL-32B-ThinkingQwen———
Qwen3-VL-4B-InstructQwen———
Qwen3-VL-4B-ThinkingQwen———
Qwen3-VL-8B-InstructQwen———
Qwen3-VL-8B-ThinkingQwen———
Qwen3-vl-flashQwen———
Qwen3-vl-plusQwen———
Qwen3.5-0.8BQwen———
Qwen3.5-122B-A10BQwen———
Qwen3.5-27BQwen———
Qwen3.5-2BQwen———
Qwen3.5-35B-A3BQwen———
Qwen3.5-397B-A17BQwen———
Qwen3.5-4BQwen———
Qwen3.5-9BQwen———
Qwen3.5-flashQwen———
Qwen3.5-omni-flashQwen———
Qwen3.5-omni-plusQwen———
Qwen3.5-plusQwen———
Qwen3.6-27BQwen———
Qwen3.6-35B-A3BQwen———
Qwen3.6-flashQwen———
Qwen3.6-plusQwen———
Qwen3.7-flashQwen———
Qwen3.7-maxQwen———
Qwen3.7-plusQwen———
Qwen3.8-2.4T-A95BQwen———
Qwen3.8-27BQwen———
Qwen3.8-flashQwen———
Qwen3.8-Flash-NextQwen———
QwQ-plusQwen———
RecurrentGemma 2B ITGoogle———
RecurrentGemma 9B ITGoogle———
Seed 1.6ByteDance———
Seed 1.6 ThinkingByteDance———
Seed 1.6 VisionByteDance———
Seed 1.8ByteDance———
Seed 2.0 CodeByteDance———
Seed 2.0 LiteByteDance———
Seed 2.0 MiniByteDance———
Seed 2.0 ProByteDance———
Seed 2.1 ProByteDance———
Seed 2.1 TurboByteDance———
Seed CharacterByteDance———
Seed Coder 8B InstructByteDance———
Seed Coder 8B ReasoningByteDance———
Seed EvolvingByteDance———
Seed OSS 36B InstructByteDance———
SOLAR 10.7B Instruct v1.0Upstage———
Solar Mini (April 2025)Upstage———
Solar Open 100BUpstage———
Solar Open2 250BUpstage———
Solar Pro 2 (December 2025)Upstage———
Solar Pro 3Upstage———
Solar Pro 4Upstage———
solar pro preview instructUpstage———
Step 3StepFun———
Step 3 VL 10BStepFun———
Step 3.5 FlashStepFun———
Step 3.7 FlashStepFun———
SynLogic-32BMiniMax———
SynLogic-7BMiniMax———
SynLogic-Mix-3-32BMiniMax———
Tiny Aya EarthCohere———
Tiny Aya FireCohere———
Tiny Aya GlobalCohere———
Tiny Aya WaterCohere———
visualglm-6bZ.ai———
Voxtral MiniMistral———
Voxtral SmallMistral———
WeDLM-7B-InstructTencent———
WeDLM-8B-InstructTencent———
Youtu-LLM-2BTencent———

Other harnesses

These runs use other harnesses. Capability scoring matches configurations separately; model details identify which source records contribute.

ModelScoreHarnessEvidenceSource-recorded date
Claude Fable 5.1Anthropic67.4%Anthropic DeepSWE1.1 reported systemlab self-report

Section8.3 specifies113tasks andfive-trial mean67.4. Scoring is original hidden-test result; discussion of alternative task interpretations is not substituted. Agent equivalence to miniSWE is unverified.

2026-09-01