UnifyBench

Rankingτ²-bench Telecom

τ²-bench Telecom

Data updated 12 Sept 2026

Bucket
Supporting evidence
Unit
percent
Direction
Higher is better
Version
telecom
Display harness
τ²-bench Telecom reported
Board
https://github.com/sierra-research/tau-bench

The available records have no admitted matched comparison in the capability core. Raw results remain available below.

Compare published benchmark results with category weights →

Models

ModelScoreEvidenceSource-recorded date
Gemini 3.1 ProGoogle99.3%lab self-report

No reviewed preferred comparison unit and calibration currently exists for this benchmark; raw report remains available.

2026-02-19
NVIDIA Nemotron 3 UltraNVIDIA92.9%lab self-report

Current source table labels92.9 as TauBenchV3 Telecom, not tau2-telecom: benchmark version mismatch.

2026-06-04
Agnes 2.5 Pro AlphaAgnes AI———
Amazon Nova 2 LiteAmazon———
Amazon Nova 2 Pro PreviewAmazon———
Amazon Nova LiteAmazon———
Amazon Nova MicroAmazon———
Amazon Nova PremierAmazon———
Amazon Nova ProAmazon———
AutoGLM-Phone-9BZ.ai———
AutoGLM-Phone-9B-MultilingualZ.ai———
aya-101Cohere———
aya-23-35BCohere———
aya-23-8BCohere———
aya-expanse-8bCohere———
aya-vision-8bCohere———
C4Ai Aya Expanse 32BCohere———
C4Ai Aya Vision 32BCohere———
c4ai-command-r7b-arabic-02-2025Cohere———
chatglm-6bZ.ai———
chatglm2-6bZ.ai———
chatglm2-6b-32kZ.ai———
chatglm3-6bZ.ai———
chatglm3-6b-128kZ.ai———
chatglm3-6b-32kZ.ai———
Claude Fable 5Anthropic———
Claude Fable 5.1Anthropic———
Claude Haiku 4.5Anthropic———
Claude Opus 4.5Anthropic———
Claude Opus 4.6Anthropic———
Claude Opus 4.7Anthropic———
Claude Opus 4.8Anthropic———
Claude Opus 5Anthropic———
Claude Sonnet 4.5Anthropic———
Claude Sonnet 4.6Anthropic———
Claude Sonnet 5Anthropic———
codegeex2-6bZ.ai———
codegeex4-all-9bZ.ai———
CodeGemma 7B ITGoogle———
Codestral 2508Mistral———
cogagent-9b-20241220Z.ai———
cogagent-chat-hfZ.ai———
cogagent-vqa-hfZ.ai———
cogvlm-chat-hfZ.ai———
cogvlm2-llama3-chat-19BZ.ai———
cogvlm2-llama3-chinese-chat-19BZ.ai———
cogvlm2-video-llama3-chatZ.ai———
CommandCohere———
Command A 03 2025Cohere———
Command A Plus 05 2026Cohere———
Command A Reasoning 08 2025Cohere———
Command A Translate 08 2025Cohere———
Command A Vision 07 2025Cohere———
Command LightCohere———
Command R 03 2024Cohere———
Command R 08 2024Cohere———
Command R Plus 04 2024Cohere———
Command R Plus 08 2024Cohere———
Command R7B 12 2024Cohere———
DeepSeek V4 Flash 0424DeepSeek———
DeepSeek V4-Pro 0424DeepSeek———
DeepSeek V4-Pro 0813DeepSeek———
DeepSeek-R1-0528DeepSeek———
DeepSeek-R1-0528-Qwen3-8BDeepSeek———
DeepSeek-R1-Distill-Llama-70BDeepSeek———
DeepSeek-R1-Distill-Llama-8BDeepSeek———
DeepSeek-R1-Distill-Qwen-1.5BDeepSeek———
DeepSeek-R1-Distill-Qwen-14BDeepSeek———
DeepSeek-R1-Distill-Qwen-32BDeepSeek———
DeepSeek-R1-Distill-Qwen-7BDeepSeek———
DeepSeek-V3.2DeepSeek———
DeepSeek-V3.2-SpecialeDeepSeek———
DeepSeek-V4-Flash-0731DeepSeek———
DeepSeek-V4-Flash-Vision-ExpDeepSeek———
Devstral 2Mistral———
Devstral Medium 1.0Mistral———
Devstral Small 1.1Mistral———
Devstral Small 2Mistral———
DiffusionGemma 26B A4BGoogle———
Doubao Seed CodeByteDance———
ERNIE-4.5-0.3B-PTBaidu———
ERNIE-4.5-21B-A3B-PTBaidu———
ERNIE-4.5-21B-A3B-ThinkingBaidu———
ERNIE-4.5-300B-A47B-PTBaidu———
ERNIE-4.5-turbo-128kBaidu———
ERNIE-4.5-turbo-20260402Baidu———
ERNIE-4.5-turbo-32kBaidu———
ERNIE-4.5-turbo-vlBaidu———
ERNIE-4.5-turbo-vl-32kBaidu———
ERNIE-4.5-VL-28B-A3B-PTBaidu———
ERNIE-4.5-VL-28B-A3B-ThinkingBaidu———
ERNIE-4.5-VL-424B-A47B-PTBaidu———
ERNIE-5.0Baidu———
ERNIE-5.0-thinking-expBaidu———
ERNIE-5.0-thinking-latestBaidu———
ERNIE-5.0-thinking-previewBaidu———
ERNIE-5.1Baidu———
EXAONE 3.0 7.8B InstructLG AI Research———
EXAONE 3.5 2.4B InstructLG AI Research———
EXAONE 3.5 32B InstructLG AI Research———
EXAONE 3.5 7.8B InstructLG AI Research———
EXAONE 4.0 1.2BLG AI Research———
EXAONE 4.0 32BLG AI Research———
EXAONE 4.0.1 32BLG AI Research———
EXAONE 4.5 33BLG AI Research———
EXAONE Deep 2.4BLG AI Research———
EXAONE Deep 32BLG AI Research———
EXAONE Deep 7.8BLG AI Research———
Gemini 2.5 FlashGoogle———
Gemini 2.5 Flash-LiteGoogle———
Gemini 2.5 ProGoogle———
Gemini 3 Flash PreviewGoogle———
Gemini 3.1 Flash-LiteGoogle———
Gemini 3.5 FlashGoogle———
Gemini 3.5 Flash-LiteGoogle———
Gemini 3.6 FlashGoogle———
Gemini 3.7 FlashGoogle———
Gemini 3.8 FlashGoogle———
Gemma 1 2B ITGoogle———
Gemma 1 7B ITGoogle———
Gemma 1.1 2B ITGoogle———
Gemma 1.1 7B ITGoogle———
Gemma 2 27B ITGoogle———
Gemma 2 2B ITGoogle———
Gemma 2 9B ITGoogle———
Gemma 3 12B ITGoogle———
Gemma 3 1B ITGoogle———
Gemma 3 270M ITGoogle———
Gemma 3 27B ITGoogle———
Gemma 3 4B ITGoogle———
Gemma 3n E2B ITGoogle———
Gemma 3n E4B ITGoogle———
Gemma 4 12B ITGoogle———
Gemma 4 26B-A4B ITGoogle———
Gemma 4 31B ITGoogle———
Gemma 4 E2B ITGoogle———
Gemma 4 E4B ITGoogle———
GLM-4-32B-0414Z.ai———
GLM-4-32B-0414-128KZ.ai———
GLM-4-9B-0414Z.ai———
glm-4-9b-chatZ.ai———
glm-4-9b-chat-1mZ.ai———
GLM-4.1V-9B-ThinkingZ.ai———
GLM-4.5Z.ai———
GLM-4.5-AirZ.ai———
GLM-4.5-AirXZ.ai———
GLM-4.5-FlashZ.ai———
GLM-4.5-XZ.ai———
GLM-4.5VZ.ai———
GLM-4.6Z.ai———
GLM-4.6VZ.ai———
GLM-4.6V-FlashZ.ai———
GLM-4.6V-FlashXZ.ai———
GLM-4.7Z.ai———
GLM-4.7-FlashZ.ai———
GLM-4.7-FlashXZ.ai———
glm-4v-9bZ.ai———
GLM-5Z.ai———
GLM-5-TurboZ.ai———
GLM-5.1Z.ai———
GLM-5.2Z.ai———
GLM-5.3Z.ai———
GLM-5.3-FlashZ.ai———
GLM-5V-TurboZ.ai———
glm-edge-1.5b-chatZ.ai———
glm-edge-4b-chatZ.ai———
glm-edge-v-2bZ.ai———
glm-edge-v-5bZ.ai———
GLM-Z1-32B-0414Z.ai———
GLM-Z1-9B-0414Z.ai———
GLM-Z1-Rumination-32B-0414Z.ai———
GPT-3.5-turboOpenAI———
GPT-3.5-turbo-1106OpenAI———
GPT-3.5-turbo-instructOpenAI———
GPT-4OpenAI———
GPT-4-turboOpenAI———
GPT-4.1OpenAI———
GPT-4.1 MiniOpenAI———
GPT-4.1-nanoOpenAI———
GPT-4oOpenAI———
GPT-4o MiniOpenAI———
GPT-5OpenAI———
GPT-5 MiniOpenAI———
GPT-5 NanoOpenAI———
GPT-5 ProOpenAI———
GPT-5.1OpenAI———
GPT-5.2OpenAI———
GPT-5.2 ProOpenAI———
GPT-5.3 CodexOpenAI———
GPT-5.3 Codex SparkOpenAI———
GPT-5.4OpenAI———
GPT-5.4 MiniOpenAI———
GPT-5.4 NanoOpenAI———
GPT-5.4 ProOpenAI———
GPT-5.5OpenAI———
GPT-5.5 ProOpenAI———
GPT-5.6 LunaOpenAI———
GPT-5.6 SolOpenAI———
GPT-5.6 TerraOpenAI———
GPT-6 AstraOpenAI———
gpt-oss-120bOpenAI———
gpt-oss-20bOpenAI———
Grok 4.6xAI———
Grok-4.20-0309-non-reasoningxAI———
Grok-4.20-0309-reasoningxAI———
Grok-4.20-multi-agent-0309xAI———
Grok-4.3xAI———
Grok-4.5xAI———
Grok-build-0.1xAI———
Hunyuan A52B InstructTencent———
Hunyuan-0.5B-InstructTencent———
Hunyuan-1.8B-InstructTencent———
Hunyuan-4B-InstructTencent———
Hunyuan-7B-InstructTencent———
Hunyuan-7B-Instruct-0124Tencent———
Hunyuan-A13B-InstructTencent———
Hy3Tencent———
Hy3-previewTencent———
Hy4-previewTencent———
K EXAONE 2.0 750B A37BLG AI Research———
K EXAONE 236B A23BLG AI Research———
Kimi K3Moonshot———
Kimi-Dev-72BMoonshot———
Kimi-K2.6Moonshot———
Kimi-K2.7-CodeMoonshot———
Kimi-Linear-48B-A3B-InstructMoonshot———
Kimi-VL-A3B-InstructMoonshot———
Kimi-VL-A3B-Thinking-2506Moonshot———
Leanstral 1.5Mistral———
Llama 4 MaverickMeta———
Llama-3.1-405B-InstructMeta———
Llama-3.1-70B-InstructMeta———
Llama-3.1-8B-InstructMeta———
Llama-3.2-11B-Vision-InstructMeta———
Llama-3.2-1B-InstructMeta———
Llama-3.2-3B-InstructMeta———
Llama-3.2-90B-Vision-InstructMeta———
Llama-3.3-70B-InstructMeta———
Llama-4-Scout-17B-16E-InstructMeta———
Magistral Medium 1.2Mistral———
Magistral Small 1.2Mistral———
MAI-Code-1-FlashMicrosoft———
MAI-Code-1.1-FlashMicrosoft———
MAI-DS-R1Microsoft———
MAI-Thinking-1Microsoft———
MiMo-7B-RLXiaomi———
MiMo-7B-RL-0530Xiaomi———
MiMo-7B-RL-ZeroXiaomi———
MiMo-7B-SFTXiaomi———
MiMo-V2-FlashXiaomi———
MiMo-V2.5Xiaomi———
MiMo-V2.5-ProXiaomi———
MiMo-VL-7B-RLXiaomi———
MiMo-VL-7B-RL-2508Xiaomi———
MiMo-VL-7B-SFTXiaomi———
MiMo-VL-7B-SFT-2508Xiaomi———
MiniCPM5-2BOpenBMB———
MiniMax-M1-40kMiniMax———
MiniMax-M1-80kMiniMax———
MiniMax-M2MiniMax———
MiniMax-M2-herMiniMax———
MiniMax-M2.1MiniMax———
MiniMax-M2.5MiniMax———
MiniMax-M2.7MiniMax———
MiniMax-M3MiniMax———
MiniMax-Text-01MiniMax———
MiniMax-VL-01MiniMax———
Ministral 3 14BMistral———
Ministral 3 3BMistral———
Ministral 3 8BMistral———
Ministral 3BMistral———
Ministral 8BMistral———
Mistral Large 2 (July 2024)Mistral———
Mistral Large 2.1Mistral———
Mistral Large 3Mistral———
Mistral Medium 3Mistral———
Mistral Medium 3.1Mistral———
Mistral Medium 3.5Mistral———
Mistral Nemo 12BMistral———
Mistral Small 3.2Mistral———
Mistral Small 4Mistral———
Mistral Small CreativeMistral———
Muse Glimmer 30BMeta———
Muse Spark 1.1Meta———
Muse Spark 1.2Meta———
Muse Spark 1.3Meta———
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16NVIDIA———
North-Micro-Vision-InstructCohere———
North-Mini-Code-1.0Cohere———
NVIDIA-Nemotron-3-Nano-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-3-Nano-4B-BF16NVIDIA———
NVIDIA-Nemotron-3-Super-120B-A12B-BF16NVIDIA———
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2NVIDIA———
NVIDIA-Nemotron-Nano-12B-v2-VL-BF16NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2NVIDIA———
NVIDIA-Nemotron-Nano-9B-v2-JapaneseNVIDIA———
o1OpenAI———
o1-proOpenAI———
o3OpenAI———
o3-miniOpenAI———
o3-proOpenAI———
o4-miniOpenAI———
Phi-3-medium-128k-instructMicrosoft———
Phi-3-medium-4k-instructMicrosoft———
Phi-3-mini-128k-instructMicrosoft———
Phi-3-mini-4k-instructMicrosoft———
Phi-3-small-128k-instructMicrosoft———
Phi-3-small-8k-instructMicrosoft———
Phi-3-vision-128k-instructMicrosoft———
Phi-3.5-mini-instructMicrosoft———
Phi-3.5-MoE-instructMicrosoft———
Phi-3.5-vision-instructMicrosoft———
phi-4Microsoft———
Phi-4-mini-flash-reasoningMicrosoft———
Phi-4-mini-instructMicrosoft———
Phi-4-mini-reasoningMicrosoft———
Phi-4-multimodal-instructMicrosoft———
Phi-4-reasoningMicrosoft———
Phi-4-reasoning-plusMicrosoft———
Phi-4-reasoning-vision-15BMicrosoft———
Phi-mini-MoE-instructMicrosoft———
Phi-tiny-MoE-instructMicrosoft———
Pixtral 12BMistral———
Pixtral LargeMistral———
Qianfan-VL-3BBaidu———
Qianfan-VL-70BBaidu———
Qianfan-VL-8BBaidu———
QVQ-maxQwen———
QVQ-plusQwen———
Qwen 3.8-MaxQwen———
Qwen-coder-plusQwen———
Qwen-coder-turboQwen———
Qwen-flashQwen———
Qwen-flash-characterQwen———
Qwen-longQwen———
Qwen-math-plusQwen———
Qwen-math-turboQwen———
Qwen-maxQwen———
Qwen-omni-turboQwen———
Qwen-plusQwen———
Qwen-plus-characterQwen———
Qwen-plus-character-jaQwen———
Qwen-turboQwen———
Qwen-vl-maxQwen———
Qwen-vl-plusQwen———
Qwen3-0.6BQwen———
Qwen3-1.7BQwen———
Qwen3-14BQwen———
Qwen3-235B-A22BQwen———
Qwen3-235B-A22B-Instruct-2507Qwen———
Qwen3-235B-A22B-Thinking-2507Qwen———
Qwen3-30B-A3BQwen———
Qwen3-30B-A3B-Instruct-2507Qwen———
Qwen3-30B-A3B-Thinking-2507Qwen———
Qwen3-32BQwen———
Qwen3-4BQwen———
Qwen3-4B-Instruct-2507Qwen———
Qwen3-4B-Thinking-2507Qwen———
Qwen3-8BQwen———
Qwen3-Coder-30B-A3B-InstructQwen———
Qwen3-Coder-480B-A35B-InstructQwen———
Qwen3-coder-flashQwen———
Qwen3-Coder-NextQwen———
Qwen3-coder-plusQwen———
Qwen3-maxQwen———
Qwen3-Next-80B-A3B-InstructQwen———
Qwen3-Next-80B-A3B-ThinkingQwen———
Qwen3-Omni-30B-A3B-InstructQwen———
Qwen3-Omni-30B-A3B-ThinkingQwen———
Qwen3-omni-flashQwen———
Qwen3-VL-235B-A22B-InstructQwen———
Qwen3-VL-235B-A22B-ThinkingQwen———
Qwen3-VL-2B-InstructQwen———
Qwen3-VL-2B-ThinkingQwen———
Qwen3-VL-30B-A3B-InstructQwen———
Qwen3-VL-30B-A3B-ThinkingQwen———
Qwen3-VL-32B-InstructQwen———
Qwen3-VL-32B-ThinkingQwen———
Qwen3-VL-4B-InstructQwen———
Qwen3-VL-4B-ThinkingQwen———
Qwen3-VL-8B-InstructQwen———
Qwen3-VL-8B-ThinkingQwen———
Qwen3-vl-flashQwen———
Qwen3-vl-plusQwen———
Qwen3.5-0.8BQwen———
Qwen3.5-122B-A10BQwen———
Qwen3.5-27BQwen———
Qwen3.5-2BQwen———
Qwen3.5-35B-A3BQwen———
Qwen3.5-397B-A17BQwen———
Qwen3.5-4BQwen———
Qwen3.5-9BQwen———
Qwen3.5-flashQwen———
Qwen3.5-omni-flashQwen———
Qwen3.5-omni-plusQwen———
Qwen3.5-plusQwen———
Qwen3.6-27BQwen———
Qwen3.6-35B-A3BQwen———
Qwen3.6-flashQwen———
Qwen3.6-plusQwen———
Qwen3.7-flashQwen———
Qwen3.7-maxQwen———
Qwen3.7-plusQwen———
Qwen3.8-2.4T-A95BQwen———
Qwen3.8-27BQwen———
Qwen3.8-flashQwen———
Qwen3.8-Flash-NextQwen———
QwQ-plusQwen———
RecurrentGemma 2B ITGoogle———
RecurrentGemma 9B ITGoogle———
Seed 1.6ByteDance———
Seed 1.6 ThinkingByteDance———
Seed 1.6 VisionByteDance———
Seed 1.8ByteDance———
Seed 2.0 CodeByteDance———
Seed 2.0 LiteByteDance———
Seed 2.0 MiniByteDance———
Seed 2.0 ProByteDance———
Seed 2.1 ProByteDance———
Seed 2.1 TurboByteDance———
Seed CharacterByteDance———
Seed Coder 8B InstructByteDance———
Seed Coder 8B ReasoningByteDance———
Seed EvolvingByteDance———
Seed OSS 36B InstructByteDance———
SOLAR 10.7B Instruct v1.0Upstage———
Solar Mini (April 2025)Upstage———
Solar Open 100BUpstage———
Solar Open2 250BUpstage———
Solar Pro 2 (December 2025)Upstage———
Solar Pro 3Upstage———
Solar Pro 4Upstage———
solar pro preview instructUpstage———
Step 3StepFun———
Step 3 VL 10BStepFun———
Step 3.5 FlashStepFun———
Step 3.7 FlashStepFun———
SynLogic-32BMiniMax———
SynLogic-7BMiniMax———
SynLogic-Mix-3-32BMiniMax———
Tiny Aya EarthCohere———
Tiny Aya FireCohere———
Tiny Aya GlobalCohere———
Tiny Aya WaterCohere———
visualglm-6bZ.ai———
Voxtral MiniMistral———
Voxtral SmallMistral———
WeDLM-7B-InstructTencent———
WeDLM-8B-InstructTencent———
Youtu-LLM-2BTencent———