投稿

AI模型评测

CMMLU
CMMLU
定义与概述CMMLU 是一个名称被用于两个不同但相关AI项目的术语。1.它指代中文评估基准，用于衡量语言模型在中文环境下的知识和推理能力；2.它也指代一个开源多模态低资源学习框架，旨在解决多模态任务中的小数据挑战。以下分两部分详细介绍这两个项目。---中文评估基准CMMLU功能与目标CMMLU是一个综合性的中文评估基准，专注于评估语言模型在中文语境下的知识深度、推理能力以及多任务处理能力。它覆盖了

Chatbot Arena
Chatbot Arena
简介Chatbot Arena是由国际开放研究组织LMSYS Org开发的大模型竞技与评估平台，旨在通过用户参与的方式，客观比较不同大型语言模型（LLM）的性能。该平台由加州大学伯克利分校SkyLab与LMSYS联合推出，前身名为“LMSYS”，后更名为Chatbot Arena以更清晰地定位其核心功能。其核心机制是通过众包投票和Elo评分系统，让用户匿名与多个模型互动后选择更优者，最终生成实时更

Open LLM Leaderboard
Open LLM Leaderboard
概述Open LLM Leaderboard 是由 HuggingFace 推出的全球权威开源大型语言模型（LLMs）评估与排名平台，旨在系统化衡量和展示开源大模型在多项核心任务中的性能表现。该平台基于 Eleuther AI 开发的 Language Model Evaluation Harness（LME）框架构建，覆盖阅读理解、逻辑推理、数学计算、事实问答等六大核心评测维度，为开发者、研究人