数据健康状态:全量通过 Schema 校验

榜单数据源与快照健康状态

本项目坚持数据透明与可复现原则。所有数据均由 GitHub Actions 在构建时执行强类型 JSON Schema 校验,自动定时任务仅对允许且支持的来源进行拉取,失败时严格保留历史快照。

7
收录榜单总数
7 / 7
有效结构化快照
7
自动化同步源
105
跨榜条目总快照量

数据源监控细表

数据源标识 来源名称 更新策略 快照日期 最后人工核验 模型条目 快照完整度 详情
opencompass-overall OpenCompass 司南能力榜单 定时抓取 (weekly) 2026-10-26 2026-10-26 15 ✓ 正常有效 查看 →
superclue-general SuperCLUE 中文通用大模型基准 定时抓取 (monthly) 2026-10-26 2026-10-26 15 ✓ 正常有效 查看 →
artificial-analysis Artificial Analysis Leaderboard 定时抓取 (weekly) 2026-10-26 2026-10-26 15 ✓ 正常有效 查看 →
openrouter-rankings OpenRouter Top Models 定时抓取 (daily) 2026-10-26 2026-10-26 15 ✓ 正常有效 查看 →
huggingface-allbench Hugging Face Open LLM Leaderboard v2 定时抓取 (weekly) 2026-10-26 2026-10-26 15 ✓ 正常有效 查看 →
vectara-hallucination Vectara Hallucination Leaderboard 定时抓取 (weekly) 2026-10-26 2026-10-26 15 ✓ 正常有效 查看 →
mteb-retrieval MTEB Massive Text Embedding Benchmark 定时抓取 (weekly) 2026-10-26 2026-10-26 15 ✓ 正常有效 查看 →

🛠️ 自动化数据更新与容灾策略

1. 定时触发与隔离

通过 GitHub Actions 定时触发(Cron),在独立运行器中调用适配器脚本拉取允许自动更新的官方 API 或公开快照。

2. 故障软降级保护

若网络波动或第三方接口结构发生变更,更新任务将输出告警日志并触发失败提醒,严格保留上一期有效快照,绝不静默写入畸变数据或阻断站点发布。

3. 严谨人工审核

对于设置反爬防御、反爬验证码或条款未明确授权自动爬取的权威榜单,我们采取开源 Pull Request 方式人工核验快照,确保数据可信与合规。