题目定位#

本题定位为 探索型 / benchmark 型 RAG 题。

不承诺赛前公开边界下存在 exact 800 / 800 的标准满分路线。榜单高分代表方案在当前隐藏参考集上的综合质量更高，而不是证明已经找到唯一标准解。赛后获奖审核会结合自动分数、方案复现、引用可解释性、AI 使用边界和 Writeup 证据进行确认。

任务介绍#

你是一名图书馆问答员，需要根据本地知识库回答问题，并给出支撑答案的文档片段编号。知识库包含校园制度、实验室安全手册、社团章程、课程说明、设备借用规则等改写或合成文档。

你的任务是：

• 从本地知识库中检索与问题相关的片段。
• 输出简短、准确、可归一化的答案。
• 同时返回支持答案的 chunk_id 列表。
• 对知识库无法回答的问题输出规定拒答文本。

本题高分来自检索命中、引用可验证、多跳拆解和拒答，不鼓励模型脱离知识库自由编答案。为避免题目退化为闭源 API 调用比赛，本题要求最终方案基于本地可运行的开源模型、传统检索算法或规则系统实现，并对可使用的开源模型规模设置上限。

最终提交不得由闭源 API、商业 Agent、远程托管 embedding/rerank 服务或人工标注平台生成。选手可以完全使用 BM25、TF-IDF、规则抽取和轻量 rerank 完成，也可以使用参数量受限的开源本地模型辅助生成。获奖候选队伍必须提交可复现证据，证明最终答案由符合规则的本地流程产生。

赛题背景#

RAG 系统的核心不是单纯生成流畅回答，而是将回答约束在可验证知识来源之内。真实知识库问答需要处理多跳查询、否定条件、冲突条款、无法回答问题和文档中的干扰指令。

本题考察混合检索、rerank、引用校验、拒答阈值、JSON 输出修复和受限开源模型条件下的工程取舍。一个可行方案可以完全不使用生成式大模型，例如 BM25/TF-IDF 检索、关键词规则、轻量 cross-encoder rerank、模板化答案抽取和拒答阈值；也可以使用符合参数限制的开源本地模型辅助生成，但必须保证答案能被引用片段支撑。

本题是探索型 benchmark，参赛目标是尽可能提升受限开源本地流程的稳定性和可解释性。

数据说明#

corpus.jsonl 每行字段：

train_qa.jsonl 每行字段：

test_questions.jsonl 不含答案和引用。测试问题包含事实查询、条件查询、多跳组合、否定条件、冲突条款、无法回答和文档中 prompt injection 干扰。

推荐解题方式#

本题不保证公开数据中已经直接包含每个隐藏问题的同问法训练样例。探索型 benchmark 的重点是利用公开语料和训练问答归纳检索、抽取、拒答和引用校验策略。

模型规模限制#

最终生成提交所用模型必须满足以下限制：

量化不会改变参数量认定。MoE 模型按总参数量认定，不按 active parameters 认定。最终推理流程不得调用超过上述限制的教师模型、闭源模型或远程托管模型来生成测试答案、引用或拒答判断。

如果最终流程包含多个模型，总体要求如下：

• 最多使用 1 个生成式语言模型参与最终测试集答案生成。
• 最多使用 1 个 embedding 模型和 1 个 reranker / cross-encoder 参与最终检索排序。
• 不允许通过多个大模型投票、链式自洽、多模型辩论或大规模 ensemble 扩大有效算力。
• 允许使用不含可学习参数的规则、词典、BM25、TF-IDF、正则表达式、字符串匹配、数值归一化和 JSON 修复器。

注意事项#

• 所有答案必须来自本地知识库。
• 禁止使用知识库之外的外部答案源回填。
• 引用必须与答案相关，伪造引用会被扣分。
• 获奖候选队伍必须能够在断网环境或只允许下载已声明开源权重的环境中复现最终 results.json。

提交说明#

提交文件必须压缩为：

1
NS-2026-02-answer.zip

压缩包内必须只包含：

1
results.json

提交格式#

1
[
2
  {
3
    "id": "q001",
4
    "answer": "需要提前三天提交申请。",
5
    "citations": ["doc12_003", "doc12_004"]
6
  }
7
]

格式要求：

• 顶层必须为数组。
• 每个测试问题必须出现一次。
• answer 必须为字符串，不得为空。
• citations 必须为字符串数组，最多保留前 5 个。

得分计算#

隐藏评测输出 raw score，总分 800：

答案准确性使用归一化精确匹配和字符级 F1，并对少量等价答案设置别名。引用命中率按 gold chunk 的 Recall@K 计算，多引用题最多按前 2 个关键引用归一化。无法回答题建议统一输出 无法根据给定知识库回答，并保持 citations 为空。

分数含义#

本题是探索型 / benchmark 型题目。800 是隐藏参考集和评分器定义出的 raw score 上限，用于校验评分器自洽和比较方案质量；组委会不承诺赛前公开边界下存在 exact 800 / 800 或 exact full score 路线。

自动榜分数主要反映以下能力：

• 能否从本地 corpus.jsonl 检索到正确支撑片段。
• 能否输出简短、可归一化、由引用支撑的答案。
• 能否处理多跳、条件、冲突、否定和数值问题。
• 能否在知识库无法回答时稳定拒答。
• 能否在受限开源本地模型或规则流程下保持可复现。

无效提交情况#

JSON 无法解析、ID 缺失或重复、字段类型错误、引用字段不是数组时，将判为 0 分。

AI 协助规则#

本题 AI 协助等级为 A1-Open，即“开源可复现 RAG”。本题允许使用 AI 工具学习概念、辅助写代码和分析报错，但最终测试集答案必须由本地可运行、可复现、参数量受限的开源流程生成。

本题不允许使用闭源 API、商业 Agent 或远程托管模型生成最终答案、引用或拒答判断。

模型规模认定#

参数量按模型公开标称参数量或权重实际结构认定。量化、剪枝、低比特推理不会降低参数量认定。MoE 模型按总参数量认定，不按 active parameters 认定。

最终流程最多允许：

• 1 个生成式语言模型。
• 1 个 embedding 模型。
• 1 个 reranker / cross-encoder。

不含可学习参数的规则、BM25、TF-IDF、字符串匹配、JSON 修复和后处理脚本不计入模型数量。

可复现要求#

获奖候选队伍必须提交复现实验包。复现实验包至少包含：

• README.md：从公开数据生成最终 results.json 的完整步骤。
• requirements.txt、environment.yml 或容器说明。
• 推理脚本、配置文件、随机种子和命令行参数。
• 使用的模型名称、版本、许可证、下载地址、参数量、权重 hash 和本地路径说明。
• 关键运行日志，包括索引构建、检索、rerank、生成或抽取、拒答判断和格式校验输出。
• 若使用微调或 LoRA，必须提供训练数据来源、训练命令、checkpoint hash 和推理加载方式。

组委会可要求获奖候选队伍在断网环境中复跑部分或全部测试问题。若复跑结果无法解释地偏离最终提交，或无法提供符合规则的本地流程，组委会可取消获奖资格。

Writeup 补充要求#

Writeup 必须包含 RAG pipeline 图，说明 chunk、检索、rerank、生成或抽取、引用校验、拒答策略和 JSON 修复流程。

必须披露：

• 所有模型和库的名称、版本、参数量、许可证和用途。
• 是否使用生成式模型；如果使用，说明 prompt 摘要、输入字段、输出约束和失败处理。
• 本地验证集划分方式、主要指标和与线上分数差异。
• 至少 5 个案例分析：正确引用、多跳、拒答、检索失败、模型幻觉或规则误判。
• schema 校验截图或日志、AI 工具使用声明和资源环境说明。

Writeup需包含最终提交压缩包文件 SHA256，指平台上传的 NS-2026-02-answer.zip 的 SHA256。