数学出题实验室
从生成速度到题目质量,让每一次出题都可衡量。
登录实验室
使用本项目独立的管理员账号。
12 个知识点 × 3 个难度
固定能力合同,可复现实验
Solver + 独立 Oracle + 双语解析
生成效率与外部审计单独统计
单题 AI 审查设置 · 使用自己的 Key
仅发送你点击的合格题。先盲解,再审查,最多 2 次外部调用;模型意见不改写门禁结论。Key 通过本网站服务器转发,仅存当前登录会话内存,30 分钟到期,退出、清除或服务重启后失效,不写入数据库或浏览器存储。
创建生成实验
01 / CONFIGURE等待首个实验
真实生成、完整计时、保留失败。
给出目标,让引擎接受检验
选择知识点、难度和数量后开始。
这里会显示合格产出、耗时、门禁拦截和审计结果。
实验记录
勾选两至四个批次进行对比。引擎、工作负载、并发及硬件不一致时,结果不宜直接归因于引擎改进。
数字代表什么
最低影子覆盖证明每个登记范围已有最低验证证据,不承诺任意种子、任意数量都能生成合格题,也不等于生产发布资格。这里运行独立引擎快照,并保留每次尝试。
生成口径
- 设置 N 分配为 N 个题位,按所选组合及范围轮转;每个题位最多交付一题。
- 最终新增合格率 = 新增合格题数 ÷ 题位 N;运行时只是产出进度。首次通过率 = 首次尝试通过数 ÷ 已结束的首次尝试数。
- 尝试产出率 = 合格题数 ÷ 已结束的全部尝试数;构造率 = 已构造题数 ÷ 已结束尝试数。
- 质量门禁通过率按历史去重前的完整质量检查计数;最终门禁通过率还要求实验库精确去重通过。两者分母均为实际完成门禁判断数。工作线程错误、超时、构造失败分别保留。
- 总生成耗时从首次调度到最后题位结束,包含门禁、重试及中间等待;排队时间和 AI 审计不混入。
- 合格题/分钟使用整批墙钟时间;单次耗时的 P50/P95 使用已测量样本。超时或中断的未知分段不伪造为零。
- 取消只取消未开始的题位,已经执行的尝试照常记账。重启打断的尝试计为失败,恢复不增加重试额度。
实验门禁边界
使用原引擎的精确计划、Solver、独立 Oracle、中英文解析验证、画像与质量审核、内容检查。实验策略保守地拦截所有 needs_review,并增加实验库历史精确去重。它不调用原站点的数据库、发布服务、人工覆盖或原始来源库。由于原站点的发布路由有专用策略,本实验通过率不应冒充原站点发布通过率。
历史去重按规范化题干和排序后的选项计算;不把“原来源库未接入”宣称为已通过来源新颖性验证。跨来源语义复制、真实教学难度仍需进一步评估。
审计口径
只发送已通过实验门禁且内容哈希一致的题。每题独立作答与质量审查分别调用一次模型。各维度评分 1–5 分,展示均值、标准差及低于 4 分的比例;新颖性维度仅表示模型对结构重复的判断。
审计疑似漏放率 = 明确指出问题或答案分歧的题 ÷ 有明确审计结论的题。它不是门禁的误杀率或整体召回率,因为被门禁拦截的题没有送审。模型不确定、响应格式错误、接口失败和费用未知单独显示。
费用按配置价格与服务返回 token 用量估算,实际账单以服务商为准。每次调用前预留保守预算;未知费用不当作零,不自动重试可能已经计费的请求。批次审计完成与生成完成独立。
复现与比较
JSON 导出包含配置、种子、引擎快照 SHA、环境、全部尝试及证据。相同种子可复现数学内容,但实验历史去重会让重复内容被拦下。做对照实验应使用独立的测试数据库,保留原实验数据,不清除失败记录来提高指标。