不确定性感知知识追踪：让AI知道自己的认知边界

做教育AI这几年知识追踪Knowledge Tracing, KT是我见过最贴近教育本质、也最难做好的任务之一。它要回答的问题很简单学生当前到底掌握了什么但这个问题的答案远比“做对几道题”复杂得多。AAAI 2025上这篇关于不确定性感知知识追踪UKT的工作直接戳中了传统建模方式的一个盲区——我们一直在用一个确定性的数值去描述一个本身充满不确定性的认知过程。这篇文章我会从问题动机、模型设计、实验验证到复现细节完整拆一遍UKT的思路给正在做教育数据挖掘或者打算入坑知识追踪的同学一个可以直接参考的解读。1. 知识追踪在做什么从“做对题”到“懂知识”的建模革命知识追踪不是一个新问题但每次模型迭代都会带来一轮新的认知冲击。要理解UKT为什么重要得先看清这个领域是怎么一步步走过来的。1.1 这个任务到底在解决什么想象一个在线练习系统学生每天做几道题系统记录下答题对错。知识追踪要做的事情是根据这些历史答题记录推断学生对题目背后知识点的掌握程度并预测他下一秒答对下一道题的概率。听起来直接但这本质上是一个从稀疏、有噪声的观测中反推隐状态的过程。学生做对一道题可能是因为真的会也可能是因为猜对了做错一道题可能是不会也可能只是一时粗心。真实的学习过程充满了这类“系统性噪声”而传统模型对这种噪声几乎没有任何显式建模。UKT那句话说得非常到位**学习状态本身不该是一个确定性的点估计而应该是一个带有置信区间的分布估计。**这个视角的转变是整个工作的灵魂。1.2 从IRT到BKT经典方法的两座大山知识追踪早期有两条主线现在很多新方法的影子都能从这里面找到。项目反应理论IRT从心理学测量论发展而来用一系列参数描述题目难度、区分度和学生能力。它假设学生能力是相对稳定的特质给出的是学生“能力值”的极大似然估计。问题在于它没有显式的时序结构学生做题顺序、知识演进关系在原始IRT里是被忽略的。贝叶斯知识追踪BKT引入隐马尔可夫模型把“掌握/未掌握”当作两个隐状态用转移概率刻画学习过程用猜测/失误概率处理答题噪声。BKT的优点是概率意义清晰、可解释性强缺点也很明显——它假设知识是二值的、独立的实际教学中的知识粒度远比这复杂。这两类方法后来都有大量改进版本但底层都基于相对简化的统计假设。而深度学习的介入彻底改变了这个领域的玩法。1.3 深度知识追踪DKT的贡献与被忽视的问题2015年Deep Knowledge TracingDKT用RNN统一了时序建模和表示学习直接把答题序列作为输入端到端输出知识掌握状态和预测正确率。之后DKVMN引入记忆增强网络用静态矩阵存知识点、动态矩阵存学生状态把可解释性往回拉了一步。这些深度模型在AUC等指标上确实碾压了BKT但所有从业者心里都清楚一件事模型给出的掌握概率从不说“我可能错了”。举个例子一个学生连续做了三道同一知识点的题全部答对。DKT会给出一个0.95以上的高掌握率模型非常自信。但现实中可能这三道题都偏简单学生实际只是勉强能做对也可能学生对同类题型有套路换个问法就露馅。这些情况在数据里都体现为同一个答题模式但背后的真实状态完全不同。模型如果只输出一个确定性的分数就相当于在赌这个分数准确——而且经常赌错。UKT本质上就是在回应这个痛点在预测之前先承认我们不知道什么。2. 核心动机为什么“不确定性”是知识追踪绕不开的坎这一部分要从数学和认知两个层面说清楚为什么单纯堆模型结构、堆参数量解决不了问题必须在方法论层面引入不确定性建模。2.1 认知过程的固有噪声从偶然失误到系统偏差人不是机器。同一个学生在同一天做同一道题结果都可能不同。我把这类噪声拆成三层观测噪声答题结果本身可能失真。猜对、看错题、鼠标误点、时间不够瞎选——这些都会让“正确/错误”这个标签和真实能力产生偏差。状态演化噪声学生的知识状态是动态的而且变化方向不总是“越学越好”。遗忘、混淆、疲劳都会导致掌握程度波动。传统模型通常只考虑单调增长这在复杂学习场景下很不成立。个体差异噪声不同学生反应模式完全不同。有的学生习惯性蒙、有的学生过度谨慎这些个性化行为特征很难用一个全局参数表达。面对这三层噪声传统模型用一个标量概率去表示掌握程度数学上其实是在做一个极其强硬的假设所有噪声都被完美压缩进这个概率里且模型对这个概率完全自信。2.2 两种不确定性偶然不确定性与认知不确定性UKT采用的分类框架来自贝叶斯深度学习把不确定性区分为偶然不确定性和认知不确定性。偶然不确定性Aleatoric Uncertainty由数据生成过程的固有随机性引起比如学生猜对、失误。这类不确定性无法通过增加数据消除只能通过建模来刻画它的大小。打个比方抛硬币正面概率为50%——即使你抛一亿次也无法改变这个随机性本身。认知不确定性Epistemic Uncertainty由模型对真实状态的未知引起。比如学生只做了两道题模型对他的掌握程度判断就很没底做了五十道题之后即使结果一样模型也更有底气。这类不确定性会随着数据量增加而减小是模型知道自己“见识少”的能力。这两种不确定性在知识追踪里都非常关键。前者对应“这次答题结果不可信怎么办”后者对应“当前证据不足怎么办”。传统模型把这两个问题混在一起靠一个数值蒙混过关显然不够严谨。2.3 不确定性感知的实际价值从预测分数到可靠决策引入不确定性不只是学术上的洁癖它在真实教育场景里有三个直接价值自适应学习路径规划如果模型对某个知识点的掌握判断带有很高的不确定性系统就不应该轻易推送新知识而应该先安排巩固练习来降低不确定性。这比单纯看预测正确率做决策科学得多。可信的学情报告给老师展示“该生三角函数掌握度0.72置信区间[0.65,0.79]”比单纯显示一个72分要有信息量得多。老师能据此判断是“确实掌握了”还是“需要更多数据确认”。异常检测与干预当模型的不确定性异常升高时往往意味着学生的行为模式发生了突变——可能是知识点跳跃了、可能是学习策略变化了、甚至可能是学习者换人了。这些信号对教育干预非常宝贵。3. UKT框架拆解不确定性是怎样嵌入知识追踪流程的这一节进入模型层面。UKT的整体思路是在经典深度知识追踪框架上增加两条不确定性感知的路径一条作用在学习状态估计上一条作用在最终响应预测上。3.1 整体架构在记忆网络中安插不确定性的“探针”UKT的底座是类DKVMN的记忆增强结构。静态知识矩阵 $M^k$ 存每个知识点的嵌入表示动态学生状态矩阵 $M^s$ 存学生对每个知识点的掌握状态。每次答题时通过注意力机制读取相关知识点更新学生状态再预测答对概率。UKT的改动发生在两个地方学生状态 $M^s$ 不再是确定性的向量序列而是状态分布——每个知识点对应一组均值和方差。均值表示当前掌握水平方差表示模型对这个水平的置信程度。在最终预测中除了从状态分布中采样计算期望正确率还会额外估计一个预测噪声项用来吸收答题过程中的随机波动。这两处改动的背后逻辑是一致的不再假装我们确切知道学生状态而是用分布去描述它并且把这个分布的宽度也纳入学习目标。3.2 核心部件一状态分布的学生建模具体到实现第 $t$ 次答题时模型先从静态知识矩阵中读取该题涉及知识点的嵌入 $q_t$然后计算读取权重 $w_t$$$w_t(i) \text{softmax}(q_t^\top M^k(i))$$这个 $w_t$ 表示题目 $q_t$ 和每个知识点的相关程度。接着模型基于当前学生状态分布和答题结果更新状态。关键在这步的更新机制——它是从传统确定性更新变成了分布式更新$$\mu_t^{s}, \sigma_t^{s} f_{update}(w_t, r_t, h_{t-1})$$$\mu_t^{s}$ 是更新后的掌握均值$\sigma_t^{s}$ 是更新后的不确定性方差注意这里方差不是固定值而是由答题结果驱动的动态变量。答题越多、证据越充分方差应当下降——如果模型学到的是合理的状态表征这个规律会出现如果数据稀疏或者题目覆盖不足方差会保持高位。这里有个训练上的技巧均值路径和方差路径的梯度量级差异可能很大如果不在网络中分别调节或者加梯度裁剪很容易出现方差坍缩——模型发现预测正确率只需要均值就够了方差被压到零。这就失去了不确定性建模的意义。UKT里针对这一点做了方差的正则化约束防止模型走捷径。3.3 核心部件二不确定性校准的响应预测器状态分布建模好之后最后一步是预测答题正确概率。传统做法是把均值状态和题目嵌入拼接过一个MLP输出一个logit。UKT的预测器增加了两步首先从状态分布中采样一个状态向量$$\tilde{s}_t \sim \mathcal{N}(\mu_t^{s}, \text{diag}(\sigma_t^{s}))$$采样操作本身不可导这里用的是重参数化技巧$$\tilde{s}_t \mu_t^{s} \sigma_t^{s} \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)$$这个采样让预测过程天然带有随机性——同一个人经过同一条历史路径在不同采样下预测结果会轻微波动而这正是“不确定性”在决策层的直接体现。然后模型同时估计一个响应噪声项用于刻画偶然不确定性$$\hat{p}t \text{sigmoid}(g{predict}(\tilde{s}_t, q_t) \eta_t)$$这里的 $\eta_t$ 是在前向传播中动态预测的方差项等价于heteroscedastic aleatoric uncertainty。它的实际作用是当某道题的答题模式很可疑比如基于资源利用特征判断该题噪声大预测器会给logit增加额外的随机偏移降低模型对该预测的把握。3.4 损失函数MLE为主、不确定性正则协同UKT的损失函数设计是整套模型的训练指挥棒。核心损失必然是交叉熵$$\mathcal{L}_{pred} -\sum_t \left[ r_t \log \hat{p}_t (1 - r_t) \log(1 - \hat{p}_t) \right]$$但光有这个会让模型只优化预测准确率不确定性分支容易“虚设”。因此UKT的损失里还有两个重要的正则项状态更新一致性约束用于约束从状态分布采样得到的预测与直接使用均值预测的结果保持合理一致。这个约束保证不确定性分支不会过度干扰核心预测性能。方差正则项目标是在保证校准性能的前提下控制方差量级的合理性防止它坍缩到零也防止它过大导致预测完全随机。这是一个人工可调的balance——论文里是通过在验证集上做超参搜索确定的。实际做实验时交叉熵的权重和正则项的权重需要放在同一个量纲下。我猜UKT的调参过程并不轻松因为不确定性项的量级和数据规模强相关——同样的正则权重在小数据集上可能太强、在大数据集上可能太弱。4. 实验验证与效果分析不确定性带来的全面增益学术论文的说服力靠实验。UKT的实验设置是这一类工作的标准范式它的对比维度和分析深度比较有代表性。4.1 数据集与基线覆盖不同规模与噪声水平UKT实验用的数据集基本是知识追踪领域的benchmark标配通常包含ASSISTments、STATICS、以及一些真实在线学习平台的数据。这些数据集的共同特点是稀疏性强、噪声大、学生行为模式多样。基线方面对比对象基本覆盖了几个世代统计派BKT贝叶斯知识追踪深度先驱DKTRNN-based记忆增强DKVMN图建模代表GKTGraph-based KT也有基于Transformer的变体用于对比时序建模能力4.2 主实验结果不只是AUC的胜利UKT在AUC上的提升属于“稳定小涨”——大概在0.5到1个百分点量级。这类指标已经非常接近饱和能有提升就很能说明问题。但UKT更重要的收益体现在以下两个维度预测校准性用可靠性曲线和期望校准误差ECE衡量UKT明显优于DKT/DKVMN等确定性模型。意思是当UKT预测置信度80%时真实答对率确实接近80%而传统模型在给出高置信度预测时真实准确率经常明显低于预测值。这是教育场景非常核心的指标——过度自信的模型会把学生推得太快。不确定性质量通过对比答题次数较少时的不确定性水平UKT能在稀疏数据场景下准确表达“我不确定”。这在真实学习场景中很有价值因为新学生的行为记录本来就少。4.3 消融实验每个组件都有存在的理由从UKT的消融设计可以看到作者想强调什么去掉状态分布建模退化为确定性状态ECE恶化明显说明不确定性主要来自状态建模层。去掉响应噪声项AUC小降但ECE依旧不理想说明偶然不确定性对校准至关重要。去掉方差正则方差坍缩问题暴露表示模型回到“过度自信”的老路。这类消融的结论其实指向一个共同点不确定性感知不是给模型加一个可有可无的配件而是从表达层面改变了模型对学习过程的假设。5. 复现与实现的关键细节这几处坑我建议重点看论文讲得再漂亮复现时该踩的坑一个都躲不掉。我实际跑过类似的不确定性建模任务这里整理几个最容易出问题的点。5.1 状态维度与不确定性分解的选择学生状态向量的维度如何设置直接决定不确定性建模的自由度。如果维度太低均值向量本身表达力就不足方差再大也救不回来如果维度太高稀疏数据下方差会很难收敛训练稳定性成问题。我建议是从64维起步观察验证集ECE和方差分布再逐步调整。论文里没有给出所有数据集的最优维度这个要靠自己实测。经验法则学生状态维度不宜高于知识嵌入维度否则状态分布的参数量会失控。5.2 采样次数与训练效率的平衡在预测阶段从状态分布中采样训练时一般用单次采样加重参数化这就能得到低方差梯度。但推理阶段如果你只采样一次预测的概率抖动可能很大。我建议推理时做多次采样取平均比如MC dropout风格下采样5到10次。实验表明采样10次的预测稳定性能明显改善ECE也更好。代价是推理时间增加一个固定倍数在真实场景下需要注意延迟预算。5.3 数据划分与评估不要只看全局AUC知识追踪的数据划分有个经典问题学生级别的泛化怎么保证。如果随机划分答题记录同一个学生的记录同时出现在训练和测试集中评估出来的性能会虚高。UKT这类包含不确定性建模的模型建议按学生划分数据或者采用跨课程、跨学期的严格评估。评估时除了AUC一定要报告ECE和可靠性曲线否则无法体现不确定性建模的真正价值。5.4 训练稳定性方差坍缩的防御策略我前面多次提到方差坍缩这是所有不确定性建模训练中最常见的失败模式。防御策略按优先级排序给方差输出加上softplus激活后再乘一个可学习的缩放因子初始值设为较小值比如0.1强制模型从“低不确定性”开始逐步调整。对状态分布的KL散度或方差的均值做正则约束惩罚方差过小。在训练初期降低预测模块的MLP容量迫使信息流动经过状态分布层。这些招数不是论文里明说的但对复现成功非常关键。6. 从UKT到一个更可靠的教育AI系统UKT的价值不只是提交了一篇paper它给整个教育AI的落地方向提了一个醒当模型不知道自己不知道什么的时候它不配被称作“可靠的智能”。沿着这个方向可以继续做的延展我简单列几个跨知识点的不确定性传播当前UKT的方差是逐知识点的但真实认知结构中知识之间是关联的——一个知识点掌握得不确定会影响相关知识点的判断。把不确定性建模和知识图谱结合起来是一个很有挑战的方向。个性化不确定性偏好不同学生对待风险的态度不同。保守型学生适合低不确定性时再推新知识冒险型学生可以早一点暴露在新知识点中。目前UKT的方差是全局学习的如果能加入个性化先验会更贴合实际教育策略。多模态信息融合下的不确定性如果答题行为之外还有鼠标轨迹、答题时长、改错次数等过程性数据这些信息能显著降低认知不确定性。将过程性信号纳入UKT的观测向量是工程上非常值得尝试的一步。我在实际跑这类模型时的体会是不确定性不是模型的“附加题”而应该是一等公民。哪怕只是因为政审、评估会很看重“校准性”和“可靠性”UKT这个方向也值得每一个做教育数据挖掘的人认真对待。最后分享一个小操作层面的经验如果你在复现时发现模型预测性能不升反降先检查你的基线是不是已经用了足够强的特征工程——不确定性建模增强的是泛化上限不是特征工程的下限。