GAE 优势估计 从 TD 残差到采样边界
从多步回报的望远镜求和推导 GAE,用三步轨迹手算逆序递推,区分终止、自举与跨回合传播,附标准库实验和独立多步混合验证。
不从术语清单开始,而从一个能解释、能运行、能验证的问题开始。沿着原理、实验与工程实践,把零散知识连成自己的学习路线。
模型为什么这样算?
结果能否独立复现?
出错时如何定位?
按问题选择学习方向:数据与标注、神经网络计算、交互决策或系统实践。每条线都先理解信号与目标,再用实验核验;强化学习不是阅读 RAG 的硬性前置条件。
从注意力与生成进入模型计算,再追踪损失、梯度和优化器,比较卷积的局部连接与共享权重。
固定标注单位,保留独立判断与缺失覆盖率,用混淆矩阵和 kappa 定位分歧,再单独裁决。
从 MDP 与 Q-learning 进入 DQN,再沿策略梯度推导 GAE,分清优势、自举与采样边界。
从向量相似度进入混合召回与重排,再处理权限、上下文预算和引用,连接文档治理、生成与评测。
在理解模型与评测之后,再比较额外推理成本和回答可靠性。
分开总预算、重放语义与入口容量,用离线轨迹检查重试、排队、过期和拒绝。
显示全部 18 篇文章
从多步回报的望远镜求和推导 GAE,用三步轨迹手算逆序递推,区分终止、自举与跨回合传播,附标准库实验和独立多步混合验证。
用1→2→2的神经Q网络手算一个TD训练步,解释回放池、冻结目标、动作选择与终止掩码,附纯Python前向反向实现和独立梯度验证。
用3×3输入与2×2卷积核手算输出,区分局部连接和权重共享,再实现多通道、步幅、零填充与三类梯度,附独立矩阵对照和数值差分。
用两组同为80%一致的合成标注手算混淆矩阵、边际分布和Cohen κ,区分一致性与正确性,并给出保留缺失覆盖率的纯Python实验。
区分正在执行、排队等待与队列外阻塞,用纯 Python 事件模拟检查并发上限、队列容量、排队过期和迟到完成,避免把信号量误当作完整背压。
区分单次超时与请求总预算,用纯 Python 逻辑时钟演算退避、Retry-After 与安全重放条件,明确取消、流式输出和有副作用操作的边界。
在同一批问题上比较基线与候选,拆开总体与分组通过率、关键题退步和延迟门槛,附纯 Python 实验及输入校验。
把检索后的候选变成可追踪的生成输入,区分权限、去重、预算和引用检查,附无外部依赖的 Python 实验及越权、重复、版本与伪引用边界验证。
从关键词与向量召回的互补出发,手算 RRF 排名融合,区分召回窗口、重排候选和最终上下文,附 Python 标准库实验、Recall/MRR/nDCG 评测及候选缺失反例。
衔接 Transformer 与 RAG,从句向量、对比学习、余弦手算走到分块、召回与重排,用纯 Python 实现可复现的检索端,并区分近邻召回率与真实相关性评测。
从一条线性回归手算链式法则,理解计算图、反向模式自动微分、梯度累积、SGD、动量、Adam 与 AdamW,并用纯 Python 实现和独立数值梯度核验。
从神经网络的线性层与表示学习出发,手算 Q、K、V 和因果遮罩,理解 Transformer 块、训练目标、逐 token 生成与 KV Cache。
从多次采样、答案投票和验证器理解 test-time compute,区分训练与推理预算,并设计可检查的质量、延迟和成本评测。
从随机策略和对数概率技巧推导 REINFORCE,理解 rewards-to-go、基线与优势函数怎样降低方差,并过渡到 Actor-Critic。
用多臂老虎机拆解探索与利用的矛盾,比较 ε-greedy、乐观初值、Softmax 与 UCB,并用纯 Python 进行可复现实验。
从智能体与环境的交互出发,理解状态、动作、奖励、回报、策略、价值函数和 Bellman 关系,并用纯 Python 实现一个可运行的 Q-learning 示例。
把知识库效果拆成检索、重排、生成与拒答四个环节,用一套可重复的数据集和指标定位问题。
从架构、Docker Compose 部署到文档分块、检索测试和生产化,完整梳理 RAGFlow 知识库的搭建路径。
学习路线会随新文章更新。想先补充数组与数据处理基础?从 数据分析专题 开始。