大模型推理时计算：多想一会儿，为什么不一定更可靠
同一道题，让模型立即给出答案，或者允许它生成多个候选、运行检查、修正后再提交，得到的结果可能不同。这个差别把注意力从“模型有多大”扩展到另一个问题：处理这一次请求时，怎样花额外的计算预算？
这篇文章解释推理时计算（test-time compute）的几种典型方式，并给出一个可以照着设计评测的例子。它是一篇研究方向入门，不是模型排行榜，也不把更长输出直接当作更强推理。
1. 先分清训练预算与推理预算
阶段
发生了什么
影响范围
预训练
从大量数据中学习语言与知识模式，更新参数
后续大量请求
后训练
用示范、偏好或奖励改进模型行为，更新参数
后续大量请求
推理时计算
对当前问题增加生成、搜索、验证或修订
当前请求及其候选结果
本文讨论的是固定权重下的推理策略。也有研究在测试阶段调整模型，这属于更广义的测试时适应，不能与这里的“多生成、多检查”直接画等号。
在 推理计算分配研究 中，Snell 等人讨论了验证器引导的搜索和响应分布的自适应改进。一个关键观察是：方法收益随题目难度变化，因此固定给所有题相同的额外预算未必划算。论文中的效率比较依赖具体模型、任务和计算口 ...
Codeforces 动态规划两题：状态、转移与不可达
写动态规划时，最容易卡住的地方往往不是循环，而是这句话：dp[i] 究竟表示什么？如果状态只写成“到 i 的最优解”，那么“恰好到达”和“不超过 i”就可能混在一起，初始化也会跟着出错。
本文用两道题练习两个不同的状态轴：一题按已使用的长度递推，另一题按数值大小递推。建议先独立画出状态表，再看代码。
1. 两道题，两个关键问题
题目
官方难度
官方标签
本文训练重点
189A · Cut Ribbon
1300
brute force、dp
恰好填满与不可达状态
455A · Boredom
1500
dp
按值聚合与相邻冲突
名称、难度和标签于 2026-09-05 通过 Codeforces 官方 API 核对。下文是原创建模与解法说明，不是题面翻译；所有推演表均使用自拟例子。
读过 贪心三题 后，可以把这篇当作下一步：当一个局部选择无法保证未来仍然最优时，保留不同状态的最优结果，之后再比较。
2. Cut Ribbon：为什么不能一直选最短的一段给定总长度 n，每段只能取 a、b、c 三种正整数长度，目标是在不剩余材料的前提下，让段数最多。题目保证有解，四个 ...
策略梯度入门：从 REINFORCE 到 Actor-Critic
Q-learning 先估计每个动作的价值，再选价值最大的动作；策略梯度则直接调整策略参数，让带来较高回报的动作以后更可能发生，让结果较差的动作概率下降。
这条路线特别适合随机策略和连续动作，但代价是梯度估计噪声很大、数据通常只能使用一次，而且更新过猛时容易破坏已有策略。本文从最小的随机策略开始，逐步解释 REINFORCE、基线、优势函数与 Actor-Critic 的关系。
1. 从动作价值转向参数化策略设策略为 πθ(a|s)，参数 θ 可以是一个表格，也可以是神经网络权重。它接收状态，并输出动作的概率分布。我们的目标是最大化策略产生轨迹的期望回报：
1J(θ) = Eτ~πθ [R(τ)]
一条轨迹包含状态、动作和奖励。策略改变动作分布，动作又改变之后访问到的状态，因此无法像监督学习那样直接为每个动作准备“正确标签”。
策略梯度定理提供了一个可以从采样轨迹估计的方向：
1∇θ J(θ) = E[Σt ∇θ log πθ(at|st) × A(st, at)]
可以把它读成：动作的对数概率梯度，乘以该动作比基准好多少。
2. 为什么出现 log π概率分布的期望中含有 π ...
古典音乐中的节奏与拍号：从脉搏、重拍到切分
旋律可以哼出来，和声能制造离开与回归，节奏则决定声音怎样占据时间。很多人看到 3/4、6/8 就开始数分数，却忘了拍号首先描述的是重音层级：哪些脉搏属于同一组，哪一拍像落脚，哪一拍推动下一步。
本文不要求读谱，从拍手、走路和呼吸的经验开始，区分脉搏、速度、节奏与节拍，再进入弱起、切分、复拍子和弹性速度。
1. 四个容易混用的概念
概念
它回答的问题
聆听动作
脉搏 Pulse
哪些时刻可以稳定地拍手？
找到等距的时间点
速度 Tempo
脉搏走得多快？
比较单位时间内拍点数量
节奏 Rhythm
声音以怎样的长短与停顿出现？
模仿具体音型
节拍 Meter
脉搏怎样形成强弱层级和分组？
找到周期性“第一拍”
同一速度下可以写出完全不同的节奏；同一段节奏也可以用不同速度演奏。节拍则不是节拍器的点击本身，而是我们在连续脉搏中感到的组织方式。
flowchart LR
A[等距脉搏] --> B[形成强弱层级]
B --> C[二拍、三拍或四拍分组]
C --> D[旋律在强弱位置间移动]
D --> ...
Codeforces 二分答案三题：可行性、边界与上界
普通二分查找在有序数组里找位置；二分答案则不直接构造最优方案，而是反复询问：“答案至少达到 x，能做到吗？”只要可行性随 x 单调变化，就能在答案空间里找到最后一个可行值。
本文选择三道 Codeforces 题，分别练习中位数提升、共享资源分配和配方生产。它们的题面不同，但代码骨架几乎一致：定义 can(x)、找到可靠上界、维护一个可行点和一个不可行点。
1. 二分答案的核心不是 while 循环假设要最大化一个整数答案，并且：
1can(x) = true 表示答案至少可以达到 x
如果 can(x) 为真能推出所有更小值也为真，那么答案轴具有如下结构：
123true true true ... true | false false ... false ↑ 最大可行值
flowchart LR
A[猜测答案 x] --> B[计算达到 x 的最低成本]
B --> C{成本是否不超过预算}
C -->|是| D[x 可行，向右找]
...
强化学习中的探索与利用：从 ε-greedy 到 UCB
智能体总选当前回报最高的动作，可能永远错过真正更好的选择；如果一直尝试未知动作，又会浪费已经学到的信息。探索与利用的矛盾，就是在“获取信息”和“使用信息”之间分配有限交互次数。
多臂老虎机去掉了完整强化学习中的状态转移和延迟回报，保留这组矛盾的最小形式。它很适合用来理解探索策略，因为每种方法为什么有效、又会在哪里失效，都能被直接观察。
1. 多臂老虎机模型设有 k 个动作。每次选择动作 a，环境从该动作未知的奖励分布中给出奖励。动作的真实期望奖励记为 q*(a)，智能体只能维护估计值 Q_t(a)。
若动作 a 已被选择 N_t(a) 次，新奖励为 R_t，样本均值可以增量更新：
1Q_{t+1}(a) = Q_t(a) + 1 / N_t(a) × [R_t - Q_t(a)]
括号中的差叫估计误差。这个公式不必保存全部历史奖励，每一步只需维护次数和当前均值。
除了平均奖励，还可以考察累积遗憾：每一步没有选择真实最优动作时，损失了多少期望奖励。
1Regret(T) = Σ(q*(a*) - q*(A_t)), t = 1 ... T
真实任务里通常不知 ...
古典音乐曲式入门：从乐句到回旋与奏鸣
曲式不是贴在作品上的字母标签，而是音乐管理记忆与期待的方式。当熟悉的主题回来，我们会感到确认；当它迟迟不回来，注意力会被悬在半空；当旧材料在陌生调性里出现，我们同时听见“相似”与“变化”。
本文从耳朵能够直接感受到的乐句和终止出发，逐步走到二部、三部、回旋、变奏与奏鸣曲式。目标不是在第一次聆听时画出完美分析图，而是能描述自己听见了怎样的离开、对比和返回。
1. 先听层级，不急着背字母音乐结构往往像语言一样逐层组合：
flowchart LR
A[动机<br>短小可辨认材料] --> B[乐句<br>一次呼吸或方向]
B --> C[乐段<br>若干乐句形成局部完整]
C --> D[大型段落<br>呈示、发展、再现等功能]
D --> E[乐章<br>完整时间布局]
层级不是由固定秒数决定的。四个音可以成为动机，一段旋律可以成为乐句，而多个乐句通过终止、重复和对比组成更大的段落。听结构时，先留意三个信号：
重复：熟悉材料原样或变化后再次出现；
对比：音 ...
Codeforces 贪心三题：排序、交换论证与局部最优
贪心算法最容易写出，也最容易写错。它通常只保留当前局面，然后做一个看起来最划算的选择；真正的难点不是代码，而是证明这个局部选择不会破坏全局最优解。
本文选择三道难度逐步上升的 Codeforces 题：先用排序决定拿硬币的顺序，再证明挑战巨龙的唯一安全次序，最后用“给未来留下空间”的原则决定树向哪边倒。
1. 判断一道题能否贪心看到“最少、最多、任意顺序”时，可以先提出三个问题：
当前选择之后，未来需要保留哪些信息？
如果最优方案没有采用我的选择，能否交换成采用它而不变差？
做出选择后，剩余问题是否仍是同一类问题？
flowchart LR
A[候选选择] --> B{能否交换而不变差}
B -->|能| C[证明贪心选择性质]
B -->|不能确定| D[寻找反例或改用 DP]
C --> E{剩余问题结构不变}
E -->|是| F[逐步执行局部最优]
E -->|否| D
排序经常出现在贪心题里，但“排序后做”本身不是证明。需要解释排序改变了什么，以及为什么另一种次序不可能更 ...
强化学习入门：从 MDP、价值函数到 Q-learning
监督学习从带标签的样本中学习映射，强化学习则面对一个会被行动改变的环境：智能体做出选择，环境进入新状态并给出奖励，之后的选择又会受到前面结果影响。
真正困难的地方不是“怎样获得一次高奖励”，而是怎样处理延迟回报、探索未知行动，并从带噪声的交互中学到长期有效的策略。本文先建立最小概念框架，再用一个不依赖第三方库的 Q-learning 示例把公式落到代码。
1. 强化学习在解决什么问题强化学习的核心是一个循环：
flowchart LR
A[智能体 Agent] -->|选择动作 aₜ| B[环境 Environment]
B -->|观察 sₜ₊₁ 与奖励 rₜ₊₁| A
A --> C[更新策略或价值估计]
C --> A
在时刻 t，智能体观察状态 s_t，根据策略选择动作 a_t。环境随后返回奖励 r_{t+1} 和下一状态 s_{t+1}。智能体的目标不是让当前奖励最大，而是让一段交互中的累计回报尽可能大。
典型任务包括：
游戏中根据局面连续选择动作；
机器人根据 ...
Codeforces 前缀和与差分四题：区间查询、覆盖与双层离线
当许多查询反复询问同一个数组的区间信息时，逐次扫描通常浪费了大量重复计算。前缀和把“多次查询”变成一次预处理，差分则把“多次区间修改”延迟到最后统一还原。
本文选择四道 Codeforces 题，从一维前缀计数开始，走到差分覆盖与排序贪心，最后用双层差分处理“查询作用于操作、操作再作用于数组”的结构。重点是看清信息流向：题目是在反复读取区间，还是反复影响区间？
1. 前缀和与差分是一对逆操作设原数组为 a，前缀数组 prefix 记录从开头到当前位置的累计值：
1prefix[i] = a[1] + a[2] + ... + a[i]
那么区间 [l, r] 的和可以用两个前缀相减：
1sum(l, r) = prefix[r] - prefix[l - 1]
差分数组则记录相邻位置的变化。想给整个区间 [l, r] 增加 value，只需要：
12difference[l] += valuedifference[r + 1] -= value
最后对差分数组求一次前缀和，就能恢复每个位置受到的总影响。
flowchart LR
A[原数组] -- 累加 ...