策略梯度入门：从 REINFORCE 到 Actor-Critic
Q-learning 先估计每个动作的价值，再选价值最大的动作；策略梯度则直接调整策略参数，让带来较高回报的动作以后更可能发生，让结果较差的动作概率下降。
这条路线特别适合随机策略和连续动作，但代价是梯度估计噪声很大、数据通常只能使用一次，而且更新过猛时容易破坏已有策略。本文从最小的随机策略开始，逐步解释 REINFORCE、基线、优势函数与 Actor-Critic 的关系。
1. 从动作价值转向参数化策略设策略为 πθ(a|s)，参数 θ 可以是一个表格，也可以是神经网络权重。它接收状态，并输出动作的概率分布。我们的目标是最大化策略产生轨迹的期望回报：
1J(θ) = Eτ~πθ [R(τ)]
一条轨迹包含状态、动作和奖励。策略改变动作分布，动作又改变之后访问到的状态，因此无法像监督学习那样直接为每个动作准备“正确标签”。
策略梯度定理提供了一个可以从采样轨迹估计的方向：
1∇θ J(θ) = E[Σt ∇θ log πθ(at|st) × A(st, at)]
可以把它读成：动作的对数概率梯度，乘以该动作比基准好多少。
2. 为什么出现 log π概率分布的期望中含有 π ...
古典音乐中的节奏与拍号：从脉搏、重拍到切分
旋律可以哼出来，和声能制造离开与回归，节奏则决定声音怎样占据时间。很多人看到 3/4、6/8 就开始数分数，却忘了拍号首先描述的是重音层级：哪些脉搏属于同一组，哪一拍像落脚，哪一拍推动下一步。
本文不要求读谱，从拍手、走路和呼吸的经验开始，区分脉搏、速度、节奏与节拍，再进入弱起、切分、复拍子和弹性速度。
1. 四个容易混用的概念
概念
它回答的问题
聆听动作
脉搏 Pulse
哪些时刻可以稳定地拍手？
找到等距的时间点
速度 Tempo
脉搏走得多快？
比较单位时间内拍点数量
节奏 Rhythm
声音以怎样的长短与停顿出现？
模仿具体音型
节拍 Meter
脉搏怎样形成强弱层级和分组？
找到周期性“第一拍”
同一速度下可以写出完全不同的节奏；同一段节奏也可以用不同速度演奏。节拍则不是节拍器的点击本身，而是我们在连续脉搏中感到的组织方式。
flowchart LR
A[等距脉搏] --> B[形成强弱层级]
B --> C[二拍、三拍或四拍分组]
C --> D[旋律在强弱位置间移动]
D --> ...
Codeforces 二分答案三题：可行性、边界与上界
普通二分查找在有序数组里找位置；二分答案则不直接构造最优方案，而是反复询问：“答案至少达到 x，能做到吗？”只要可行性随 x 单调变化，就能在答案空间里找到最后一个可行值。
本文选择三道 Codeforces 题，分别练习中位数提升、共享资源分配和配方生产。它们的题面不同，但代码骨架几乎一致：定义 can(x)、找到可靠上界、维护一个可行点和一个不可行点。
1. 二分答案的核心不是 while 循环假设要最大化一个整数答案，并且：
1can(x) = true 表示答案至少可以达到 x
如果 can(x) 为真能推出所有更小值也为真，那么答案轴具有如下结构：
123true true true ... true | false false ... false ↑ 最大可行值
flowchart LR
A[猜测答案 x] --> B[计算达到 x 的最低成本]
B --> C{成本是否不超过预算}
C -->|是| D[x 可行，向右找]
...
强化学习中的探索与利用：从 ε-greedy 到 UCB
智能体总选当前回报最高的动作，可能永远错过真正更好的选择；如果一直尝试未知动作，又会浪费已经学到的信息。探索与利用的矛盾，就是在“获取信息”和“使用信息”之间分配有限交互次数。
多臂老虎机去掉了完整强化学习中的状态转移和延迟回报，保留这组矛盾的最小形式。它很适合用来理解探索策略，因为每种方法为什么有效、又会在哪里失效，都能被直接观察。
1. 多臂老虎机模型设有 k 个动作。每次选择动作 a，环境从该动作未知的奖励分布中给出奖励。动作的真实期望奖励记为 q*(a)，智能体只能维护估计值 Q_t(a)。
若动作 a 已被选择 N_t(a) 次，新奖励为 R_t，样本均值可以增量更新：
1Q_{t+1}(a) = Q_t(a) + 1 / N_t(a) × [R_t - Q_t(a)]
括号中的差叫估计误差。这个公式不必保存全部历史奖励，每一步只需维护次数和当前均值。
除了平均奖励，还可以考察累积遗憾：每一步没有选择真实最优动作时，损失了多少期望奖励。
1Regret(T) = Σ(q*(a*) - q*(A_t)), t = 1 ... T
真实任务里通常不知 ...
古典音乐曲式入门：从乐句到回旋与奏鸣
曲式不是贴在作品上的字母标签，而是音乐管理记忆与期待的方式。当熟悉的主题回来，我们会感到确认；当它迟迟不回来，注意力会被悬在半空；当旧材料在陌生调性里出现，我们同时听见“相似”与“变化”。
本文从耳朵能够直接感受到的乐句和终止出发，逐步走到二部、三部、回旋、变奏与奏鸣曲式。目标不是在第一次聆听时画出完美分析图，而是能描述自己听见了怎样的离开、对比和返回。
1. 先听层级，不急着背字母音乐结构往往像语言一样逐层组合：
flowchart LR
A[动机<br>短小可辨认材料] --> B[乐句<br>一次呼吸或方向]
B --> C[乐段<br>若干乐句形成局部完整]
C --> D[大型段落<br>呈示、发展、再现等功能]
D --> E[乐章<br>完整时间布局]
层级不是由固定秒数决定的。四个音可以成为动机，一段旋律可以成为乐句，而多个乐句通过终止、重复和对比组成更大的段落。听结构时，先留意三个信号：
重复：熟悉材料原样或变化后再次出现；
对比：音 ...
Codeforces 贪心三题：排序、交换论证与局部最优
贪心算法最容易写出，也最容易写错。它通常只保留当前局面，然后做一个看起来最划算的选择；真正的难点不是代码，而是证明这个局部选择不会破坏全局最优解。
本文选择三道难度逐步上升的 Codeforces 题：先用排序决定拿硬币的顺序，再证明挑战巨龙的唯一安全次序，最后用“给未来留下空间”的原则决定树向哪边倒。
1. 判断一道题能否贪心看到“最少、最多、任意顺序”时，可以先提出三个问题：
当前选择之后，未来需要保留哪些信息？
如果最优方案没有采用我的选择，能否交换成采用它而不变差？
做出选择后，剩余问题是否仍是同一类问题？
flowchart LR
A[候选选择] --> B{能否交换而不变差}
B -->|能| C[证明贪心选择性质]
B -->|不能确定| D[寻找反例或改用 DP]
C --> E{剩余问题结构不变}
E -->|是| F[逐步执行局部最优]
E -->|否| D
排序经常出现在贪心题里，但“排序后做”本身不是证明。需要解释排序改变了什么，以及为什么另一种次序不可能更 ...
强化学习入门：从 MDP、价值函数到 Q-learning
监督学习从带标签的样本中学习映射，强化学习则面对一个会被行动改变的环境：智能体做出选择，环境进入新状态并给出奖励，之后的选择又会受到前面结果影响。
真正困难的地方不是“怎样获得一次高奖励”，而是怎样处理延迟回报、探索未知行动，并从带噪声的交互中学到长期有效的策略。本文先建立最小概念框架，再用一个不依赖第三方库的 Q-learning 示例把公式落到代码。
1. 强化学习在解决什么问题强化学习的核心是一个循环：
flowchart LR
A[智能体 Agent] -->|选择动作 aₜ| B[环境 Environment]
B -->|观察 sₜ₊₁ 与奖励 rₜ₊₁| A
A --> C[更新策略或价值估计]
C --> A
在时刻 t，智能体观察状态 s_t，根据策略选择动作 a_t。环境随后返回奖励 r_{t+1} 和下一状态 s_{t+1}。智能体的目标不是让当前奖励最大，而是让一段交互中的累计回报尽可能大。
典型任务包括：
游戏中根据局面连续选择动作；
机器人根据 ...
Codeforces 前缀和与差分四题：区间查询、覆盖与双层离线
当许多查询反复询问同一个数组的区间信息时，逐次扫描通常浪费了大量重复计算。前缀和把“多次查询”变成一次预处理，差分则把“多次区间修改”延迟到最后统一还原。
本文选择四道 Codeforces 题，从一维前缀计数开始，走到差分覆盖与排序贪心，最后用双层差分处理“查询作用于操作、操作再作用于数组”的结构。重点是看清信息流向：题目是在反复读取区间，还是反复影响区间？
1. 前缀和与差分是一对逆操作设原数组为 a，前缀数组 prefix 记录从开头到当前位置的累计值：
1prefix[i] = a[1] + a[2] + ... + a[i]
那么区间 [l, r] 的和可以用两个前缀相减：
1sum(l, r) = prefix[r] - prefix[l - 1]
差分数组则记录相邻位置的变化。想给整个区间 [l, r] 增加 value，只需要：
12difference[l] += valuedifference[r + 1] -= value
最后对差分数组求一次前缀和，就能恢复每个位置受到的总影响。
flowchart LR
A[原数组] -- 累加 ...
古典音乐中的和声张力：从功能和声到终止式
旋律告诉我们“谁在说话”，和声则常常决定一句话是否已经说完。即使不知道和弦名称，我们也能听见某些时刻像站稳、像离开、像等待，或者像终于回到原点。这种方向感，是理解功能和声最自然的入口。
本文不把和声简化成“某个和弦等于某种情绪”，而是把它看成时间中的作用关系：同一个和弦放在不同调性、音区、节拍和上下文里，意义都可能改变。
1. 和声张力不是音量音乐变紧张，不一定要更响、更快或使用更多乐器。一个很轻的和弦也可能因为迟迟不解决而充满悬念；一段厚重的全奏也可能已经稳定地落在终点。
判断和声张力时，可以先问三个问题：
当前声音是否让人愿意停住；
它是否像在推动下一步；
下一和弦出现后，之前的期待有没有得到满足。
所以张力不是单个和弦的固定属性，而是前后关系产生的听觉预期。
2. 三类基本功能在大、小调功能和声中，常用三个功能区域描述方向。罗马数字表示和弦建立在调式的第几级上，并不是另一套音名。
功能区域
常见级数
听觉作用
可以想象成
主功能 Tonic
I，有时包含 vi、iii
确立或延长稳定中心
家与地面
下属/前属功能 Predominant
IV、i ...
Codeforces 序列优化四题：滑动窗口、双指针与二分查找
很多序列题看起来都在“枚举一段区间”，但区间的性质不同，最合适的工具也不同：长度固定时维护窗口和，约束单调时移动左右边界，查询阈值时在有序数据上二分。
本文选择四道 Codeforces 官方题目，把它们放在同一条学习路径上。新增的 580B 会把“先排序”和“双指针”组合起来，重点仍不是记住代码，而是学会通过题目结构选择数据移动方式。
1. 先判断区间属于哪一种模型
flowchart TD
A[题目要求处理连续区间] --> B{区间长度固定吗}
B -- 是 --> C[固定滑动窗口]
B -- 否 --> D{加入元素后代价单调增加吗}
D -- 是 --> E[双指针维护可行窗口]
D -- 否 --> F[考虑前缀和、二分或其他结构]
A --> G{是独立阈值查询吗}
G -- 是 --> H[排序后 upper_bound]
三种方法都在避免重复工作：窗口复用上一次的和，双指针保证边界只向前移动，二分则利用有序性排除一半范围。
2. 363B Fence：固 ...