热力学不确定关系的推导与含义

1. 简介

众所周知所有宏观系统都受到热力学第二定律的约束

$$ \Delta S + \frac{\Delta Q}{T} = \Sigma \ge 0. $$

但系统的可观测性质是如何与 $\Sigma$ 联系的呢？答案由热力学不确定关系（Thermodynamic Uncertainty Relation, TUR）给出。TUR 的一般形式如下

$$ \Sigma \ge \frac{2\langle J \rangle^2}{\mathrm{Var}(J)}. $$

其中 $J$ 是时间积分的流（例如粒子的位移，热流等等），$\langle J\rangle$ 是流的平均值，$\mathrm{Var}(J)$ 是流的涨落（方差）。

TUR 对于连续时间马尔可夫过程的定态（steady state）成立。

TUR 给出了一个对熵产生下界的估计。当此估计不为零时，它给出了更加强化的第二定律（相较于 $\Sigma \ge 0$ ）。在许多情况下，直接测量熵产生是非常困难的，而流的均值与方差是较易测量的，因此在实验上 TUR 是估计熵产生的一个较好的方法。

同时，TUR 也给出了衡量系统的精确程度（方差）和耗散（熵产生）之间的制约关系。若令

$$ \mathcal P_J = \frac{\langle J \rangle^2}{\mathrm{Var}(J)} $$

为衡量流的精确度的无量纲量，那么 TUR 即为 $\mathcal P_J \le \Sigma/2$，这表明流的精确度越高，系统的熵产生就越大，耗散就越多。

2. TUR 的推导与含义

2.1. 过阻尼 Langevin 方程与 Fokker-Planck 方程

考虑与温度 $T$ 的平衡热浴接触的布朗粒子，其位置由向量 $\boldsymbol x(t) = (x_1(t), x_2(t), x_3(t))$ 表示。对应的过阻尼郎之万方程为

$$ \gamma \dot{\boldsymbol x}(t) = \boldsymbol F(\boldsymbol x(t)) + \sqrt{2\gamma T}\boldsymbol \xi(t). $$

其中 $\langle\boldsymbol \xi(t)\rangle = 0$，$\langle \xi_i(t)\xi_j(s)\rangle = \delta_{ij}\delta(t-s)$。

与该过阻尼郎之万方程等价的 Fokker-Planck 方程为

$$ \partial_t p_t(\boldsymbol x) = -\boldsymbol\nabla\cdot(\boldsymbol v_t(\boldsymbol x) p_t(\boldsymbol x)). $$

其中

$$ \boldsymbol v_t(\boldsymbol x) = \frac{1}{\gamma}(\boldsymbol F(\boldsymbol x) - T\boldsymbol \nabla\ln p_t(\boldsymbol x)) $$

为局域平均速度（local mean velocity）。Fokker-Planck 方程把含有随机项的动力学方程转化为了概率流的普通偏微分方程。

2.2. 正向路径与逆向路径

马尔科夫动力学的时间演化具有无记忆性，即

$$ p(\boldsymbol x, t\mid \boldsymbol y, s; \boldsymbol z, r) = p(\boldsymbol x, t\mid \boldsymbol y, s), \quad \forall t > s > r. $$

用符号 $\hat{\boldsymbol x}$ 表示一条路径，即

$$ \hat{\boldsymbol x} = ((\boldsymbol x_0, t_0), (\boldsymbol x_1, t_1), (\boldsymbol x_2, t_2), \cdots, (\boldsymbol x_N, t_N)) $$

由马氏性可知系统沿该路径演化的概率为

$$ \mathbb P(\hat{\boldsymbol x}) = p(\boldsymbol x_N, t_N \mid \boldsymbol x_{N-1}, t_{N-1})p(\boldsymbol x_{N-1}, t_{N-1}\mid \boldsymbol x_{N-2}, t_{N-2})\cdots p(\boldsymbol x_1, t_1\mid \boldsymbol x_0, t_0)p_{t_0}(\boldsymbol x_0) $$

而实际上对于过阻尼郎之万系统，系统在极短时间（$\mathrm d t \ll 1$）演化的概率是可以求出来的，为

$$ p(\boldsymbol x, t + \mathrm{d} t \mid \boldsymbol y, t) \simeq \frac{1}{(4\pi D\mathrm{d}t)^{3/2}}\exp\left[ -\frac{1}{4D\mathrm{d}t}\left\Vert \boldsymbol x - \boldsymbol y - \frac{1}{\gamma}\boldsymbol F(\boldsymbol y)\mathrm{d}t \right\Vert^2 \right], $$

其中 $D = T / \gamma$。

物理直觉上，熵产生 $\Sigma$ 衡量了系统的不可逆性，因此我们考虑路径 $\hat{\boldsymbol x}$ 的逆向路径

$$ \hat{\boldsymbol x}^\dagger = ((\boldsymbol x_N, t_0), (\boldsymbol x_{N-1}, t_{1}), (\boldsymbol x_{N-2}, t_2), \cdots, (\boldsymbol x_0, t_N)). $$

定义熵产生为

$$ \Sigma = \sum_{\text{paths}}\mathbb P(\hat{\boldsymbol x})\ln\left( \frac{\mathbb P(\hat{\boldsymbol x})}{\mathbb P(\hat{\boldsymbol x}^\dagger)} \right) = D_{\text{KL}}(\mathbb P(\hat{\boldsymbol x})\Vert\mathbb P(\hat{\boldsymbol x}^\dagger)). $$

求和对所有可能的路径进行，这个表达式实际上与 Kullback-Leibler (KL) 散度的形式一致。KL 散度 $D_{\text{KL}}(P\Vert Q)$ 衡量了两个概率分布 $P, Q$ 之间的可辨别程度（与距离的概念很相似，但它并不满足距离的对称性和三角不等式性），它的值总是非负的，当且仅当 $P = Q$ 时取等。

如果存在正向、逆向路径使得 $\mathbb P(\hat{\boldsymbol x}^\dagger) \neq \mathbb P(\hat{\boldsymbol x})$，即系统具有一定的不可逆性，那么系统的熵产生 $\Sigma$ 大于零。

对于郎之万动力学，带入上述极短时间的路径演化概率可得

$$ \Sigma = \frac{1}{T}\underbrace{\left\langle \int_0^\tau \mathrm d t\boldsymbol F(\boldsymbol x(t) \circ \dot{\boldsymbol x}(t)) \right\rangle}_{\Delta Q} + \underbrace{(S_\tau - S_0)}_{\Delta S}. $$

其中

$$ S_t = \int\mathrm d \boldsymbol x p_t(\boldsymbol x)\log(p_t(\boldsymbol x)) $$

为香农熵，符号 $\circ$ 表示随机积分的划分取 Stratonovich 形式。

带入 Fokker-Planck 方程可得另一种等价的表述

$$ \Sigma = \frac{1}{D}\int_0^\tau\mathrm d t \int\mathrm d \boldsymbol x\Vert \boldsymbol v_t(\boldsymbol x)\Vert^2 p_t(\boldsymbol x). $$

2.3. 流

系统的热交换量 $\Delta Q$ 可以被视为时间积分的流（time-integrated current）

$$ \Delta Q_\tau = \int_0^\tau \mathrm d t\boldsymbol F(\boldsymbol x(t))\circ\dot{\boldsymbol x}(t). $$

更一般地，流在形式上可以写为

$$ J_\tau = \int_0^\tau \mathrm d t \boldsymbol w_t(\boldsymbol x(t))\circ\dot{\boldsymbol x}(t). $$

其中 $\boldsymbol w_t(\boldsymbol x)$ 为权函数。若取 $\boldsymbol w_t(\boldsymbol x) = \hat{\boldsymbol e}_1$（$\boldsymbol x_1$ 方向的单位向量），则此时流为系统在 $\boldsymbol x_1$ 方向的位移；若取 $\boldsymbol w_t(\boldsymbol x) = \boldsymbol v_t(\boldsymbol x)/D$，则此时流即为熵产生。

流的平均值由局域平均速度给出

$$ \langle J_\tau \rangle = \int_0^\tau \mathrm d t\int \mathrm d \boldsymbol x\boldsymbol w_t(\boldsymbol x)\cdot \boldsymbol v_t(\boldsymbol x)p_t(\boldsymbol x). $$

2.4. 连续时间反演

在数学上，若系统是马尔可夫的且是遍历的，那么经过足够长时间的演化后系统一定会处在定态 $p^{\text{st}}(\boldsymbol x)$ 上。定态的概率分布不随时间变化，因此 Fokker-Planck 方程变为

$$ \partial_t p^{\text{st}}(\boldsymbol x) = 0 = -\boldsymbol \nabla\cdot(\boldsymbol v^{\text{st}}(\boldsymbol x)p^{\text{st}}(\boldsymbol x)), $$

其中

$$ \boldsymbol v^{\text{st}}(\boldsymbol x) = \frac{1}{\gamma}(\boldsymbol F(\boldsymbol x) - T\boldsymbol \nabla\ln p^{\text{st}}(\boldsymbol x)). $$

考虑流的重标度（rescaling）

$$ \boldsymbol v^{\text{st}}(\boldsymbol x) \to \boldsymbol v^{\text{st}, \theta}(\boldsymbol x) = \theta \boldsymbol v^{\text{st}}(\boldsymbol x). $$

带入 Fokker-Planck 方程可以发现等号两边的 $\theta$ 会被消掉，因此流的重标度并不改变系统的定态，即对于任意的 $\theta \in \mathbb R$，这些动力学有相同的定态 $p^{\text{st}}(\boldsymbol x)$。

相应的，重标度化后流的平均值为

$$ \langle J_\tau\rangle^\theta = \tau \int \mathrm d \boldsymbol x \boldsymbol w(\boldsymbol x)\cdot \boldsymbol v^{\text{st}, \theta}(\boldsymbol x)p^{\text{st}}(\boldsymbol x) = \theta\langle J_\tau \rangle. $$

重标度化后系统的动力学等价于对原先的系统施加外力 $\boldsymbol G^\theta(\boldsymbol x)$，其满足

$$ \begin{aligned} \boldsymbol v^{\text{st}, \theta}(\boldsymbol x) &= \boldsymbol v^{\text{st}}(\boldsymbol x) + (\theta - 1)\boldsymbol v^{\text{st}}(\boldsymbol x) \\ &= \frac{1}{\gamma}(\boldsymbol F(\boldsymbol x) + \underbrace{\gamma(\theta - 1)\boldsymbol v^{\text{st}}(\boldsymbol x)}_{\boldsymbol G^\theta(\boldsymbol x)} - T\boldsymbol \nabla\ln p^{\text{st}}(\boldsymbol x)). \end{aligned} $$

重标度化后，系统的郎之万方程变为

$$ \gamma\dot{\boldsymbol x}(t) = \boldsymbol F(\boldsymbol x(t)) + \boldsymbol G^\theta(\boldsymbol x(t)) + \sqrt{2\gamma T}\boldsymbol \xi(t). $$

它与原来的系统具有相同的定态，但局域平均速度变为 $\boldsymbol v^{\text{st}, \theta}(\boldsymbol x) = \theta\boldsymbol v^{\text{st}}(\boldsymbol x)$。

• 当 $\theta = +1$ 时，系统与原来的系统相同；
• 当 $\theta = 0$ 时，系统为平衡系统，此时熵产生 $\Sigma$ 为零；
• 当 $\theta = -1$ 时，有 $\boldsymbol v^{\text{st}, -1}(\boldsymbol x) = - \boldsymbol v^{\text{st}}(\boldsymbol x)$，此时新系统的动力学为原系统的时间反演动力学。此时，可以证明 $D_{\text{KL}}(\mathbb P^{\theta = -1}(\hat{\boldsymbol x})\Vert \mathbb P(\hat{\boldsymbol x}^\dagger)) = 0$。

动力学参数 $\theta$ 的变化将正向路径与逆向路径联系了起来，我们称这一处理方式为连续时间反演。它是系统处在定态时所具有的一种特殊的对称性。

2.5. Cramer-Rao 不等式

我们即将用 Cramer-Rao 不等式处理上述系统，因此先在此处给出关于该不等式的简单介绍。

考虑概率密度函数 $p^\theta(\omega)$，其中 $\omega$ 为概率空间 $\Omega$ 中的元素，参数 $\theta \in \mathbb R$。

统计量 $Z$ 的均值为

$$ \langle Z \rangle^\theta = \int\mathrm d \omega Z(\omega)p^\theta(\omega). $$

Cramer-Rao 不等式为

$$ \frac{(\partial_\theta\langle Z\rangle^\theta)^2}{\mathrm{Var}^\theta(Z)} \le I^\theta \equiv \int\mathrm d \omega (\partial_\theta \ln p^\theta(\omega))^2 p^\theta(\omega). $$

其中 $I^\theta$ 为费舍信息（Fisher information）。

此不等式表明，通过测量统计量 $Z$ 所得到的关于 $\theta$ 的信息一定不超过知道整个概率分布 $p^\theta(\omega)$ 所获得的信息。

用 Cauchy-Schwarz 不等式可以证明 Cramer-Rao 不等式，证明如下

$$ \begin{aligned} (\partial_\theta \langle Z\rangle^\theta)^2 &= \left[ \int\mathrm d \omega Z(\omega)\partial_\theta p^\theta(\omega) \right]^2 \\ &= \left[ \int\mathrm d \omega Z(\omega)\partial_\theta p^\theta(\omega) - \int\mathrm d \omega\langle Z\rangle^\theta\partial_\theta p^\theta(\omega) \right]^2 \\ &= \left[ \int\mathrm d \omega (Z(\omega) - \langle Z\rangle^\theta)(\partial_\theta\ln p^\theta (\omega))p^\theta(\omega) \right]^2 \\ &\le \int\mathrm d \omega (Z(\omega) - \langle Z\rangle^\theta)^2 p^\theta(\omega)\int\mathrm d \omega (\partial_\theta\ln p^\theta(\omega))^2p^\theta(\omega) \\ &= \mathrm{Var}^\theta(Z)I^\theta, \end{aligned} $$

其中

$$ \begin{aligned} \int\mathrm d \omega\langle Z\rangle^\theta\partial_\theta p^\theta(\omega) &= \langle Z\rangle^\theta \int\mathrm d \omega\partial_\theta p^\theta (\omega) \\ &= \langle Z\rangle^\theta\partial_\theta\int\mathrm d \omega p^\theta(\omega) \\ &= 0. \end{aligned} $$

3. 热力学不确定关系

要将 Cramer-Rao 不等式应用到随机热力学中，需要选定概率空间 $\Omega$，参数 $\theta$ 和统计量 $Z$。令所有轨迹构成的空间为概率空间，其上的概率测度为轨迹的概率密度 $p(\omega) = \mathbb P(\hat{\boldsymbol x})$；令参数 $\theta$ 为连续时间反演的参数；统计量 $Z$ 为时间积分的流 $J_\tau$。

不难计算，$\langle J_\tau \rangle^\theta = \theta\langle J_\tau \rangle$，$\partial_\theta\langle J_\tau \rangle^\theta = \langle J_\tau \rangle$；Fisher 信息为

$$ I^\theta = \int \mathrm d \hat{\boldsymbol x} (\partial_\theta \ln \mathbb P^\theta(\hat{\boldsymbol x}))^2 \mathbb P^\theta(\hat{\boldsymbol x}). $$

由前几部分内容可知，系统的转移概率为

$$ p^\theta(\boldsymbol x, t + \mathrm d t\mid \boldsymbol y, t) \simeq \frac{1}{(4\pi D\mathrm d t)^{3/2}}\exp\left[ -\frac{1}{4D\mathrm d t}\left\Vert \boldsymbol x - \boldsymbol y - \frac{1}{\gamma}(\boldsymbol F(\boldsymbol y) + \boldsymbol G^\theta(\boldsymbol y))\mathrm d t \right\Vert^2 \right], $$

路径的概率为

$$ \mathbb P(\hat{\boldsymbol x}) = p^\theta (\boldsymbol x_N, t_N \mid \boldsymbol x_{N-1}, t_{N-1})\cdots p^\theta(\boldsymbol x_1, t_1 \mid \boldsymbol x_0, t_0) p^{\text{st}}(\boldsymbol x_0). $$

带入计算可得路径概率密度的 Fisher 信息为

$$ (\partial_\theta \ln\mathbb P^\theta (\hat{\boldsymbol x}))^2 = \left[ \sum_{k=0}^{N-1} \frac{1}{2\gamma D}\left( \boldsymbol x_{k+1} - \boldsymbol x_{k} - \frac{1}{\gamma} (F(\boldsymbol x_k) + \boldsymbol G^\theta(\boldsymbol x_k)) \mathrm d t\right) \partial_\theta\boldsymbol G^\theta(\boldsymbol x_k) \right]^2. $$

当 $\mathrm d t \to 0$ 时有 $\boldsymbol x_{k+1} - \boldsymbol x_{k} \simeq \dot{\boldsymbol x}(t)\mathrm d t$，对比 Langevin 方程，有

$$ \boldsymbol x_{k+1} - \boldsymbol x_{k} - \frac{1}{\gamma} (F(\boldsymbol x_k) + \boldsymbol G^\theta(\boldsymbol x_k)) \mathrm d t \simeq \sqrt{2D}\boldsymbol \xi(t)\mathrm d t. $$

因此

$$ (\partial_\theta \ln\mathbb P^\theta(\hat{\boldsymbol x}))^2 \simeq \frac{1}{2D\gamma^2}\left( \int_0^\tau \mathrm d t\partial_\theta \boldsymbol G^\theta(\boldsymbol x(t))\cdot \boldsymbol \xi(t) \right)\left( \int_0^\tau\mathrm d s \partial_\theta \boldsymbol G^\theta(\boldsymbol x(s))\cdot \boldsymbol \xi(s) \right). $$

根据 $\langle \xi_i(t)\xi_j(s) \rangle = \delta_{ij}\delta(t-s)$ 可得 Fisher 信息为

$$ I_\theta = \langle (\partial_\theta \ln \mathbb P^\theta(\hat{\boldsymbol x}))^2 \rangle = \frac{1}{2D\gamma^2}\int_0^\tau \mathrm d t\langle \Vert\partial_\theta\boldsymbol G^\theta(\boldsymbol x(t))\Vert^2 \rangle $$

再由 $\boldsymbol G^\theta(\boldsymbol x) = \gamma(\theta - 1)\boldsymbol v^{\text{st}}(\boldsymbol x)$ 可得

$$ I_\theta = \frac{\tau}{2D}\int \mathrm d \boldsymbol x \Vert \boldsymbol v^{\text{st}}(\boldsymbol x) \Vert^2 p^{\text{st}}(\boldsymbol x) = \frac{1}{2}\Sigma. $$

由此可见在定态时 Fisher 信息的值就是熵产生的一半。

使用现在 Cramer-Rao 不等式

$$ \frac{(\partial_\theta\langle J_\tau \rangle^\theta)^2}{\mathrm{Var}^\theta(J_\tau)} \le I^\theta \implies \frac{\langle J_\tau \rangle^2}{\mathrm{Var}^\theta (J_\tau)} \le \frac{1}{2}\Sigma. $$

上式对任何的 $\theta \in \mathbb R$ 都成立，自然也对 $\theta = 1$ 成立。当 $\theta = 1$ 时，即得到 TUR

$$ \frac{\langle J_\tau \rangle^2}{\mathrm{Var} (J_\tau)} \le \frac{1}{2}\Sigma. $$

由推导过程可知，TUR 对郎之万动力学的定态情形始终成立。

由 Cramer-Rao 不等式的含义可知，不等号左边表示测量流 $J_\tau$ 所获得的信息，右边表示路径概率分布所包含的信息，不等式表明测量一个流所获得的信息不会超过系统动力学的概率分布所包含的信息。

4. 参考文献

[1] Dechant, Andreas, and Shin-ichi Sasa. "Continuous time reversal and equality in the thermodynamic uncertainty relation." Physical Review Research 3.4 (2021): L042012.
[2] Dechant, Andreas. "Thermodynamic Uncertainty Relations Derivation, Interpretation and Generalization." WOST III 2022. http://noneq.c.u-tokyo.ac.jp/Stochastic_Thermodynamics_III/wp-content/uploads/2022/05/Dechant_TUR_Tutorial.pdf