证明在给定条件下，马氏链从状态0出发首次到达状态m的期望时间与转

2024-11-13 本文已影响0人久别重逢已经那边v发

令 $m$ 为一正整数。考虑一个整数集合 $\mathbb{Z}$ 上的马氏链 $X=(X_{n})_{n≥0}$ ，其转移概率 ${p}_{i,j}:={\mathbb{P}}[X_{n+1}=j|X_{n}=i]$ 满足如下条件：(1). ${p}_{i,j}≠0$ 当且仅当 $\left | j-i \right |=1$ ; (2). 当 $j-i=m时，{p}_{i,i+1}={p}_{j,j+1}。令{Y}_{n}=X_{n}\mod m$ 。则 $Y=({Y}_{n})_{n≥0}$ 可看成一个状态空间为 $\{0,1,\cdots,m−1\}$ 的马氏链。令 $(μ_{i})_{0≤i<m}$ 为Y的平稳概率分布。令 $A=\sum_{i=0}^{m-1}μ_{i}{p}_{i,i+1}。令T=\inf\{n≥0:X_{n}=m\}$ 。证明：如果 $A>\frac{1}{2}$ ，则 $(2A-1){\mathbb{E}}[T|X_{0}=0]=m$ 。

证：

1.确定平稳分布 $\mu$ 的性质

由于 $Y_n = X_n \mod m$ 形成的马氏链是周期为 $m$ 的不可约链，根据马氏链理论，存在唯一的平稳分布 $\mu = (\mu_0,\mu_1,\cdots,\mu_{m-1})$ 。对于平稳分布 $\mu$ ，满足全局平衡条件：

$\mu_i p_{i,i-1} +\mu_i p_{i,i+1} = \mu_{i-1} p_{i-1,i} + \mu_{i+1}p_{i+1,i}$

2.利用条件(2)和平稳分布的性质

由条件(2)对于所有 $i$ ，当 $j-i=m$ 时， $p_{i,i+1}= p_{j,j+1}$ 。

因为 $Y$ 是周期为 $m$ 的马氏链且有平稳分布· $\mu$ ，对于任意的 $i$ ，我们考虑从状态 $i$ 到状态 $i+1$ 以及从状态 $i+1$ 到状态 $i$ 的转移概率与平稳分布的关系。由细致平衡条件可得：

$\mu_ip_{i,i+1}=\mu_{i+1}p_{i+1,i}$

又因为转移概率满足 $p_{i,i+j}\neq0$ 当且仅当 $|j-i|=1$ ，所以：

$p_{i,i+1} + p_{i,i-1} = 1$

将 $p_{i+1,i}=1-p_{i+1,i+1}$ 代入 $\mu_i p_{i,i+1}=\mu_{i+1}p_{i+1,i}$ ，可得：

$\mu_{i}p_{i, i+1} = \mu_{i+1}(1-p_{i+1,i+1})$

再根据条件(2)中关于 $p_{i,i+1}$ 的平移不变性(即对于合适的 $i$ 和 $j$ 、 $p_{i,i+1}= p_{j,j+1}$ )以及细致平衡条件反复运用，可以逐步推导出对于所有 $i$ 、 $\mu_i p_{i,i+1}$ 的值是相等的，记为 $A$ 。具体推导如下：

从 $\mu_0 p_{0,1}=\mu_1 p_{1,0}$ .又 $p_{1,0}=1-p_{1,1}$ .所以 $\mu_0 p_{0,1}=\mu_1(1-p_{1,1})$ 。

而由条件 (2)， $p_{0,1} = p_{m,m+1} = p_{m,1}$ (因为在 $\mathbb{Z}$ 上考虑、 $m+1$ 与 $1$ 在 mod $m$ 意义下是等同的)，且 $\mu_0 p_{0,1}=\mu_m p_{m,1}$ (细致平稳条件)，所以 $\mu_1 (1-p_{1,1}) =\mu_m p_{m,1}$ 。