Shannon情報量とvon Neumann情報量の関係

· 量子情報Shannon情報量von Neumann情報量

Shannon情報量

確率変数XXに対する確率分布P(X)P(X)に対し、Shannon情報量H(P)を次で定義しましょう：

S(P):=−∑x∈XP(X=x)ln⁡P(X=x)\begin{align} S(P) := - \sum_{x \in X} P(X=x) \ln P(X=x) \end{align}

この定義は主に次のような動機から要請されます。

(i)について、情報はありふれた事象(PPが大きい)ときには小さくなるだろうという気持ちを表しています。 例えば、宝くじ、競馬、競艇、パチンコといったギャンブルで負けるというイベントは、日常的にごくごく普通にありふれており、 辛い気持ちになっている人間がいるということは珍しい話ではないし、なんの興味も持たれないでしょう。一方、ギャンブルで勝てば（つまり 確率PPが小さいとき）ある一定のコミュニティ（友人間や会社間、あるいはニュース）レベルで大きな話題になります。

つまり、情報とは ∝P−1\propto P^{-1} であると考えられます。

(ii)について、確率によって情報量が飛び飛びの値をとるのは直感的には受け入れらない気持ちを表しています。 情報量がある一点のP∗P_\astだけ階段関数のようになっているとしよう。[0,P∗][0, P_\ast]までは0をとり、(P∗,1](P_\ast, 1]で1を とるものだとすると、P∗P_\astの情報量がある一点を境に急に情報を獲得したように見えてしまいます。 以下で考える情報量のとりかたはPPに対して飛び飛びな値を取ることがないことを保証する、として議論します。

(iii)については、情報量は足し算ができるべきだ、という気持ちを表しています。競馬であてて、競艇でもあてたら、 それぞれ単独で当てた話題性はより大きいものになるでしょう。単純に数学的に2つの独立に生じるイベントに対する確率がそれぞれP1−1,P2−1P^{-1}_1, P^{-1}_2であるとして、 両者を足しても∝P1P2/(P1+P2)\propto P_1 P_2 / (P_1 + P_2)のような形式になり、元の形式である(P1+P2)−1(P_1 + P_2)^{-1}にはならない。よって、H(P1P2)=H(P1)+H(P2)H(P_1 P_2) = H(P_1) + H(P_2) を満たして欲しいのです。

von Neumann情報量

演算子の関数の表現

演算子A^\hat{A}をスペクトル分解すると

A^=∑kaˉkP^aˉk\begin{align} \hat{A} = \sum_k \bar{a}_k \hat{P}_{\bar{a}_k} \end{align}

と表される。P^aˉk\hat{P}_{\bar{a}_k}はaˉk\bar{a}_kが属する固有空間の射影演算子である。 このときf(A^)f(\hat{A})を次で定義する。

f(A^)=∑kf(aˉk)P^aˉk .\begin{align} f(\hat{A}) = \sum_k f(\bar{a}_k) \hat{P}_{\bar{a}_k}\,. \end{align}

つまるところ、スペクトル分解されたときの固有値に対して関数を作用させるだけです。

von Neumann情報量の定義

von Neumann情報量の定義は密度演算子をρ^\hat{\rho}として

S(ρ^)=Trρ^ln⁡ρ^ S(\hat{\rho}) = {\rm Tr} \hat{\rho} \ln \hat{\rho}

とかけます。

ρ^\hat{\rho}の固有値をξk\xi_k、それに属する固有関数を∣ξk⟩\ket{\xi_k}とします。 スペクトル分解すると

ρ^=∑kλk∣ξk⟩⟨ξk∣ \hat{\rho} = \sum_k \lambda_k \ket{\xi_k}\bra{\xi_k}

とできます。∣ξk⟩⟨ξk∣\ket{\xi_k} \bra{\xi_k}はλk\lambda_kが属する固有空間への射影演算子です。

この表現を使うことで、

S(ρ^)=−Tr[∑kλkln⁡λk∣ξk⟩⟨ξk∣]=−∑kλkln⁡λkTr[∣ξk⟩⟨ξk∣]=−∑kλkln⁡λk\begin{align} S(\hat{\rho}) &= - {\rm Tr}\left[ \sum_k \lambda_k \ln \lambda_k \ket{\xi_k} \bra{\xi_k} \right] \notag \\ &= - \sum_k \lambda_k \ln \lambda_k {\rm Tr} \left[ \ket{\xi_k} \bra{\xi_k} \right] \notag \\ &= - \sum_k \lambda_k \ln \lambda_k \end{align}

とも表現できます。

参考文献