基礎工学・応用数理
情報理論

複雑な系である世界の様相を人間が観測し把握する際には、人間が取り扱える形式・サイズの情報として写し取る必要がある。また、記述された情報を保存や伝達する際に、一般には外的要因のため内容がそのまま保たれるとは限らず、何らかの対策が必要となる。情報理論は、情報の効果的かつ効率的な記述、保存、伝達などの数学的基盤を与える理論である。特に、情報技術の具体的な方式を与えるだけでなく、考え得る方式の性能に関する理論的な限界を調べることをも時として可能とするものである。本講義では、情報理論および同分野と特に関連の深い分野について、その数学的な基礎を論じる。

下記は講義内容の例であり、それ以外の内容や発展的題材を扱うこともある。また項目の並び順は講義で取り扱う順序と必ずしも一致しない。

1. 情報と情報量
　確率、情報エントロピー、相互情報量、ダイバージェンス、確率不等式、大数の法則

2. 情報と計算
　計算モデル、チューリング機械、情報の圧縮可能性（コルモゴロフ複雑性）

3. 情報源符号化
　符号化と復号、一意復号可能性、逐次復号可能性、符号化の理論限界、具体的構成

4. 確率変数の量子化
　レート歪み符号、レート歪み関数、達成可能性と理論限界

5. 通信路符号化
　通信路モデル、誤り訂正符号、最尤復号、通信路符号化定理、通信路容量、線型符号の具体的構成

6. その他（取り扱う内容は講義の進展状況に応じて調整する）
　暗号理論の基礎、量子情報理論の基礎、など