[過去ﾛｸﾞ] 現代数学の系譜 工学物理雑談 古典ガロア理論も読む76 (1002ﾚｽ)
上下前次1-新
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
12(2): 現代数学の系譜 雑談 古典ガロア理論も読む ◆e.a0E5TtKE 2019/08/25(日)19:26 ID:5ZvpTN/e(9/21) AAS
以前も書いた気がするが、時枝は情報エントロピー理論に反する気がするなーｗ（＾＾；
外部ﾘﾝｸ:ja.wikipedia.org
情報量
(抜粋)
情報量（じょうほうりょう）やエントロピー（英: entropy）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。
「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる数学的な量でしかなく、個人・社会における有用性とは無関係である。
選択情報量
事象 E} Eが起こる確率を P(E)とするとき、 事象 Eが起こったことを知らされたとき受け取る（選択）情報量 I(E) を
I(E)=log 1/P(E)=-log P(E)
と定義する。
上式中の対数 ( log ) の底として何を選んでも、情報量の値が定数倍変わるだけなので、本質的な差はないものの、底としては2を選ぶことが多い。
歴史
現在の情報理論におけるエントロピーの直接の導入は1948年のクロード・シャノンによるもので、その論文『通信の数学的理論』でエントロピーの概念を情報理論に応用した[2]。
シャノン自身は熱統計力学でこの概念と関連する概念がすでに使われていることを知らずにこの定義に到達したが、その名称を考えていたとき同僚フォン・ノイマンが、熱統計力学のエントロピーに似ていることから示唆したもので、
フォン・ノイマンは「統計エントロピーが何なのかを理解してる人は少ないから、議論になったら有利であろう」と語ったとされる[3][4]。しかしシャノンはフォン・ノイマンの影響を否定している[5]。
外部ﾘﾝｸ[html]:eman-physics.net
EMANの物理学・統計力学・情報エントロピー
情報科学と物理学はいつか融合するような気がする。
(抜粋)
二種のエントロピー
情報科学の分野にもエントロピーという用語が出てくる。これは情報量の大きさ（情報の確かさ）を表すために導入された概念である。
そもそもは統計力学とは無関係のアイデアだったのだが、統計力学に出てくるエントロピーの概念に似ていることに気付いて同じ名前を採用することになった。
物理学のエントロピーと区別するために「情報エントロピー」と呼ばれることがある。
つづく
上下前次1-新書関写板覧索設栞歴
あと 990 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.009s