(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
561(3): 557 2016/11/17(木)21:05 ID:G0S5ouMa(1) AAS
Page 15
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry
しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン
階層構造に連結されたリージョン15の表現は、生物学から ry
新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry
基づいて、新皮質を異なる領域ないしリージョンに区分けする。
あるリージョンはセンサから直接入力 ry
、他のリージョンは他のいくつかのリージョンを経由 ry
。階層構造を決 ry ージョ ry ョンへの接続関係 ry
新皮質のすべてのリージョンの細部は似 ry
サイズや階層構造の中のどこに位置 ry 違 ry 、その他は似ている。
厚さ 2mm の新皮質リージョンを縦にスライスしたなら、6 つの層 ry 。
5 つはセルの層で、1 つはセルではない層である（少しの例外 ry ）。
新皮質リージョンの各層はカラム状に数多くの相互接続されたセルがある。
HTM リージョンもまた、高度に相互接続されたセルがカラム状に配列された皮 ry
新皮質の第 3 層はニューロンの主要なフィード・フォワード層である。
HTM リー ry のセルはおおまかに言えば新皮質のリー ry 3 層にあるニューロンと等価 ry
図 １-３ HTM リージョンの区画。 ry 。セルは二次元のカラム状 ry
図では、1 カラム当たり 4 つのセル ry 小さな区画 ry 。各カラムは入力
15 region。体の部位、局部など ry
562(4): 561 2016/11/18(金)23:35 ID:fnVQMg28(1) AAS
Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。
この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、
複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現
新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン
だけが一度にアクティブになるように抑制ニューロンによって保護されている。
よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ
のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry
「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry
。一つのアクティブなニューロンは何らかの意味表現に関わっているが、
いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry
ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。
ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry
ry リージョンが 20,000 ビットの入力 ry
。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry
ry 、またあるときは 9,000 個のビットが”1”であったりする。
HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、
入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。
ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、
10,000 ビットのうち約 200 ビットが常にアクティブになる。
リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が
ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry
。しかしながら、どちらの数も途方もなく大きい。
ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。
617(5): 616 2017/01/03(火)03:06 ID:igW+0jZp(2/2) AAS
ry カラムは複数のセルからなっている。
同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。
ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、
完全に同じ入力に対して異なる文脈では異なる表現をすることができる。
例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry
。カラムの中で一つのセルだけが一度にアクティブであるとすると、
完全に同じ入力に対して 4100 通り ry
。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、
文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry
、これらの異なる表現はどのくらいユニーク ry ？
4100 個の可能なパターンのうちからランダムに選択した 2 個は、
ほとんどの場合、約 25 個のセルが重複 ry
よって同じ入力を異なる文脈で表した 2 つの表現は、
約 25 個のセルが共通で 75 個のセルが異なっており、容易に区別 ry
HTM リージョンの一般的な規則 ry
カラムがアクティブ ry 、そのカラム中のすべてのセルを見る。
もしそのカラム中の一つ又はそれ以上のセルが既に予測状態であれば、
それらのセルだけがアクティブになる。もしそのカラム
31 「私は梨を食べる」と「私は 8 個の梨を持っている」
>>561 >>578-579 >>590 >>599-600 >>604
619(4): 618 2017/01/10(火)06:41 ID:xuLIsBiQ(1/2) AAS
Page 30
。セルが ry セルとの横方向の接続によってアクティブ ry 「予測状態」と呼ぶ（図 ２-３）。
3) 以前の入力の文脈に基づいて、現在の入力からの予測をするリージョンの ry
予測はステップ 2)で作成した、すべての以前の入力からの文脈を含む表現に基づ ry
リージョンが予測をするときは、将来のフィード・フォワード入力によって
アクティブになると考えられるすべてのセルをアクティブ（予測状態）にする。
リージョンの表現は疎であるので、同時に複数の予測がなされ得る。
例えばカラムのうちの 2%が入力によってアクティブになるとすると、
カラムの 20%が予測状態のセルとなることで10 個の異なる予測がなされ得る。
ry 40% ry 20 個 ry 。各カラムが 4 個のセルからなり、一度に一つだけがアクティブ
になるとすれば、セル全体の 10%が予測状態 ry
今後、疎分散表現の章が追加されれば、異なる予測が混じり合っても、
リージョンは特定の入力が予測されたのかそうでないのかを高い確信 ry
リージョンはどうやって予測 ry ？ 入力パターンが時間と共に変化するとき、
カラムとセルの異なる組み合わせが順次アクティブになる。
あるセルがアクティブになると、周囲のセルのうちすぐ直前にアクティブだったセルの
部分集合への接続を形成する。これらの接続は、そのアプリ ry で必要とされる学習速度
に応じて早く形成されたりゆっくり ry 調整できる。
その後、すべてのセルはこれらの接続を見て、
どのセルが同時にアクティブになるかを探さなくてはならない。
もし接続がアクティブになったら、
セルはそれ自身が間もなくアクティブになることを予測することができ、予測状態に入る。
よってある組み合わせのセルがフィード・フォワード入力によってアクティブになると、
ひき続いて起こると考えられる他の組み合わせのセルが予測状態になる。 ry
歌を聞いていて次の音を予測 ry 瞬間と同様 ry
>>541 >>555 >>557-558 >>561-564 >>570 >>578-579
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.028s