(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
564(4): 563 2016/11/20(日) 22:51:17.90 ID:gBNtPa9o(1)調 AAS
Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry
。視覚では静的な画像の推論がときには可能なものの、
物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry
網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。
脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。
時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても
混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry
。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry
これらのセンサの時間的な変化からもたらされるデータで訓練 ry
ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、
データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry
。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。
同時に複数の時系列が重なりあって起こることもある。
学習は継続的に行われ、またノイズがある中で行われなければならない。
シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを
HTM が学習すれば、 ry 現在の入力とその直前の入力に対して
次にどのパターンが現れる可能性が高いかを予測 ry
HTM の 4 つの基本的な機能に戻ろう：学習・推論・予測・行動16である。
各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。
生物学によれば、多くの新皮質のリージョンが行動を形成 ry
しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信
16 behavior
567(5): 564 2016/11/23(水) 12:51:21.88 ID:IM1cuRG2(1/2)調 AAS
Page 19
じている。よって行動は現在の HTM の実装に含まれていない。 ry
学習
HTM リージョンは ry パターンとパターンのシーケンスを見つけることで、
その世界を学習する。 ry 入力が何を表しているのかを「知って」はいない。
ry 統計的 ry 入力ビット ry 頻繁に同時に起こる組み合わせを見ている。
ry これを空間的パターンと呼 ry パターンが時間と共にどのような順で現れるか ry
これを時間的パターンないしシーケンスと呼んでいる。
ry 入力が建物の ry センサであるなら、リージョンは建物の北側や南側において、
ある温度と湿度の組み合わせがしばしば起こることを見つけるだろう。
そしてこれらの組み合わせが毎日移り変わる様子を学習 ry
ry 入力があるお店の購入に関する情報 ry 、週末にある種の雑誌が購入される ry
、天候が寒いときはある種の価格帯のものが夕方頃に好まれることを ry
一つの HTM リージョンは学習の能力が限定されている。
ry どれだけのメモリ ry 入力が ry 複雑 ry に応じて何を学習するかを自動的に調整する。
ry メモリが削減 ry 学習する空間的パターンはより単純 ry
メモリが増加 ry 複雑になりうる。学習した空間的パターンが単純であれば、
複雑な画像を理解するにはリージョンの階層構造が必要となりうる。
我々はこの特徴を、人の視覚システムに見る ry
。網膜から情報を受け取る新皮質のリージョンは、
視覚的な小さな領域についてだけ、空間的なパターンを学習する。
階層 ry を経由した後にだけ、視覚の全体像を認識する。
586(1): yamaguti~貸 2016/12/10(土) 01:58:38.83 ID:O8le5YJ4(1/4)調 AAS
外部ﾘﾝｸ[htm]:www.sankeibiz.jp
> ーニングの顔ニューロンが表現する内容は静的ですが、脳の顔ニューロンは非線形のダイナミクス ry
> 。猿の脳 ry 、顔ニューロンが、刺激の後しばらくは人と猿を区別するみたいな大まかな分類をやり、
> もう少し時間が経つと、より詳細な個を区別したり、表情を区別したりしだすのです。
> つまり時間とともに表現する内容が変わっていく。
> このダイナミクスが脳の本質で、それがない人工ニューラルネットワークは脳とは全然違うものなのです。
>>562 >>564 >>578
外部ﾘﾝｸ[pdf]:webcache.googleusercontent.com
2
> 理論が大事 ry 。やってみたら出来ました、結果が出ましたという研究が多い。
> ディープラーニング ry は、入力情報と出力情報を一致させる同じニューロン数から成る恒等写像を
> 作ることを繰り返すのだけど、その際、途中（中間層）でニューロン数を絞るので非線形の情報圧縮が起き、
> ry 圧縮 ry 。だけど、それが何故上手くいって、何をやっているのかを理論的に解明しないと、
> 大きな飛躍にはならないと思います。 ry
> 理論研究は世界的にあまり進んでいなくて、みんな使ってみて結果を出すことに熱中
5
> ディープラーニングに関しては、もっと数理をやらないと底が浅い話 ry 危惧 ry
> 使ってみたら出来ましたっていう研究 ry も良いと思いますが、
> 僕らは数理の研究者なので、どうして上手くいくのかが分からないと僕らの研究にはならない
587(1): 586 2016/12/10(土) 01:59:36.18 ID:O8le5YJ4(2/4)調 AAS
外部ﾘﾝｸ[htm]:www.sankeibiz.jp
> 「ディープラーニングを使って、動的なものすなわち時空間のダイナミクスを扱おうとすると、
> これまで失敗してきたことの繰り返しになると思います。
> ニューラルネットワークを使って、時空間のダイナミクスを扱う研究は何十年もされてきてはいますが、 ry
> 。むしろ、そういった時空間情報を扱う手法は、既に数学的に ry 。ディープラーニングは要素技術としては
>>555 >>564 >>567-568
#32#36#40#48
>>581
4
> 大脳皮質は、視覚も聴覚も触覚の部分も基本的に同じ六層構造で、構造自体に汎用性があります。
> 単にそこに入ってくる情報が違うだけで、基本原理は同じはずです。
外部ﾘﾝｸ[pdf]:webcache.googleusercontent.com
619(4): 618 2017/01/10(火) 06:41:13.03 ID:xuLIsBiQ(1/2)調 AAS
Page 30
。セルが ry セルとの横方向の接続によってアクティブ ry 「予測状態」と呼ぶ（図 ２-３）。
3) 以前の入力の文脈に基づいて、現在の入力からの予測をするリージョンの ry
予測はステップ 2)で作成した、すべての以前の入力からの文脈を含む表現に基づ ry
リージョンが予測をするときは、将来のフィード・フォワード入力によって
アクティブになると考えられるすべてのセルをアクティブ（予測状態）にする。
リージョンの表現は疎であるので、同時に複数の予測がなされ得る。
例えばカラムのうちの 2%が入力によってアクティブになるとすると、
カラムの 20%が予測状態のセルとなることで10 個の異なる予測がなされ得る。
ry 40% ry 20 個 ry 。各カラムが 4 個のセルからなり、一度に一つだけがアクティブ
になるとすれば、セル全体の 10%が予測状態 ry
今後、疎分散表現の章が追加されれば、異なる予測が混じり合っても、
リージョンは特定の入力が予測されたのかそうでないのかを高い確信 ry
リージョンはどうやって予測 ry ？ 入力パターンが時間と共に変化するとき、
カラムとセルの異なる組み合わせが順次アクティブになる。
あるセルがアクティブになると、周囲のセルのうちすぐ直前にアクティブだったセルの
部分集合への接続を形成する。これらの接続は、そのアプリ ry で必要とされる学習速度
に応じて早く形成されたりゆっくり ry 調整できる。
その後、すべてのセルはこれらの接続を見て、
どのセルが同時にアクティブになるかを探さなくてはならない。
もし接続がアクティブになったら、
セルはそれ自身が間もなくアクティブになることを予測することができ、予測状態に入る。
よってある組み合わせのセルがフィード・フォワード入力によってアクティブになると、
ひき続いて起こると考えられる他の組み合わせのセルが予測状態になる。 ry
歌を聞いていて次の音を予測 ry 瞬間と同様 ry
>>541 >>555 >>557-558 >>561-564 >>570 >>578-579
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ ｱﾎﾞﾝOFF
ぬこの手 ぬこTOP 1.847s*