(情報科学)技術的特異点と科学・技術等 1 (ナノテク) [転載禁止]©2ch.net (840レス)
(情報科学)技術的特異点と科学・技術等 1 (ナノテク) [転載禁止]©2ch.net http://rio2016.5ch.net/test/read.cgi/future/1427220599/
上
下
前
次
1-
新
通常表示
512バイト分割
レス栞
599: 597 [sage] 2016/12/20(火) 00:26:15.67 ID:ymkk5AtR >>597-598 高レイヤ文脈用テンポラル記憶選択機構 ( 海馬系 ) http://m.youtube.com/watch?v=3KrArkmPo4A 北村貴司(きたむらたかし) マサチューセッツ工科大学 上級研究員 【日本神経科学会 市民公開講座・脳科学の達人2016】 HTM アクティブ非アクティブ系根源文脈回路大規模専用回路化 ? >>562-590#564#578-579 http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#26#28-30#32#38-41#54#63#70#73#77#80 TRONCHIP 間接アドレッシング ( マスターアルゴリズム 自発的対称性の破れ ) 機構 MMU キュー応用 >>379 >>479-504#480#483#497 >>582 http://rio2016.2ch.net/test/read.cgi/future/1478753976/596#758 http://rio2016.2ch.net/test/read.cgi/future/1475655319/726#837 http://rio2016.2ch.net/test/read.cgi/future/1476925488/358#510-511 AskJeeves に買収 ? された企業の特許 ( 非リンクスコアリング技術 ) http://rio2016.5ch.net/test/read.cgi/future/1427220599/599
600: 599 [sage] 2016/12/20(火) 18:13:36.74 ID:ymkk5AtR >>599 × http://m.youtube.com/watch?v=3KrArkmPo4A ○ http://m.youtube.com/watch?v=3KrArkmPo4A × 非リンク ○ 被リンク http://rio2016.5ch.net/test/read.cgi/future/1427220599/600
601: 596 [sage] 2016/12/20(火) 23:56:43.52 ID:ymkk5AtR Page 25 する。 ry これら2つのアクティブ状態以上の詳細なモデル化の必要性はない ry 個々のアクション状態の強さの程度、アクティビティの発生頻度を表すスカラー量 などはモデル化する必要性を見いだせない。分散表現の利用は、 セルのアクティビティの程度を表すスカラー量をモデル化することを凌駕 ry 樹状突起セグメント HTM セルは比較的リアルな( ry 複雑な)樹状突起モデルを持つ。各 HTM セルは理論的に 一つの主要樹状突起セグメント29と 10~20 個の末梢樹状突起セグメント30を持つ。 主要樹状突起セグメントはフィード・フォワード入力 ry 末梢樹状突起セグメントは周辺のセルからの横方向の入力 ry 抑制セルは同じカラム中の全てのセルが 類似のフィード・フォワード入力に対して応答するように強制する。 単純化のため、各セルごとの主要樹状突起セグメントを取り除き、 同じカラム中のすべてのセルで共有する一つの主要樹状突起セグメントで置き換えた。 空間プーリング関数(後述)はカラム単位で、共有の樹状突起セグメントに対して作用する。 時間プーリング関数はカラム中の個々のセル単位で、末梢樹状突起セグメントに対 ry 。生物学的にはカラムに接続するような樹状突起セグメントは存在しない ry この単純化は同等 ry http://rio2016.5ch.net/test/read.cgi/future/1427220599/601
602: 601 [sage] 2016/12/20(火) 23:57:21.05 ID:ymkk5AtR シナプス ry 二値のウェイトを持つ。生物学上のシナプスは可変値のウェイト ry 確率的・不安定 ry 生体ニューロンはシナプスのウェイト値の正確な値に依存しているはずがない ry 。HTM の分散表現及び我々の樹状突起の計算モデルを利用すれば、 HTM シナプスに二値のウェイトを割り当てても何ら悪影響はないはずである。 シナプスの形成及び切断をモデル化 ry 2つの追加 ry ニューロサイエンスから援用した。 一つ目は、シナプス候補の概念である。これは樹状突起セグメントに十分近い位置を通る すべての軸索を表し、シナプスを形成する可能性があるものである。 二つ目は、永続値である。これは各シナプス候補に割り当てられたスカラー値である。 ry 軸索と樹状突起の間の接続の度合 ry 度合は生物学的には、完全に分離した状態から、 接続はしていないがシナプスを形成し始めた状態、最小限にシナプスが接続した状態、 大きく完全にシナプスが接続された状態に至るまでの範囲を取る。シナプスの 28 a slower, steady rate of action potentials in a neuron 29 proximal dendrite segment。樹状突起のうち、ニューロンの中心部に近い部分。 30 distal dendrite segment。樹状突起のうち、末端に近い部分。 distalは末梢(まっしょう)・末端の意味。ちなみに末梢神経は peripheral nerve という。 http://rio2016.5ch.net/test/read.cgi/future/1427220599/602
603: 槙林聖二 [] 2016/12/21(水) 17:44:39.98 ID:tbiKezrL 僕の名前は槙林聖二。 職業はテロリスト。 サイレントテロで経済をどん底に叩き落とそうぜ50 http://tamae.2ch.net/test/read.cgi/eco/1480500004/ 東京都出身・在住。 http://i.imgur.com/hlM8Gpq.jpg 趣味は読書。 http://i.imgur.com/8JjN8GT.jpg 特技はシステマ。 http://i.imgur.com/Esi7ffh.jpg 好物はチキンティッカマサラ。 Chicken Tikka Masala (British National Dish) Olympic Recipe チキンティッカマサラ レシピ https://www.youtube.com/watch?v=lLrICFYCy_w どうかよろしく。 http://rio2016.5ch.net/test/read.cgi/future/1427220599/603
604: 601 [sage] 2016/12/22(木) 00:34:59.55 ID:kuCFO/r6 Page 26 永続値は 0.0 から 1.0 まで ry 。学習にはシナプスの永続値の増加や減少が含まれる。 シナプスの永続値がしきい値を超えたら、ウェイト値 1 で接続されたことを表す。 しきい値より下回っていたら、ウェイト値 0 で切断 ry 概要 仮に読者が HTM リージョンだ ry 。貴方の入力は数千ないし数万のビット ry センサ入力データや、階層構造の下位の他のリージョンから来たデータである。 それらは複雑にオン・オフしている。これらの入力に対して貴方は何が出来るか? 我々はその答えを単純な形態で既に説明した。 各 HTM リージョンはその入力の共通のパターンを探し、 ry シーケンスを学習する。 シーケンスの記憶から、各リージョンは予測 ry もう少し説明 ry 以下の3ステップ ry 1) 入力の疎分散表現を作成する 2) 以前の入力の文脈に基づいて、入力の表現を作成する 3) 以前の入力の文脈に基づいて、現在の入力からの予測をする http://rio2016.5ch.net/test/read.cgi/future/1427220599/604
605: 604 [sage] 2016/12/22(木) 00:35:51.05 ID:kuCFO/r6 ry 詳細 ry 1) 入力の疎分散表現を作成する リージョンへの入力を想像するには、それを巨大なビット列と考えるとよい。 脳内ではこれらはニューロンからの軸索にあたる。任意の時点で、 これらの入力のある部分はアクティブ(値1)、他の部分は非アクティブ(値0)である。 アクティブな入力ビットの比率は変化する。例えば0%から60%としよう。 HTMリージョンで行う最初の事は、この入力を疎な新しい表現に変換 ry 。例えば、入力のうち40%がオンかも知れないが、新しい表現では2%だけがオン ry 。HTMリージョンは論理的にはカラムの集合 ry カラムは1又はそれ以上のセルから成る。 カラムは論理的には2Dの配列状に配置できるが、これは要件ではない。 ry 各カラムは入力ビットのユニークな部分集合(普通は他のカラムと重なるが、 完全に同じ部分集合になることはない)に接続される。結果として、 異なる入力パターンからは、レベル全体では異なるカラムのアクティベーションを得る。 最も強いアクティベーションを得たカラムは、 弱いアクティベーションを得たカラムを抑制、ないし非アクティブ化する。 (抑制は非常に局所的範囲からリージョン全体までの範囲で変化する円の ry )入力 http://rio2016.5ch.net/test/read.cgi/future/1427220599/605
606: 染谷伸晃 [] 2016/12/22(木) 13:42:14.88 ID:xB2eN/Pk 僕の名前は染谷伸晃。 職業はテロリスト。 サイレントテロで経済をどん底に叩き落とそうぜ50 http://tamae.2ch.net/test/read.cgi/eco/1480500004/ 東京都出身・在住。 http://i.imgur.com/hlM8Gpq.jpg 趣味は読書。 http://i.imgur.com/8JjN8GT.jpg 特技はシステマ。 http://i.imgur.com/Esi7ffh.jpg 好物はチキンティッカマサラ。 Chicken Tikka Masala (British National Dish) Olympic Recipe チキンティッカマサラ レシピ https://www.youtube.com/watch?v=lLrICFYCy_w どうかよろしく。 http://rio2016.5ch.net/test/read.cgi/future/1427220599/606
607: 染谷伸晃 [] 2016/12/22(木) 14:46:27.43 ID:xB2eN/Pk デザイナーベビーの失敗作。 http://i.imgur.com/hfqZePe.jpg http://i.imgur.com/t4icEVK.jpg http://i.imgur.com/LORv0Oy.jpg http://rio2016.5ch.net/test/read.cgi/future/1427220599/607
608: yamaguti~貸 [sage] 2016/12/23(金) 12:48:57.87 ID:s0gy4sJo >>http://rio2016.2ch.net/test/read.cgi/future/1481515915/261 >>582 >599 > TRONCHIP 間接アドレッシング ( マスターアルゴリズム 自発的対称性の破れ ) 機構 MMU キュー応用 http://rio2016.5ch.net/test/read.cgi/future/1427220599/608
609: yamaguti~貸 [sage] 2016/12/25(日) 09:55:12.32 ID:HhtfNWQ8 > 452 : yamaguti~kasi 2016/12/25(日) 09:43:54.36 ID:HhtfNWQ8 > ○ 弱い AI 組合せ方式 : 実用上問題ない ( + 高効率 ) → 日ノ本 悲願のプラットフォーム掌握 ( AI ) > × 他の方式 ( 全脳型 ) : 考慮に値せず ( 上記方式欠点なし ) > > ↑ 弱い AI 応用 基盤 着々 ( 国家予算 ) > 松尾先生 : 恐らくマルチビューマルチタスク等にも関わる深層学習次世代理論でご先行 > 山川先生 : ( 全脳型応用にせよ ) Deep PredNet ( 組合せ型深層学習拡張 + HTM 要素 ? ) > http://rio2016.2ch.net/test/read.cgi/future/1427220599/581 >763 : YAMAGUTIseisei 2016/09/30(金) 18:17:20.94 ID:/EmvfkU+ >http://rio2016.2ch.net/test/read.cgi/future/1472305818/782#785 >http://rio2016.2ch.net/test/read.cgi/future/1472305818/806-808 http://rio2016.5ch.net/test/read.cgi/future/1427220599/609
610: 609 [sage] 2016/12/25(日) 23:41:11.12 ID:HhtfNWQ8 >>609 > 449 : YAMAGUTIseisei~kasi 2016/12/25(日) 03:30:09.16 ID:HhtfNWQ8 > シンギュラリティスレに相応しい大切な議論 ( 議題 ) > ※ 但し 失礼ながら些か脱線の傾向 ( 議題の中の肝の部分が大切 ) >496 : yamaguti~kasi 2016/12/25(日) 23:35:42.88 ID:HhtfNWQ8 > >>452 > 流れ > LSf1DgBH 氏文脈 http://rio2016.2ch.net/test/read.cgi/future/1476925488/210# SaiRyuudoKa http://rio2016.2ch.net/test/read.cgi/future/1476925488/949# Sukoaringu http://rio2016.5ch.net/test/read.cgi/future/1427220599/610
611: yamaguti~貸 [sage] 2016/12/28(水) 19:25:08.56 ID:cR1KnFY8 http://rio2016.2ch.net/test/read.cgi/future/1481515915/274#290 >274 : オーバーテクナナシー 2016/12/23(金) 16:01:53.21 ID:qoXUV7bO > ディープラーニングに必要な計算量を30分の1に省力化、デバイスに搭載できる人工知能 ─三菱電機インタビュー >http://iotnews.jp/archives/44190 > ry 係数が0になる部分をできるだけ増 ry 計算を簡略化 ry > ─重みづけに使う係数が0になるところを増やして計算をできるだけ簡略化 ry > ry データの特徴を分析して、その枝の部分でも重要な枝 ry 決め打ちで残します。 > ─これは人が残すのでしょうか? > 現時点では人が枝を選別しています。枝を大幅に削減しても性能が落ちない事を理論的に証明 ry > 数字がたくさんあるものは「密な行列」 ry 、従来のディープラーニングと一緒。 > そこで値をほとんど持たない「疎な行列」をどう構成 ry > ─その太い幹っていうのを見切るところがすごく難しそうです。 ry 、どれだけ残して、どれだけ切 ry > ry 、例えば入力のデータに対して主成分となり得るような重要なデータの個数がある程度限定 ry > 、情報を欠損させないで中間層に伝搬させる事は可能 ry 証明 ry 1/30に削減しても同様の効果 ry > ─これはこのデータだからという事はないのでしょうか? > ry 制約条件はありません。 > ─人の顔の認識などデータが複雑だと難しいということはないのでしょうか? > ry 、さっきのガンマに依存しないっていうのは実は驚異的 ry http://rio2016.2ch.net/test/read.cgi/future/1427220599/541#555#562-563#570-571#578-579#604-605 http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#27#30-32#34-38#63#75#79#80 #16#26#27#30-32 http://rio2016.5ch.net/test/read.cgi/future/1427220599/611
612: 581 [sage] 2016/12/28(水) 19:30:59.82 ID:cR1KnFY8 >>581 深層学習 > 入力応用 ? ( 一層切出し 多層化 ? ) ↓ > ソフトウェアコード応用 ( 一層切出し 多層化 ) ? http://rio2016.5ch.net/test/read.cgi/future/1427220599/612
613: 611 [sage] 2016/12/29(木) 22:47:22.33 ID:1nUl0klS >611 >>541 >>555 >>562-563 >>570-571 >>578-579 >>604-605 http://rio2016.5ch.net/test/read.cgi/future/1427220599/613
614: yamaguti~貸 [sage] 2016/12/29(木) 22:48:56.89 ID:1nUl0klS >>610 攻殻機動隊 例 オペ子 >>http://rio2016.2ch.net/test/read.cgi/future/1482030012/794 http://rio2016.2ch.net/test/read.cgi/future/1480118427/481-485# Konekutoomu http://rio2016.5ch.net/test/read.cgi/future/1427220599/614
615: 604 [sage] 2017/01/02(月) 01:36:40.90 ID:DMzazahP Page 27 の疎表現は、抑制の後でどのカラムがアクティブでどれが非ア ry 。例え入力ビットのうちアクティブなビットの数が大幅に変化した場合であっても、 相対的に一定の割合のカラムがアクティブになるように抑制関数が定義される。 図 2-1 カラムとセルからなる HTM リージョンの例。リージョンの一部分のみ ry 。各カラムは入力のユニークな部分集合によるアクティベーションを受け取る。 最も強いアクティベーションを受けたカラムが他の弱いアクティベーションを抑制する。 結果は入力の疎分散表現である。(アクティブなカラムは灰色で示した) ry ほんの少しの入力ビットが変化したなら、 いくつかのカラムでは少し多く又は少し少ない入力ビットがオン状態になるが、 アクティブなカラムの集合はあまり大幅に変化しないだろう。 よって似た入力パターン(アクティブなビットの共通部分が非常に多いもの)からは アクティブなカラムの比較的安定した集合に対応付けられる。 コード化がどのくらい安定 ry 、各カラムがどの入力に接続しているかに大きく依存 ry この接続関係は、後述する方法で学習する。 これらのすべてのステップ(入力の部分集合から各カラムへの接続関係を学習し、 各カラムへの入力レベルを決定し、アクティブなカラムの疎な集合をえらぶために抑制 ry ) を空間プーリングと呼ぶ。 ry 空間的に類似(アクティブなビットの共通部分が多い)の パターンがプールされる(それらが共通の表現に互いにグループ化される)ことを意味する。 http://rio2016.5ch.net/test/read.cgi/future/1427220599/615
616: 615 [sage] 2017/01/03(火) 02:58:43.04 ID:igW+0jZp Page 28 2) 以前の入力の文脈に基づいて、入力の表現を作成する リージョンで行われる次の機能は、入力をカラムで表現したものを、 過去からの状態ないし文脈を含む新しい表現に変換 ry 。新しい表現は各カラムの一部のセル、普通は1カラムにつき1つのセルを アクティブにすることで得られる(図 2-2)。 「I ate a pear」と「I have eight pears」31の二つの話し言葉を聞く場合 ry 「ate」と「eight」は ry 発音が同じ ry 同じ反応をするニューロンが脳内のどこか ry また一方、 ry 異なる文脈にあると反応するニューロンが脳内の他のどこか ry 。「ate」という音に対する表現は「I ate」 ry 「I have eight」 ry 異なる ry 。 「I ate a pear」と「I have eight pears」の二つの文を記憶したと想像してみよう。 「I ate…」 ry 「I have eight…」 ry 異なる予測 ry よって ry 異なる内部表現 ry ある入力を異なる文脈では異なるコード変換をするというこの原理は、 認知とふるまいの普遍的な特徴であり、HTM リージョンの最も重要な機能の一つ ry http://rio2016.5ch.net/test/read.cgi/future/1427220599/616
617: 616 [sage] 2017/01/03(火) 03:06:42.48 ID:igW+0jZp ry カラムは複数のセルからなっている。 同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。 ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、 完全に同じ入力に対して異なる文脈では異なる表現をすることができる。 例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry 。カラムの中で一つのセルだけが一度にアクティブであるとすると、 完全に同じ入力に対して 4100 通り ry 。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、 文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry 、これらの異なる表現はどのくらいユニーク ry ? 4100 個の可能なパターンのうちからランダムに選択した 2 個は、 ほとんどの場合、約 25 個のセルが重複 ry よって同じ入力を異なる文脈で表した 2 つの表現は、 約 25 個のセルが共通で 75 個のセルが異なっており、容易に区別 ry HTM リージョンの一般的な規則 ry カラムがアクティブ ry 、そのカラム中のすべてのセルを見る。 もしそのカラム中の一つ又はそれ以上のセルが既に予測状態であれば、 それらのセルだけがアクティブになる。もしそのカラム 31 「私は梨を食べる」と「私は 8 個の梨を持っている」 >>561 >>578-579 >>590 >>599-600 >>604 http://rio2016.5ch.net/test/read.cgi/future/1427220599/617
618: 616 [sage] 2017/01/05(木) 05:20:22.69 ID:XytjA2E8 Page 29 中のすべてのセルが予測状態でないならば、すべてのセルがアクティブになる。 ry :ある入力パターンが期待されるなら、システムは予測状態のセルだけをアクティブ にすることで期待通りであることを確認する。その入力パターンが期待と違うなら、 システムはカラム中のすべてのセルをアクティブにすることで、 「予期しない入力が発生したのであらゆる解釈が有りうる」ということを表す。 もし以前の状態が何もないなら、従って文脈も予測もないなら、 ry になるときは各カラム内のすべてのセルがアクティブになる。 ry 歌の最初の音を聞いたときと似ている。 文脈がなければ、 ry 予測できない:すべての選択肢が有効である。 以前の状態があるが入力が予期したものと合致しないときは、 アクティブなカラムのすべてのセルがアクティブ ry 。この決定はカラムごとに 行われるので、予測 ry は「オール・オア・ナッシング」32ではない。 図 2-2 カラムの一部のセルをアクティブにすることで、 HTM リージョンは同じ入力の多くの異なる文脈を表現 ry 。カラムは予測状態のセルだけをアクティブにする。 予測状態のセルがないカラムでは、カラム中のすべてのセルをアク ry 。図は、あるカラムでは一つのセルだけがアク ry 、あるカラムではすべてのセルが ry ry HTM セルは3つの状態を取る。 セルがフィード・フォワード入力によってアク ry 単に「アクティブ」の用語 ry 32 all-or-nothing >>599-600 >>604-605 >>616-617 http://rio2016.5ch.net/test/read.cgi/future/1427220599/618
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 222 レスあります
スレ情報
赤レス抽出
画像レス抽出
歴の未読スレ
AAサムネイル
Google検索
Wikipedia
ぬこの手
ぬこTOP
0.025s