(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
599(5): 597 2016/12/20(火)00:26 ID:ymkk5AtR(1/4) AAS
>>597-598
高レイヤ文脈用テンポラル記憶選択機構 ( 海馬系 )
http://ｍ.youtube.com/watch?v=3KrArkmPo4A
北村貴司（きたむらたかし） マサチューセッツ工科大学 上級研究員 【日本神経科学会 市民公開講座・脳科学の達人2016】
HTM アクティブ非アクティブ系根源文脈回路大規模専用回路化 ?
>>562-590#564#578-579
外部ﾘﾝｸ[pdf]:webcache.googleusercontent.com
TRONCHIP 間接アドレッシング ( マスターアルゴリズム 自発的対称性の破れ ) 機構 MMU キュー応用
>>379 >>479-504#480#483#497 >>582
2chｽﾚ:future
省3
600(4): 599 2016/12/20(火)18:13 ID:ymkk5AtR(2/4) AAS
>>599
× http://ｍ.youtube.com/watch?v=3KrArkmPo4A
○ 動画ﾘﾝｸ[YouTube]
× 非リンク
○ 被リンク
601(2): 596 2016/12/20(火)23:56 ID:ymkk5AtR(3/4) AAS
Page 25
する。 ry これら２つのアクティブ状態以上の詳細なモデル化の必要性はない ry
個々のアクション状態の強さの程度、アクティビティの発生頻度を表すスカラー量
などはモデル化する必要性を見いだせない。分散表現の利用は、
セルのアクティビティの程度を表すスカラー量をモデル化することを凌駕 ry
樹状突起セグメント
HTM セルは比較的リアルな（ ry 複雑な）樹状突起モデルを持つ。各 HTM セルは理論的に
一つの主要樹状突起セグメント29と 10~20 個の末梢樹状突起セグメント30を持つ。
主要樹状突起セグメントはフィード・フォワード入力 ry
末梢樹状突起セグメントは周辺のセルからの横方向の入力 ry
省8
602: 601 2016/12/20(火)23:57 ID:ymkk5AtR(4/4) AAS
シナプス
ry 二値のウェイトを持つ。生物学上のシナプスは可変値のウェイト ry 確率的・不安定 ry
生体ニューロンはシナプスのウェイト値の正確な値に依存しているはずがない ry
。HTM の分散表現及び我々の樹状突起の計算モデルを利用すれば、
HTM シナプスに二値のウェイトを割り当てても何ら悪影響はないはずである。
シナプスの形成及び切断をモデル化 ry ２つの追加 ry ニューロサイエンスから援用した。
一つ目は、シナプス候補の概念である。これは樹状突起セグメントに十分近い位置を通る
すべての軸索を表し、シナプスを形成する可能性があるものである。
二つ目は、永続値である。これは各シナプス候補に割り当てられたスカラー値である。
ry 軸索と樹状突起の間の接続の度合 ry 度合は生物学的には、完全に分離した状態から、
省6
603: 槙林聖二 2016/12/21(水)17:44 ID:tbiKezrL(1) AAS
僕の名前は槙林聖二。
職業はテロリスト。
サイレントテロで経済をどん底に叩き落とそうぜ50
2chｽﾚ:eco
東京都出身・在住。
画像ﾘﾝｸ[jpg]:i.imgur.com
趣味は読書。
画像ﾘﾝｸ[jpg]:i.imgur.com
特技はシステマ。
画像ﾘﾝｸ[jpg]:i.imgur.com
省5
604(6): 601 2016/12/22(木)00:34 ID:kuCFO/r6(1/2) AAS
Page 26
永続値は 0.0 から 1.0 まで ry 。学習にはシナプスの永続値の増加や減少が含まれる。
シナプスの永続値がしきい値を超えたら、ウェイト値 1 で接続されたことを表す。
しきい値より下回っていたら、ウェイト値 0 で切断 ry
概要
仮に読者が HTM リージョンだ ry 。貴方の入力は数千ないし数万のビット ry
センサ入力データや、階層構造の下位の他のリージョンから来たデータである。
それらは複雑にオン・オフしている。これらの入力に対して貴方は何が出来るか？
我々はその答えを単純な形態で既に説明した。
各 HTM リージョンはその入力の共通のパターンを探し、 ry シーケンスを学習する。
省5
605(2): 604 2016/12/22(木)00:35 ID:kuCFO/r6(2/2) AAS
ry 詳細 ry
1) 入力の疎分散表現を作成する
リージョンへの入力を想像するには、それを巨大なビット列と考えるとよい。
脳内ではこれらはニューロンからの軸索にあたる。任意の時点で、
これらの入力のある部分はアクティブ（値１）、他の部分は非アクティブ（値０）である。
アクティブな入力ビットの比率は変化する。例えば0%から60%としよう。
HTMリージョンで行う最初の事は、この入力を疎な新しい表現に変換 ry
。例えば、入力のうち40%がオンかも知れないが、新しい表現では2%だけがオン ry
。HTMリージョンは論理的にはカラムの集合 ry カラムは1又はそれ以上のセルから成る。
カラムは論理的には2Dの配列状に配置できるが、これは要件ではない。
省6
606: 染谷伸晃 2016/12/22(木)13:42 ID:xB2eN/Pk(1/2) AAS
僕の名前は染谷伸晃。
職業はテロリスト。
サイレントテロで経済をどん底に叩き落とそうぜ50
2chｽﾚ:eco
東京都出身・在住。
画像ﾘﾝｸ[jpg]:i.imgur.com
趣味は読書。
画像ﾘﾝｸ[jpg]:i.imgur.com
特技はシステマ。
画像ﾘﾝｸ[jpg]:i.imgur.com
省5
607: 染谷伸晃 2016/12/22(木)14:46 ID:xB2eN/Pk(2/2) AAS
デザイナーベビーの失敗作。
画像ﾘﾝｸ[jpg]:i.imgur.com
画像ﾘﾝｸ[jpg]:i.imgur.com
画像ﾘﾝｸ[jpg]:i.imgur.com
608(1): yamaguti~貸 2016/12/23(金)12:48 ID:s0gy4sJo(1) AAS
>>2chｽﾚ:future
>>582 >599
> TRONCHIP 間接アドレッシング ( マスターアルゴリズム 自発的対称性の破れ ) 機構 MMU キュー応用
609(2): yamaguti~貸 2016/12/25(日)09:55 ID:HhtfNWQ8(1/2) AAS
> 452 : yamaguti~kasi 2016/12/25(日) 09:43:54.36 ID:HhtfNWQ8
> ○ 弱い AI 組合せ方式 : 実用上問題ない ( + 高効率 ) → 日ノ本 悲願のプラットフォーム掌握 ( AI )
> × 他の方式 ( 全脳型 ) : 考慮に値せず ( 上記方式欠点なし )
>
> ↑ 弱い AI 応用 基盤 着々 ( 国家予算 )
> 松尾先生 : 恐らくマルチビューマルチタスク等にも関わる深層学習次世代理論でご先行
> 山川先生 : ( 全脳型応用にせよ ) Deep PredNet ( 組合せ型深層学習拡張 + HTM 要素 ? )
> 2chｽﾚ:future
>763 : YAMAGUTIseisei 2016/09/30(金) 18:17:20.94 ID:/EmvfkU+
>2chｽﾚ:future
省1
610(1): 609 2016/12/25(日)23:41 ID:HhtfNWQ8(2/2) AAS
>>609
> 449 : YAMAGUTIseisei~kasi 2016/12/25(日) 03:30:09.16 ID:HhtfNWQ8
> シンギュラリティスレに相応しい大切な議論 ( 議題 )
> ※ 但し 失礼ながら些か脱線の傾向 ( 議題の中の肝の部分が大切 )
>496 : yamaguti~kasi 2016/12/25(日) 23:35:42.88 ID:HhtfNWQ8
> >>452
> 流れ
> LSf1DgBH 氏文脈
2chｽﾚ:future SaiRyuudoKa
2chｽﾚ:future Sukoaringu
611(2): yamaguti~貸 2016/12/28(水)19:25 ID:cR1KnFY8(1/2) AAS
2chｽﾚ:future
>274 : オーバーテクナナシー 2016/12/23(金) 16:01:53.21 ID:qoXUV7bO
> ディープラーニングに必要な計算量を30分の1に省力化、デバイスに搭載できる人工知能 ─三菱電機インタビュー
>外部ﾘﾝｸ:iotnews.jp
> ry 係数が0になる部分をできるだけ増 ry 計算を簡略化 ry
> ─重みづけに使う係数が0になるところを増やして計算をできるだけ簡略化 ry
> ry データの特徴を分析して、その枝の部分でも重要な枝 ry 決め打ちで残します。
> ─これは人が残すのでしょうか？
> 現時点では人が枝を選別しています。枝を大幅に削減しても性能が落ちない事を理論的に証明 ry
> 数字がたくさんあるものは「密な行列」 ry 、従来のディープラーニングと一緒。
省11
612(1): 581 2016/12/28(水)19:30 ID:cR1KnFY8(2/2) AAS
>>581
深層学習
> 入力応用 ? ( 一層切出し 多層化 ? )
↓
> ソフトウェアコード応用 ( 一層切出し 多層化 ) ?
613(1): 611 2016/12/29(木)22:47 ID:1nUl0klS(1/2) AAS
>611
>>541 >>555 >>562-563 >>570-571 >>578-579 >>604-605
614(1): yamaguti~貸 2016/12/29(木)22:48 ID:1nUl0klS(2/2) AAS
>>610
攻殻機動隊 例 オペ子
>>2chｽﾚ:future
2chｽﾚ:future Konekutoomu
615(2): 604 2017/01/02(月)01:36 ID:DMzazahP(1) AAS
Page 27
の疎表現は、抑制の後でどのカラムがアクティブでどれが非ア ry
。例え入力ビットのうちアクティブなビットの数が大幅に変化した場合であっても、
相対的に一定の割合のカラムがアクティブになるように抑制関数が定義される。
図 ２-１ カラムとセルからなる HTM リージョンの例。リージョンの一部分のみ ry
。各カラムは入力のユニークな部分集合によるアクティベーションを受け取る。
最も強いアクティベーションを受けたカラムが他の弱いアクティベーションを抑制する。
結果は入力の疎分散表現である。（アクティブなカラムは灰色で示した）
ry ほんの少しの入力ビットが変化したなら、
いくつかのカラムでは少し多く又は少し少ない入力ビットがオン状態になるが、
省9
616(5): 615 2017/01/03(火)02:58 ID:igW+0jZp(1/2) AAS
Page 28
2) 以前の入力の文脈に基づいて、入力の表現を作成する
リージョンで行われる次の機能は、入力をカラムで表現したものを、
過去からの状態ないし文脈を含む新しい表現に変換 ry
。新しい表現は各カラムの一部のセル、普通は１カラムにつき１つのセルを
アクティブにすることで得られる（図 ２-２）。
「I ate a pear」と「I have eight pears」31の二つの話し言葉を聞く場合 ry
「ate」と「eight」は ry 発音が同じ ry 同じ反応をするニューロンが脳内のどこか ry
また一方、 ry 異なる文脈にあると反応するニューロンが脳内の他のどこか ry
。「ate」という音に対する表現は「I ate」 ry 「I have eight」 ry 異なる ry 。
省4
617(5): 616 2017/01/03(火)03:06 ID:igW+0jZp(2/2) AAS
ry カラムは複数のセルからなっている。
同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。
ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、
完全に同じ入力に対して異なる文脈では異なる表現をすることができる。
例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry
。カラムの中で一つのセルだけが一度にアクティブであるとすると、
完全に同じ入力に対して 4100 通り ry
。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、
文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry
、これらの異なる表現はどのくらいユニーク ry ？
省10
618(4): 616 2017/01/05(木)05:20 ID:XytjA2E8(1) AAS
Page 29
中のすべてのセルが予測状態でないならば、すべてのセルがアクティブになる。
ry ：ある入力パターンが期待されるなら、システムは予測状態のセルだけをアクティブ
にすることで期待通りであることを確認する。その入力パターンが期待と違うなら、
システムはカラム中のすべてのセルをアクティブにすることで、
「予期しない入力が発生したのであらゆる解釈が有りうる」ということを表す。
もし以前の状態が何もないなら、従って文脈も予測もないなら、
ry になるときは各カラム内のすべてのセルがアクティブになる。
ry 歌の最初の音を聞いたときと似ている。
文脈がなければ、 ry 予測できない：すべての選択肢が有効である。
省12
上下前次1-新書関写板覧索設栞歴
あと 222 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.020s