(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
551(1): 549 2016/11/11(金)13:33 ID:TfAJHR6G(13/14) AAS
Page 11
第１章： HTM 概説
Hierarchical Temporal Memory (HTM) は、新皮質の構造的・アルゴリズム的性質
を捉えることを目指した機械学習技術である。
ry 。新皮質は実に均一なパターンのニューラル回路 ry
ry 小さなサブセットを実装 ry 今後より一層多くの理論が実装されるだろう。
現在我々は、新皮質の商業的ないし科学的価値のうちの十分なサブセットを実装したと信じる。
省16
552(3): yamaguti~貸 2016/11/11(金)13:35 ID:TfAJHR6G(14/14) AAS
>>528-529
2chｽﾚ:future
意味 + 文法
2chｽﾚ:future
2chｽﾚ:future
>102 : YAMAGUTIseisei 2016/09/17(土) 18:39:19.08 ID:3E1tr0Z7
> 文法 = 一種の身体性 → 究極 ( シームレス粒度 ) = 有機分散並列自律発生文法システム
553(1): yamaguti~貸 2016/11/12(土)20:31 ID:VjIvu7PJ(1/2) AAS
松田先生ご資料 Page 8
外部ﾘﾝｸ[pdf]:webcache.googleusercontent.com
PEZY Computing/ExaScaler/Ultra Memory3社連合+WBAI+Project N.I. 汎用人工知能開発・特異点創出ロードマップ
旧版 外部ﾘﾝｸ[html]:news.mynavi.jp
次世代スパコン PEZY Computing/ExaScaler/UltraMemory
2017年中? → 更新 2017年6月
100 PetaFLOPSスパコン（プレ・エクサスケール）
・世界初の100 PetaFLOPS
・超メニーコア「PEZY-SC2」
・磁界結合積層DRAM「UM1」
省9
554(2): 553 2016/11/12(土)20:32 ID:VjIvu7PJ(2/2) AAS
人工知能エンジン Deep Insights
2018年
「仮説立案までを行える新人工知能エンジン」
・世界最高演算性能
・世界最高消費電力性能
・世界最高メモリ帯域
・現在の1,000倍超の性能
・Edge側、Server側双方
・自動運転等にも適応化
「新」産業革命での当面の競争力確保 2020年頃
省13
555(6): 551 2016/11/13(日)11:13 ID:5tF5+oR3(1) AAS
Page 12
ry 。HTM のメモリは階層的な構造であり、時刻の概念が内在している。
情報は常に分散型の様式で保存される。HTM の利用者は階層のサイズを指定し、
何に対してそのシステムを訓練するのかを決める。 ry
HTM ネットワークは ry 、階層構造、時間と疎分散表現（ ry ）の主要機能を包含する限り、
我々は汎用的なコンピュータを使ってモデル化することができる。
我々はいずれ、HTM ネットワークに特化したハートウェアを作ることになる ry
本書では我々は HTM の特徴と原理を、人の視覚・触覚・聴覚・言語・行動を例にして表す。
ry 。しかしながら、HTM の能力は汎用的であることを心に留め ry
。HTM は学習と予測の機械であり、様々な種類の問題に適用可能である。
省13
556(1): 555 2016/11/15(火)01:13 ID:miLjs+zj(1/4) AAS
Page 13
図 １-１ ４階層の階層構造に配置された４つの HTMリージョンを単純化して表した図。
情報は階層間及び階層内部で通信 ry
複数の HTM ネットワークを結合することもできる。 ry 。
例えば、一つのネットワークが音声情報を処理し、他 ry が映像情報を処理する場合 ry
。各個別のネットワークがトップに向かうにつれて集約 ry
図 １-２ 異なるセンサから集約するネットワーク
557(3): 556 2016/11/15(火)17:25 ID:miLjs+zj(2/4) AAS
Page 14
階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry
学習時間とメモリ消費を非常に節約する。
説明のため、視覚 ry 。階層構造の最下位レベルでは、
脳は縁13や角などの視覚のごく一部分に関する情報を格納する。
縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry
曲線や模様などのより複雑な構成要素に集約される。
円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry
。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの
高レベルな物体の特徴を表す。
省6
558(1): 557 2016/11/15(火)17:26 ID:miLjs+zj(3/4) AAS
一つの HTM 階層構造はいくつの事柄を学習 ry ？
言い換えれば、階層構造にはいくつのレベルが必要 ry ？
各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry
HTM は入力の統計及び割り当てられたリソースの量とから、
各レベルの最適な表現を自動的に学習 ry
多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、
従って必要となる階層構造のレベルはより少 ry
少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry
ここからは、視覚の推論14のような難しい問題について述べる
（推論はパターン認識と似 ry ）。しかし多くの価値ある問題は視覚より単純で、
省7
559: yamaguti~貸 2016/11/15(火)20:11 ID:miLjs+zj(4/4) AAS
>> 2chｽﾚ:future
レンダリングなし ( 合成の単なる発展系 ? )
外部ﾘﾝｸ:google.jp
560: yamaguti~貸 [sagezon.jp/dp/4794221657/okyuryo-22%23ConeNouHaisen] 2016/11/16(水)23:15 ID:om/S71rA(1) AAS
2chｽﾚ:future
> 795 ：オーバーテクナナシー：2016/11/16(水) 11:52:11.84 ID:BYy/Er5p
> 【 考察メモ 】深層学習モデル設計者 が、人間 脳の神経回路（コネクトーム）
> 形成・変容メカニズム から 学ぶべきこと、学ぶべきでないこと
> 外部ﾘﾝｸ:qiita.com
2chｽﾚ:future
> 844 : yamaguti~kasi 2016/11/16(水) 21:47:25.64 ID:om/S71rA
> >>795
>> あらゆる方向に（直交格子座標でなく）ニューロンを並べ ry すべての組み合わ ry
>> 「結合あり（非零の結合荷重）・結合なし（零の結合荷重）を定義」
省9
561(3): 557 2016/11/17(木)21:05 ID:G0S5ouMa(1) AAS
Page 15
まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry
しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry
リージョン
階層構造に連結されたリージョン15の表現は、生物学から ry
新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry
基づいて、新皮質を異なる領域ないしリージョンに区分けする。
あるリージョンはセンサから直接入力 ry
、他のリージョンは他のいくつかのリージョンを経由 ry
。階層構造を決 ry ージョ ry ョンへの接続関係 ry
省11
562(4): 561 2016/11/18(金)23:35 ID:fnVQMg28(1) AAS
Page 16
の一部に接続され、各セルは同一リージョン内の他のセルに接続する（ ry 図 ry ない）。
この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry
HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、
複雑なデータ列の推論と予測 ry 多くの問題に有益 ry
疎分散表現
新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン
だけが一度にアクティブになるように抑制ニューロンによって保護されている。
よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ
のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry
省16
563(3): 562 2016/11/19(土)21:31 ID:gXSL1qpI(1) AAS
Page 17
図 １-４ HTM リージョンのセルが疎分散的にアクティブ ry
時間の役割
時間は、学習・推論・予測において極めて重要 ry
時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。
ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry
。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、
ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry
手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry
同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。
省6
564(4): 563 2016/11/20(日)22:51 ID:gBNtPa9o(1) AAS
Page 18
される特別なケース ry
学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry
。視覚では静的な画像の推論がときには可能なものの、
物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry
網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。
脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。
時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。
センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても
混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry
省15
565: yamaguti~貸 [本スレsage] 2016/11/21(月)23:55 ID:6/tm5rB/(1) AAS
>>554
AI エンジン ハードウェア
外部ﾘﾝｸ[html]:news.mynavi.jp
> 高効率の人工知能ハードウェアを開発するDeep Insightsを創立 ry
> 開発するハードウェアはノイマン型 ry Deep Learningなど ry 大幅に高速化 ry
> 7nmプロセスを使って速度と集積密度の双方を上げることで10倍、
> 磁界結合による ry を多チャンネル化(メモリ帯域100TB/s)してダイ上に ry 10倍、
> ダイナミックな計算精度変更を可能にして、低精度演算 ry 10倍 ry 全体では1,000倍
566: yamaguti~貸 2016/11/22(火)23:37 ID:fDw5z9zc(1) AAS
> ダイナミックな計算精度変更
一例 URR ( 浜田穂積先生 )
567(5): 564 2016/11/23(水)12:51 ID:IM1cuRG2(1/2) AAS
Page 19
じている。よって行動は現在の HTM の実装に含まれていない。 ry
学習
HTM リージョンは ry パターンとパターンのシーケンスを見つけることで、
その世界を学習する。 ry 入力が何を表しているのかを「知って」はいない。
ry 統計的 ry 入力ビット ry 頻繁に同時に起こる組み合わせを見ている。
ry これを空間的パターンと呼 ry パターンが時間と共にどのような順で現れるか ry
これを時間的パターンないしシーケンスと呼んでいる。
ry 入力が建物の ry センサであるなら、リージョンは建物の北側や南側において、
ある温度と湿度の組み合わせがしばしば起こることを見つけるだろう。
省12
568(1): 567 2016/11/23(水)12:52 ID:IM1cuRG2(2/2) AAS
生物的システムと同様に、HTM リージョン ry オンライン学習 ry
新しい入力を受け取るごとに継続的に学習する。
学習 ry 推論が改善されるが、学習フェーズと推論フェーズとを分ける必要はない。 ry
ry HTM は学習し続けることもできるし、訓練フェーズの後に学習を無効化することも ry
、階層構造の下位レベルでは学習を無効化し、上位レベルでは学習を続けることもできる。
HTM が ry の統計的構造を学習したら、多くの学習は階層構造のより上位 ry
。もし HTM が下位レベル ry 新しいパターンに触れたら、これらの新しいパター
569: yamaguti~貸 [sagezon.jp/dp/4331519902/okyuryo-22] 2016/11/25(金)00:26 ID:NrX1gg1r(1) AAS
>>2chｽﾚ:future
>772 : yamaguti~kasi 2016/11/24(木) 22:14:53.06 ID:gvzci1Hb
> 難易度
> 精神転送 > ネット生命体化
>
> >342 : YAMAGUTIseisei 2016/09/22(木) 15:11:35.05 ID:PmVnGSgy
>>> 内容紹介 ry 日本には大逆転の隠し球 ry 1~3位を独占 ry 齊藤元章氏が手がけるNSPU
>> 外部ﾘﾝｸ:google.jp
>
>>>NSPU → 人格融合 射程寸前 外部ﾘﾝｸ:ja.catalyst.red >>65
省6
570(4): 567 2016/11/27(日)07:35 ID:vHhUl6EA(1/2) AAS
Page 20
ンを学習するのにより長時間必要 ry 。既に知っている言語の新しい単語を学習するのは
比較的容易 ry 慣れない発音の外国語の ry 、まだ下位レベルの発音を知ら ry
単にパターンを見つけることは、価値の高い可能性を秘めている。
マーケットの変動、病状の変化、天候、工場の生産、送電系統のような複雑なシステムの
障害などの、高レベルなパターンを理解することはそれ自体に価値がある。
それでも空間的・時間的パターンを学習することは推論と予測に先立って必要となる。
推論
HTM が周囲の世界のパターンを学習すると、新しい入力について推論ができ ry
、以前に学習した空間的ないし時間的パターンと照合 ry
省12
上下前次1-新書関写板覧索設栞歴
あと 270 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.021s