(情報科学)技術的特異点と科学・技術等 1 (ナノテク) [転載禁止]©2ch.net (840レス)
(情報科学)技術的特異点と科学・技術等 1 (ナノテク) [転載禁止]©2ch.net http://rio2016.5ch.net/test/read.cgi/future/1427220599/
上
下
前
次
1-
新
通常表示
512バイト分割
レス栞
547: 546 [sage] 2016/11/11(金) 13:28:24.59 ID:TfAJHR6G Page 8 序文 人間には簡単にできて、コンピュータには今のところできないようなことがたくさ ry Hierarchical Temporal Memory (HTM) は、新皮質がこの様な機能を発揮する様子を モデル化する技術である。 HTM は人間と同等あるいはそれ以上の多くの認識性能 ry ry 1章は HTM ry 階層構造 ry 、疎分散表現1、時間的な変化に基づく学習 ry 2章は HTM 大脳皮質性学習アルゴリズム2 ry 3章と第 4 章は HTM 学習アルゴリズムの疑似コードを、 空間プーリング及び時間プーリングの2つのパート ry 第2章から第4章を読めば、熟練したソフトウェア技術 ry 実装して実験 ry 1 sparse distributed representation。本書を理解する上で重要な概念だが、 冒頭で述べられているように、残念ながら本書では説明されていない。 理論的基礎は Pentti Kanerva 著 Sparse Distributed Memory に詳しい。 Kanerva 氏は Jeff Hawkins 氏が設立した Redwood Neuroscience Institute (現在は Redwood Center for Theoretical Neuroscience)の研究員。 2 HTM cortical learning algorithms http://rio2016.5ch.net/test/read.cgi/future/1427220599/547
548: 547 [sage] 2016/11/11(金) 13:29:50.80 ID:TfAJHR6G Page 9 ソフトウェアのリリース ry ソフトウェアリリースは 2011 年中頃を予定している。 以前の文書との関係 HTM 理論の一部は 2004 年の On Intelligence3、Numenta 社から発行された ホワイトペーパー、Numenta の従業員が執筆した論文など ry 2章から第4章で述べている HTM 学習アルゴリズムは、これまで発表されたことはない。 この新しいアルゴリズムは、Zeta 1 と呼ばれていた我々の第一世代アルゴリズムを置き換 ry 新しいアルゴリズムのことを “Fixed-density Distributed Representations” ないし “FDR” と呼んでいた ry HTM 大脳皮質性学習アルゴリズム4、あるいは単に HTM 学習アルゴリズムと呼んでいる。 我々は、Numenta 社創設者の一人である Jeff Hawkins と Sandra Blakeslee によって書かれた On Intelligence ry この本は HTM という名前で述べてはいないものの、 それは HTM 理論とその背景にあるニューロサイエンスについて、 読みやすくかつあまり技術よりにならずに説明している。On Intelligence が執筆された当時、 我々は HTM の基本原理を理解していたが ry 実装する方法を知らなかった。 ry Numenta 社 ry Numenta, Inc. (www.numenta.com)は HTM 技術を商業的ないし学術的利用のため ry 進捗及び発見を完全に文書化している。我々はまた、我々が開発したソフトウェアを 他の人が研究目的や商業目的で利用できるように提供 ry アプリケーション開発コミュニティが立ち上がることを支援 ry Numenta 社のソフトウェアや知的所有権を研究目的で自由に利用 3 邦訳 「考える脳 考えるコンピューター」ランダムハウス講談社 4 HTM Cortical Learning Algorithms http://rio2016.5ch.net/test/read.cgi/future/1427220599/548
549: 548 [sage] 2016/11/11(金) 13:31:18.45 ID:TfAJHR6G Page 10 してよい。我々は商業目的での技術サポートの提供、ソフトウェアライセンス販売、 知的所有権のライセンス販売で収益を得ている。 我々は常に開発パートナーを求めており、彼らと我々自身の成功 ry Numenta 社はカリフォルニア州 Redwood City に拠点をおき、自己資本 ry 著者 ry 本書は Numenta 社の従業員の協力と努力 ry 名前は改訂記録 ry http://rio2016.5ch.net/test/read.cgi/future/1427220599/549
550: 549 [sage] 2016/11/11(金) 13:32:14.65 ID:TfAJHR6G 改訂記録 各版の主な変更点 ry 。細かな修正や整形などは ry 版 日付 変更点 主な著者 0.1 2010/11/9 1. 序文、1,2,3,4 章、用語集の初版 Jeff Hawkins, Subutai Ahmad, Donna Dubinsky 0.1.1 2010/11/23 1. 第 1 章のリージョンの節で、レベル、カラム、層などの用語を明確化するため編集した 2. 付録Aの初版 Jeff Hawkins 0.2 2010/12/10 1. 第2章: 明確化のため修正 2. 第4章:行番号を修正、37行と39行のコードを修正 3. 付録Bの初版 Hawkins Ahmad Hawkins http://rio2016.5ch.net/test/read.cgi/future/1427220599/550
551: 549 [sage] 2016/11/11(金) 13:33:22.53 ID:TfAJHR6G Page 11 第1章: HTM 概説 Hierarchical Temporal Memory (HTM) は、新皮質の構造的・アルゴリズム的性質 を捉えることを目指した機械学習技術である。 ry 。新皮質は実に均一なパターンのニューラル回路 ry ry 小さなサブセットを実装 ry 今後より一層多くの理論が実装されるだろう。 現在我々は、新皮質の商業的ないし科学的価値のうちの十分なサブセットを実装したと信じる。 HTM のプログラミングは伝統的なコンピュータプログラミングとは異なる。 ry HTM はセンサーから得られたデータの流れに触れることで訓練される。 HTM の能力はそれがどのようなデータに触れたかによって ry ry 「ニューラルネ ry 」という用語は非常に多くのシステムで用い ry 不用意に使えない。 HTM がモデル化するニューロン(HTM ではセル5と呼ぶ)は、 カラム6、層7、リージョン8、階層構造9の中に配置 ry HTM は基本的にメモリベース ry 。HTM ネットワークは時間的に変化する たくさんのデータによって訓練され、多くのパターンとシーケンス10の蓄積に依存している。 データを格納及びアクセスする方法は、一般にプログラマが使用する標準的なモデルとは論理的に異 ry 。伝統的なコンピュータメモリはフラット ry 時間に関する概念を持たない。 ry 5 cell 6 column 7 layer 8 region 9 hierarchy 10 sequence。連続して起こる事柄、ないしその順序を意味する。 http://rio2016.5ch.net/test/read.cgi/future/1427220599/551
552: yamaguti~貸 [sage] 2016/11/11(金) 13:35:41.89 ID:TfAJHR6G >>528-529 http://rio2016.2ch.net/test/read.cgi/future/1473812514/987-989 意味 + 文法 http://rio2016.2ch.net/test/read.cgi/future/1476925488/510-511 http://rio2016.2ch.net/test/read.cgi/future/1476925488/949 >102 : YAMAGUTIseisei 2016/09/17(土) 18:39:19.08 ID:3E1tr0Z7 > 文法 = 一種の身体性 → 究極 ( シームレス粒度 ) = 有機分散並列自律発生文法システム http://rio2016.5ch.net/test/read.cgi/future/1427220599/552
553: yamaguti~貸 [sage] 2016/11/12(土) 20:31:44.14 ID:VjIvu7PJ 松田先生ご資料 Page 8 http://webcache.googleusercontent.com/search?q=cache:www.ssken.gr.jp/MAINSITE/event/2016/20161028-joint/lecture-03/SSKEN_joint2016_MatsudaTakuya_presentation.pdf#8 PEZY Computing/ExaScaler/Ultra Memory3社連合+WBAI+Project N.I. 汎用人工知能開発・特異点創出ロードマップ 旧版 http://news.mynavi.jp/articles/2016/05/20/deep_insights/001.html 次世代スパコン PEZY Computing/ExaScaler/UltraMemory 2017年中? → 更新 2017年6月 100 PetaFLOPSスパコン(プレ・エクサスケール) ・世界初の100 PetaFLOPS ・超メニーコア「PEZY-SC2」 ・磁界結合積層DRAM「UM1」 ・液浸冷却(二重合) 2019年中? → 更新 2018年11月 1 ExaFLOPSスパコン (エクサスケール) ・世界初の1 ExaFLOPS ・超々メニーコア「PEZY-SC3」 ・磁界結合積層DRAM「UM2」 ・液浸冷却(三重合+熱音響) 前特異点創出 2025年頃 http://rio2016.5ch.net/test/read.cgi/future/1427220599/553
554: 553 [sage] 2016/11/12(土) 20:32:13.98 ID:VjIvu7PJ 人工知能エンジン Deep Insights 2018年 「仮説立案までを行える新人工知能エンジン」 ・世界最高演算性能 ・世界最高消費電力性能 ・世界最高メモリ帯域 ・現在の1,000倍超の性能 ・Edge側、Server側双方 ・自動運転等にも適応化 「新」産業革命での当面の競争力確保 2020年頃 汎用人工知能 Project N.I. 2020年頃 汎用人工知能用ハードウェア開発 ・磁界結合で無線結合 ・超極薄ウェハ積層 ・Connectome機能実現 2030年頃 汎用人工知能 (世界初のAGI) ・マスターアルゴリズム ・ソフトウェアレス ・自己進化機能 特異点創出 http://rio2016.5ch.net/test/read.cgi/future/1427220599/554
555: 551 [sage] 2016/11/13(日) 11:13:59.03 ID:5tF5+oR3 Page 12 ry 。HTM のメモリは階層的な構造であり、時刻の概念が内在している。 情報は常に分散型の様式で保存される。HTM の利用者は階層のサイズを指定し、 何に対してそのシステムを訓練するのかを決める。 ry HTM ネットワークは ry 、階層構造、時間と疎分散表現( ry )の主要機能を包含する限り、 我々は汎用的なコンピュータを使ってモデル化することができる。 我々はいずれ、HTM ネットワークに特化したハートウェアを作ることになる ry 本書では我々は HTM の特徴と原理を、人の視覚・触覚・聴覚・言語・行動を例にして表す。 ry 。しかしながら、HTM の能力は汎用的であることを心に留め ry 。HTM は学習と予測の機械であり、様々な種類の問題に適用可能である。 HTM 原論 ry なぜ階層的な組織が重要なのか、HTM のリージョンはどのように構成されるか、 なぜデータを疎分散表現で格納するのか、なぜ時間ベースの情報がクリティカルであるのか。 階層構造 ry 。リージョンは HTMにおける記憶と予測の主要構成要素 ry 。 通常、各 HTMリージョンは階層構造の 1 レベルを表す。 階層構造を上がるに伴って、常に集約11がある。 子リージョンの複数の要素が親リージョンの一つの要素に集約 ry 階層構造を下がるに伴って、フィードバック接続による情報の発散12がある。 (リージョンとレベルはほとんど同義 ry 。リージョンの内部的な機能 ry 「リージョン」の用語 ry 、特に階層構造の中でのリージョンの役割を指すときに「レベル」の用語を用いる) 11 convergence 12 divergence http://rio2016.5ch.net/test/read.cgi/future/1427220599/555
556: 555 [sage] 2016/11/15(火) 01:13:22.00 ID:miLjs+zj Page 13 図 1-1 4階層の階層構造に配置された4つの HTMリージョンを単純化して表した図。 情報は階層間及び階層内部で通信 ry 複数の HTM ネットワークを結合することもできる。 ry 。 例えば、一つのネットワークが音声情報を処理し、他 ry が映像情報を処理する場合 ry 。各個別のネットワークがトップに向かうにつれて集約 ry 図 1-2 異なるセンサから集約するネットワーク http://rio2016.5ch.net/test/read.cgi/future/1427220599/556
557: 556 [sage] 2016/11/15(火) 17:25:53.05 ID:miLjs+zj Page 14 階層 ry 効率 ry 各レベルで学習されたパターンが上位のレベルで組み合わせて再利用 ry 学習時間とメモリ消費を非常に節約する。 説明のため、視覚 ry 。階層構造の最下位レベルでは、 脳は縁13や角などの視覚のごく一部分に関する情報を格納する。 縁は ry 基本的な構成要素である。これらの下位レベルのパターンは中間レベルで ry 曲線や模様などのより複雑な構成要素に集約される。 円弧は耳の縁 ry 車のハンドル ry カップの取っ手 ry 。これらの中間レベルのパターンはさらに集約されて、頭、車、家などの 高レベルな物体の特徴を表す。 高レベルな物体 ry 、その構成要素を再度学習する必要がなくなる。 ry 単語を学習 ry 文字や文節、発音を再度学習する必要はない。 階層構造間で表現を共有 ry 、予期される行動の一般化にもなる。 ry 動物を見 ry 、口や歯を見 ry 食 ry 噛 ry 予測 ry 。階層構造により、 ry 新しい物体がその構成要素が持つ既に分かっている特徴を 引き継いでいることを知ることができる。 http://rio2016.5ch.net/test/read.cgi/future/1427220599/557
558: 557 [sage] 2016/11/15(火) 17:26:54.57 ID:miLjs+zj 一つの HTM 階層構造はいくつの事柄を学習 ry ? 言い換えれば、階層構造にはいくつのレベルが必要 ry ? 各レベルに割り当てるメモリと、必要なレベル数の間にはトレードオフ ry HTM は入力の統計及び割り当てられたリソースの量とから、 各レベルの最適な表現を自動的に学習 ry 多くのメモリを割り当 ry レベルはより大きくより複雑な表現を構成し、 従って必要となる階層構造のレベルはより少 ry 少ないメモリ ry 小さく単純な表現を構成し、 ry レベルはより多 ry ここからは、視覚の推論14のような難しい問題について述べる (推論はパターン認識と似 ry )。しかし多くの価値ある問題は視覚より単純で、 一つの HTM リージョンでも十分 ry Web ry どこをクリックするか予測 ry 。この問題は、一連の Web クリックのデータをHTM ネットワークに流し込 ry 。この問題では空間的階層構造はわずか ry 。解決策は主に時間的な統計 ry 一般的なユーザのパターンを認識することで、 ry どこをクリックするかを予測 ry 13 edge。へり・ふち。 14 inference http://rio2016.5ch.net/test/read.cgi/future/1427220599/558
559: yamaguti~貸 [sage] 2016/11/15(火) 20:11:32.16 ID:miLjs+zj >> http://rio2016.2ch.net/test/read.cgi/future/1478753976/725- レンダリングなし ( 合成の単なる発展系 ? ) http://google.jp/?q=temporal+frame-hokan http://rio2016.5ch.net/test/read.cgi/future/1427220599/559
560: yamaguti~貸 [sagezon.jp/dp/4794221657/okyuryo-22%23ConeNouHaisen] 2016/11/16(水) 23:15:42.85 ID:om/S71rA http://rio2016.2ch.net/test/read.cgi/future/1478753976/795 > 795 :オーバーテクナナシー:2016/11/16(水) 11:52:11.84 ID:BYy/Er5p > 【 考察メモ 】深層学習モデル設計者 が、人間 脳の神経回路(コネクトーム) > 形成・変容メカニズム から 学ぶべきこと、学ぶべきでないこと > http://qiita.com/HirofumiYashima/items/abd68a6070a6ddf27ec2 http://rio2016.2ch.net/test/read.cgi/future/1478753976/844 > 844 : yamaguti~kasi 2016/11/16(水) 21:47:25.64 ID:om/S71rA > >>795 >> あらゆる方向に(直交格子座標でなく)ニューロンを並べ ry すべての組み合わ ry >> 「結合あり(非零の結合荷重)・結合なし(零の結合荷重)を定義」 >> すると、ほとんどのニューロン ry 結合荷重は、零になり、疎な多次元行列 ry 計算量 > http://rio2016.2ch.net/test/read.cgi/future/1427220599/551#558 > http://webcache.googleusercontent.com/search?q=cache:numenta.com/assets/pdf/whitepapers/hierarchical-temporal-memory-cortical-learning-algorithm-0.2.1-jp.pdf#16 > >> 『コネクトーム:脳の配線はどのように「わたし」をつくり出すのか』本 ry 『再』配線 ry >> ・ ry 結合の軸索 or 樹状突起を切り落とす(=結合荷重を零に ry と、 >> ・ ry 存在しなかった ry 樹状突起(軸索も?)を生長させる(結合荷重を零から非零に ry >> との同時発生 > #25#26#33-36#75 http://rio2016.5ch.net/test/read.cgi/future/1427220599/560
561: 557 [sage] 2016/11/17(木) 21:05:37.42 ID:G0S5ouMa Page 15 まとめると、階層構造は学習時間 ry メモリ消費を節約し、一般化 ry しかしながら、単純な予測問題の多くは一つの HTM リージョンでも解決 ry リージョン 階層構造に連結されたリージョン15の表現は、生物学から ry 新皮質は厚さ 2mm ry 。生物学では主にそれらが互いにどのように接続 ry 基づいて、新皮質を異なる領域ないしリージョンに区分けする。 あるリージョンはセンサから直接入力 ry 、他のリージョンは他のいくつかのリージョンを経由 ry 。階層構造を決 ry ージョ ry ョンへの接続関係 ry 新皮質のすべてのリージョンの細部は似 ry サイズや階層構造の中のどこに位置 ry 違 ry 、その他は似ている。 厚さ 2mm の新皮質リージョンを縦にスライスしたなら、6 つの層 ry 。 5 つはセルの層で、1 つはセルではない層である(少しの例外 ry )。 新皮質リージョンの各層はカラム状に数多くの相互接続されたセルがある。 HTM リージョンもまた、高度に相互接続されたセルがカラム状に配列された皮 ry 新皮質の第 3 層はニューロンの主要なフィード・フォワード層である。 HTM リー ry のセルはおおまかに言えば新皮質のリー ry 3 層にあるニューロンと等価 ry 図 1-3 HTM リージョンの区画。 ry 。セルは二次元のカラム状 ry 図では、1 カラム当たり 4 つのセル ry 小さな区画 ry 。各カラムは入力 15 region。体の部位、局部など ry http://rio2016.5ch.net/test/read.cgi/future/1427220599/561
562: 561 [sage] 2016/11/18(金) 23:35:37.68 ID:fnVQMg28 Page 16 の一部に接続され、各セルは同一リージョン内の他のセルに接続する( ry 図 ry ない)。 この HTM リージョン及びそのカラム構造は新皮質リージョンの一つの層に等価 ry HTM リージョンは新皮質リージョンのほんの一部と等価であるに過ぎないものの、 複雑なデータ列の推論と予測 ry 多くの問題に有益 ry 疎分散表現 新皮質のニューロンは高度に相互接続しているが、わずかなパーセンテージのニューロン だけが一度にアクティブになるように抑制ニューロンによって保護されている。 よって脳内の情報は常に、数多く存在するニューロンのうちのわずかなパーセンテージ のアクティブなニューロンによって表されている。この様なコード化は「疎分散表現」 ry 「疎」とは、わずかなパーセンテージのニューロンだけが一度にアク ry 。一つのアクティブなニューロンは何らかの意味表現に関わっているが、 いくつかのニューロンの文脈の中で解釈されて初めて完全に意味 ry ry HTM リージョンの記憶の仕組みは疎分散表現に依存 ry 。 ry 入力 ry 疎であるとは限らないので、HTM リージョンが最初に ry 疎分散表現に変換 ry ry リージョンが 20,000 ビットの入力 ry 。入力ビットの中の”1”や”0”の割合は、時間と共に非常に頻繁に変化 ry ry 、またあるときは 9,000 個のビットが”1”であったりする。 HTMリージョンはこの入力を 10,000 ビットの内部表現に変換して、 入力 ry の 2%にあたる 200 ビットが一度にアクティブになるようにする。 ry 入力が時間と共に変化するに従って、内部表現もまた変化するが、 10,000 ビットのうち約 200 ビットが常にアクティブになる。 リージョン内で表現可能なものの数よりも起こりうる入力パターンの数の方が ずっと大きいから、この処理によって多くの情報が失 ry 、と思 ry 。しかしながら、どちらの数も途方もなく大きい。 ry どのようにして疎表現を作成 ry 後述する。 ry 情報のロスは ry 問題にならない。 http://rio2016.5ch.net/test/read.cgi/future/1427220599/562
563: 562 [sage] 2016/11/19(土) 21:31:34.61 ID:gXSL1qpI Page 17 図 1-4 HTM リージョンのセルが疎分散的にアクティブ ry 時間の役割 時間は、学習・推論・予測において極めて重要 ry 時間を用いなければ、我々は触覚や聴覚からほとんど何も推論できない。 ry 目が不自由だとして、誰かが貴方の手の上にりんごを置い ry 。りんごの上で指を動かせば、触覚から得られる情報が常に変化しているにも関わらず、 ry 貴方が持つ「りんご」という高レベルの認識 ― は変化しない。しかし ry 手や指先を動かしてはいけない ry レモンではなくりんごであると識別するのは非常に難 ry 同じことは聴覚 ry 。変化しない音はわずかな意味しか持たない。 「りんご」という言葉や、誰かがりんごを噛んだときの音などは、 時間と共に素早く順序的に変化する数十から数百の音階の列 ry 視覚は対照的に、混在したケースである。 ry 一瞬だけ ry でも識別可能 ry 必ずしも時間的な入力の変化を必要としない。しかし ry 常時、目や頭や体を動かしており、物体もまた周囲を動き回 ry 。素早 ry 視覚的変化 の中から推論する我々の能力は、視覚の統計的な特徴と長年の訓練によってもたら http://rio2016.5ch.net/test/read.cgi/future/1427220599/563
564: 563 [sage] 2016/11/20(日) 22:51:17.90 ID:gBNtPa9o Page 18 される特別なケース ry 学習について見てみよう。 ry HTM システムは訓練の間、時間的に変化する入力に触 ry 。視覚では静的な画像の推論がときには可能なものの、 物体がどのようなものであるかを学習するため ry 変化する様子 ry 犬が ry 走ってくる様子 ry 網膜に一連のパ ry 、数学的に言えばそれらのパターンはほとんど似ても似つかない。 脳はこれらの異なるパターンが同じ ry 順序的な変化を観察することによって知る。 時間はどの空間的なパターンが一緒に現れるかを教えてくれる「先生」である。 センサから得られる入力が変化するだけ ry 無関係な入力パターンが続けて現れても 混乱するだけ ry 。また、ry 、非人間的なセンサも ry 適用できる点にも注意 ry 。もし発電所の温度・振動・雑音のパターンを認識するように HTM を訓練 ry これらのセンサの時間的な変化からもたらされるデータで訓練 ry ry HTM ネットワークは多くのデータで訓練 ry 。HTM アルゴリズムの仕事は、 データの時系列の流れ ry どのパターンに続いて ry ーンが現れるかというモデルを構築 ry 。この時系列がいつ始まりいつ終わるのかがわからないので、この仕事は難しい。 同時に複数の時系列が重なりあって起こることもある。 学習は継続的に行われ、またノイズがある中で行われなければならない。 シーケンスの学習と認識は予測を形成する基準 ry ーンが他のどのパターンに続くかを HTM が学習すれば、 ry 現在の入力とその直前の入力に対して 次にどのパターンが現れる可能性が高いかを予測 ry HTM の 4 つの基本的な機能に戻ろう:学習・推論・予測・行動16である。 各 HTMリージョンは最初の 3 ry 、学習・推論・予測を実行 ry しかし ry 行動は異なる。 生物学によれば、多くの新皮質のリージョンが行動を形成 ry しかし我々は、多くの興味深いアプリケーションにおいてこれは重要ではないと信 16 behavior http://rio2016.5ch.net/test/read.cgi/future/1427220599/564
565: yamaguti~貸 [本スレsage] 2016/11/21(月) 23:55:02.41 ID:6/tm5rB/ >>554 AI エンジン ハードウェア http://news.mynavi.jp/articles/2016/05/20/deep_insights/001.html > 高効率の人工知能ハードウェアを開発するDeep Insightsを創立 ry > 開発するハードウェアはノイマン型 ry Deep Learningなど ry 大幅に高速化 ry > 7nmプロセスを使って速度と集積密度の双方を上げることで10倍、 > 磁界結合による ry を多チャンネル化(メモリ帯域100TB/s)してダイ上に ry 10倍、 > ダイナミックな計算精度変更を可能にして、低精度演算 ry 10倍 ry 全体では1,000倍 http://rio2016.5ch.net/test/read.cgi/future/1427220599/565
566: yamaguti~貸 [sage] 2016/11/22(火) 23:37:39.81 ID:fDw5z9zc > ダイナミックな計算精度変更 一例 URR ( 浜田穂積先生 ) http://rio2016.5ch.net/test/read.cgi/future/1427220599/566
上
下
前
次
1-
新
書
関
写
板
覧
索
設
栞
歴
あと 274 レスあります
スレ情報
赤レス抽出
画像レス抽出
歴の未読スレ
AAサムネイル
Google検索
Wikipedia
ぬこの手
ぬこTOP
1.916s*