(情報科学)技術的特異点と科学･技術等 1 (ナノテク) [転載禁止]©2ch.net (840ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
539(1): YAMAGUTIseisei 2016/11/11(金)13:01 ID:TfAJHR6G(1/14) AAS
This is the html version of the file 外部ﾘﾝｸ[pdf]:numenta.com .
Google automatically generates html versions of documents as we crawl the web.
Page 1
HIERARCHICAL TEMPORAL MEMORY
including
HTM Cortical Learning Algorithms
VERSION 0.2, DECEMBER 10, 2010
Numenta, Inc. 2010
Use of Numenta’s software and intellectual property, including the ideas contained in this
document, are free for non-commercial research purposes. For details, see
外部ﾘﾝｸ[php]:www.numenta.com
翻訳 株式会社アルトーク 2011/1/25
出典: 外部ﾘﾝｸ[pdf]:www.numenta.com
脚注はすべて訳者による注釈である。本書の改訂版を確認するには 外部ﾘﾝｸ:ai.altalk.com参照。
540(1): 538 2016/11/11(金)13:03 ID:TfAJHR6G(2/14) AAS
Page 2
Numenta 翻訳ライセンス（参考和訳）
Copyright (c) 2010, 2011 Numenta, Inc.
All rights reserved.
ここに含まれる文章、アルゴリズム、サンプルコード、擬似コード、及びその他の記述は、
Numenta Inc.が発行した hierarchical temporal memory (“HTM”) 技術に関する記述の翻訳な
いしこれに基づいて得られたものである。原著の著作権及びここで翻訳された HTM やそのアル
ゴリズムに関する特許権は Numenta が保有している。独立した HTM システムの開発及び使用
に関して、それが商用目的ないし製品化目的ではなく、研究目的である限り、Numenta はその
特許権を主張しないことに同意する。Numenta の特許権に抵触する商用目的ないし製品化目的
のいかなる HTM 技術の使用も、Numenta から商用ライセンスを取得しなければならない。
上記に基づいて Numenta は貴方に、商用目的ないし製品化目的の使用ではなく、研究目的に限
り、これらのアルゴリズム及び著作を使用することを認可する。前述の「商用目的ないし製品化
目的の使用」は、訓練された HTM ネットワークないしアプリケーションを後に商用目的ないし
製品化目的で適用することを意図している場合、HTM ネットワークを訓練することを含む。前
述の「商用目的ないし製品化目的の使用」はまた、商用目的ないし製品化目的で HTM 技術の出
力結果を使用ないし他者に使用を許可することを含む。この記述を頒布・出版・複製したあらゆ
る記述には、この翻訳ライセンスの全文が英文及び翻訳対象言語の両方で含まれていなければな
らない。
このライセンスは明示的にも暗黙的にも特許権の使用を何ら許可しない。ここで許可された翻訳
物の品質ないし正確さに関して Numenta は義務も責任も負わない。
541(3): 540 2016/11/11(金)13:06 ID:TfAJHR6G(3/14) AAS
Page 4
最初にお読み下さい！
本書は、この資料のドラフトである。読者が知っておくべき事柄のうち、欠落して
いるものがいくつかある。
本書に含まれること：
本書は Numenta が 2010 年に開発した学習と予測に関する新しいアルゴリズムの
詳細を説明している。この新しいアルゴリズムについて、プログラマが理解でき、もし
望むならこれを実装可能なほど十分詳細に説明している。最初の章で概念説明をしてい
る。もし読者が Numenta についてよく知っていて、我々のこれまでの論文のいくつか
を読んだことがあるなら、それらは馴染み深いであろう。それ以後の章は新しい事柄に
ついて述べる。
本書に含まれないこと：
この新しいアルゴリズムの実装に関するいくつかの話題は、この初期の草稿に含ま
れていない。
- アルゴリズムの多くの側面は実装及びテストされているが、テスト結果については
述べられていない。
- アルゴリズムを実際の問題にどのように適用可能であるかについての記述はない。
センサーないしデータベースからのデータを、このアルゴリズムに適した分散表現
に変換する方法の記述が抜けている。
- アルゴリズムはオンライン学習ができる。オンライン学習を完全に実装するために、
ある特殊な状況下で必要となるいくつかの詳細は記述されていない。
- 執筆予定のその他の議論として次のものがある。疎分散表現の特徴に関する議論、
利用例・応用例、付録への引用。
我々は現時点で紹介可能な範囲でこの資料を作成した。他の人々もこれに関心を持
つだろうと考えたためである。意欲のある研究者であれば、この資料の欠落している部
分は、アルゴリズムを理解し実験をする上で妨げにならないだろうと考える。我々は今
後の進展に伴って随時この資料を改訂する。
542(2): 541 2016/11/11(金)13:21 ID:TfAJHR6G(4/14) AAS
Page 5
目次
Numenta 翻訳ライセンス（参考和訳） . . . . . 2
序文 . . . . . . . . . . . 8
:
ソフトウェアのリリース . . . . . . . 9
:
Numenta 社について
著者について . . . . . . . . . 10
:
第１章： HTM 概説 . . . . . . . . 11
:
階層構造 . . . . . . . . . . 12
リージョン . . . . . . . . . 15
疎分散表現 . . . . . . . . . 16
時間の役割 . . . . . . . . . 17
学習 . . . . . . . . . . . 19
推論 . . . . . . . . . . . 20
予測 . . . . . . . . . . . 21
行動 . . . . . . . . . . . 23
HTM の実装に向けての進捗状況
543: 542 2016/11/11(金)13:22 ID:TfAJHR6G(5/14) AAS
第２章： HTM 大脳皮質性学習アルゴリズム . . . . 24
:
セル状態
樹状突起セグメント . . . . . . . . 25
シナプス
概要 . . . . . . . . . . . 26
共通概念 . . . . . . . . . . 32
二値ウェイト
永続値 . . . . . . . . . . 33
樹状突起セグメント
シナプス候補
学習
544(2): 542 2016/11/11(金)13:24 ID:TfAJHR6G(6/14) AAS
Page 6
空間プーリングの概念 . . . . . . . . 34
:
時間プーリングの概念 . . . . . . . . 36
:
一次と可変長のシーケンスと予測 . . . . . . 39
第３章： 空間プーリングの実装と疑似コード . . . . 43
初期化
フェーズ 1: オーバラップ . . . . . . . 44
フェーズ 2: 抑制
フェーズ 3: 学習
データ構造と補助関数 . . . . . . . . 46
第４章： 時間プーリングの実装と疑似コード . . . . 48
時間プーリング疑似コード： 推論だけのバージョン
:
時間プーリング疑似コード： 推論と学習を含むバージョン. . 49
:
実装の詳細と用語説明 . . . . . . . . 52
545: 544 2016/11/11(金)13:26 ID:TfAJHR6G(7/14) AAS
付録 A: 生体ニューロンと HTM セルの比較 . . . . 57
生体ニューロン
細胞体 . . . . . . . . . . 58
主要樹状突起
末梢樹状突起
シナプス . . . . . . . . . . 59
ニューロンの出力 . . . . . . . . 60
単純な人工ニューロン
HTM セル . . . . . . . . . . 61
主要樹状突起
末梢樹状突起 . . . . . . . . . 62
シナプス . . . . . . . . . . 63
セル出力
:
付録 B: 新皮質の層と HTM リージョンの比較. . . . 65
新皮質の神経回路網
546(1): 544 2016/11/11(金)13:27 ID:TfAJHR6G(8/14) AAS
Page 7
層 . . . . . . . . . . . 66
リージョンの違いによる層のバリエーション . . . . 67
カラム . . . . . . . . . . 68
ミニカラム . . . . . . . . . 69
カラム反応の例外 . . . . . . . . 70
なぜ層とカラムがあるのか？ . . . . . . . 71
異なる層が何をするのかに関する仮説 . . . . . 72
HTM リージョンは新皮質の何に相当するか？ . . . . 75
:
547(2): 546 2016/11/11(金)13:28 ID:TfAJHR6G(9/14) AAS
Page 8
序文
人間には簡単にできて、コンピュータには今のところできないようなことがたくさ ry
Hierarchical Temporal Memory (HTM) は、新皮質がこの様な機能を発揮する様子を
モデル化する技術である。 HTM は人間と同等あるいはそれ以上の多くの認識性能 ry
ry １章は HTM ry 階層構造 ry 、疎分散表現1、時間的な変化に基づく学習 ry
２章は HTM 大脳皮質性学習アルゴリズム2 ry
３章と第 4 章は HTM 学習アルゴリズムの疑似コードを、
空間プーリング及び時間プーリングの２つのパート ry
第２章から第４章を読めば、熟練したソフトウェア技術 ry 実装して実験 ry
1 sparse distributed representation。本書を理解する上で重要な概念だが、
冒頭で述べられているように、残念ながら本書では説明されていない。
理論的基礎は Pentti Kanerva 著 Sparse Distributed Memory に詳しい。
Kanerva 氏は Jeff Hawkins 氏が設立した Redwood Neuroscience Institute
（現在は Redwood Center for Theoretical Neuroscience)の研究員。
2 HTM cortical learning algorithms
548(1): 547 2016/11/11(金)13:29 ID:TfAJHR6G(10/14) AAS
Page 9
ソフトウェアのリリース
ry ソフトウェアリリースは 2011 年中頃を予定している。
以前の文書との関係
HTM 理論の一部は 2004 年の On Intelligence3、Numenta 社から発行された
ホワイトペーパー、Numenta の従業員が執筆した論文など ry
２章から第４章で述べている HTM 学習アルゴリズムは、これまで発表されたことはない。
この新しいアルゴリズムは、Zeta 1 と呼ばれていた我々の第一世代アルゴリズムを置き換 ry
新しいアルゴリズムのことを “Fixed-density Distributed Representations” ないし “FDR”
と呼んでいた ry
HTM 大脳皮質性学習アルゴリズム4、あるいは単に HTM 学習アルゴリズムと呼んでいる。
我々は、Numenta 社創設者の一人である Jeff Hawkins と Sandra Blakeslee によって書かれた
On Intelligence ry この本は HTM という名前で述べてはいないものの、
それは HTM 理論とその背景にあるニューロサイエンスについて、
読みやすくかつあまり技術よりにならずに説明している。On Intelligence が執筆された当時、
我々は HTM の基本原理を理解していたが ry 実装する方法を知らなかった。 ry
Numenta 社 ry
Numenta, Inc. (www.numenta.com)は HTM 技術を商業的ないし学術的利用のため ry
進捗及び発見を完全に文書化している。我々はまた、我々が開発したソフトウェアを
他の人が研究目的や商業目的で利用できるように提供 ry
アプリケーション開発コミュニティが立ち上がることを支援 ry
Numenta 社のソフトウェアや知的所有権を研究目的で自由に利用
3 邦訳 「考える脳 考えるコンピューター」ランダムハウス講談社
4 HTM Cortical Learning Algorithms
549(2): 548 2016/11/11(金)13:31 ID:TfAJHR6G(11/14) AAS
Page 10
してよい。我々は商業目的での技術サポートの提供、ソフトウェアライセンス販売、
知的所有権のライセンス販売で収益を得ている。
我々は常に開発パートナーを求めており、彼らと我々自身の成功 ry
Numenta 社はカリフォルニア州 Redwood City に拠点をおき、自己資本 ry
著者 ry
本書は Numenta 社の従業員の協力と努力 ry 名前は改訂記録 ry
550: 549 2016/11/11(金)13:32 ID:TfAJHR6G(12/14) AAS
改訂記録
各版の主な変更点 ry 。細かな修正や整形などは ry
版 日付 変更点 主な著者
0.1 2010/11/9
1. 序文、1,2,3,4 章、用語集の初版
Jeff Hawkins, Subutai Ahmad, Donna Dubinsky
0.1.1 2010/11/23
1. 第 1 章のリージョンの節で、レベル、カラム、層などの用語を明確化するため編集した
2. 付録Ａの初版
Jeff Hawkins
0.2 2010/12/10
1. 第２章： 明確化のため修正
2. 第４章：行番号を修正、37行と39行のコードを修正
3. 付録Ｂの初版
Hawkins Ahmad Hawkins
551(1): 549 2016/11/11(金)13:33 ID:TfAJHR6G(13/14) AAS
Page 11
第１章： HTM 概説
Hierarchical Temporal Memory (HTM) は、新皮質の構造的・アルゴリズム的性質
を捉えることを目指した機械学習技術である。
ry 。新皮質は実に均一なパターンのニューラル回路 ry
ry 小さなサブセットを実装 ry 今後より一層多くの理論が実装されるだろう。
現在我々は、新皮質の商業的ないし科学的価値のうちの十分なサブセットを実装したと信じる。
HTM のプログラミングは伝統的なコンピュータプログラミングとは異なる。 ry
HTM はセンサーから得られたデータの流れに触れることで訓練される。
HTM の能力はそれがどのようなデータに触れたかによって ry
ry 「ニューラルネ ry 」という用語は非常に多くのシステムで用い ry 不用意に使えない。
HTM がモデル化するニューロン（HTM ではセル5と呼ぶ）は、
カラム6、層7、リージョン8、階層構造9の中に配置 ry
HTM は基本的にメモリベース ry 。HTM ネットワークは時間的に変化する
たくさんのデータによって訓練され、多くのパターンとシーケンス10の蓄積に依存している。
データを格納及びアクセスする方法は、一般にプログラマが使用する標準的なモデルとは論理的に異 ry
。伝統的なコンピュータメモリはフラット ry 時間に関する概念を持たない。 ry
5 cell
6 column
7 layer
8 region
9 hierarchy
10 sequence。連続して起こる事柄、ないしその順序を意味する。
552(3): yamaguti~貸 2016/11/11(金)13:35 ID:TfAJHR6G(14/14) AAS
>>528-529
2chｽﾚ:future
意味 + 文法
2chｽﾚ:future
2chｽﾚ:future
>102 : YAMAGUTIseisei 2016/09/17(土) 18:39:19.08 ID:3E1tr0Z7
> 文法 = 一種の身体性 → 究極 ( シームレス粒度 ) = 有機分散並列自律発生文法システム
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ
ぬこの手 ぬこTOP 0.039s