生物学的に着想を得たニューラルネットワークの成熟過程

20 年以上前、ニューラルネットワークは、最終的にコンピューターが自ら考えることを可能にする次世代のコンピューティングとして広く認識されていました。

現在、哺乳類の脳がどのように学習するかという生物学的知識に大まかに基づいたこの技術に関するアイデアは、ハードウェアの改善とソフトウェアモデルの改良により、ようやく主流のコンピューティングに浸透し始めています。

もちろん、コンピューターはまだ自分で考えることはできませんが、ニューラルネットワークの最新の技術革新により、コンピューターは人間のオペレーターの助けを借りずに、膨大なデータ領域をふるいにかけ、基本的な結論を導き出すことができます。

「ニューラルネットワークにより、解決方法が分からない問題を解決できるようになる」とロチェスター工科大学のコンピュータサイエンス教授、レオン・レズニック氏は語った。

ニューラルネットワークは徐々に産業界にも浸透しつつあります。MicronとIBMは、より高度なニューラルネットワークを構築できるハードウェアを開発しています。

ソフトウェア面では、ニューラルネットワークが徐々に実稼働環境へと移行しつつあります。Googleは、音声認識アプリケーション「Google Voice」の改良に、様々なニューラルネットワークアルゴリズムを適用しています。モバイルデバイスでは、Google Voiceは人間の音声入力をテキストに変換し、従来の音声認識ソフトウェアでは対応しきれないような騒音環境下でも、短いメッセージ、音声検索クエリ、ユーザーコマンドを音声入力できます。

ニューラルネットワークは膨大な量のデータの分析にも活用できます。2009年には、ある研究者グループがニューラルネットワーク技術を用いてNetflixグランプリを受賞しました。

当時、Netflixはユーザーによる約1億件の映画評価データセットに基づいて、新作映画を推薦する最適な方法を見つけるための年次コンテストを開催していました。課題は、Netflix独自の推薦システムよりも優れた、ユーザーに新作映画の選択肢を推薦する方法を見つけることでした。優勝作品はNetflixの社内ソフトウェアを改良し、Netflixが見たい映画をより正確に予測することができました。

ニューラルネットワーク vs. コンピューティング

当初の構想通り、ニューラルネットワークは従来のコンピューティングとは異なり、従来のコンピューティングでは、コンピュータに特定のアルゴリズム、つまりプログラムを与えて実行させます。一方、ニューラルネットワークでは、特定の問題を解決する作業は、主にコンピュータ自体に委ねられるとレズニック氏は述べています。

ニューラルネットワークは、背景から特定の物体を見つけるといった問題を解決するために、哺乳類の大脳皮質の働きと似た、しかしはるかに単純化されたアプローチを用いています。脳は、数十億個の相互接続されたニューロンを用いて感覚情報やその他の情報を処理します。時間の経過とともに、ニューロン間の接続は、人が周囲の環境についてより深く学習するにつれて、フィードバックループの中で強くなったり弱くなったりすることで変化します。

人工ニューラルネットワーク（ANN）も、異なるニューロン層（ANN用語ではノード）間の接続強度を調整するというこのアプローチを採用しています。しかし、ANNは通常、何らかのトレーニングアルゴリズムを導入し、ノードを調整することでソースデータから必要な特徴を抽出します。人間と同様に、ニューラルネットワークは一般化することができ、例えば1枚の犬の画像から異なる種類の犬を認識する能力を徐々に構築していきます。

EUのヒューマン・ブレイン・プロジェクト（関連記事「コンピューターに脳をもたらす」参照）など、脳の働きをハードウェアで高精度に再現しようとする取り組みは数多く行われている。しかし、コンピューターサイエンス分野の研究者たちは、生物学からアイデアを借用し、たとえ生物とは異なるアプローチであっても、時間の経過とともに脳と同じように学習する可能性のあるシステムを構築している。

ニューラルネットワークの進化

1940 年代から研究されてきましたが、人工知能 (AI) の一種と考えられる ANN の研究は、1980 年代後半に人気のピークに達しました。

「1980年代後半には、ニューラルネットワークの復活によって多くの素晴らしい成果が生まれました」と、IBMリサーチのシニアマネージャーで、ニューロモルフィック・プロセッサの開発プロジェクトに携わるダルメンドラ・モダ氏は述べた。しかし、その後10年間で、機械学習やエキスパートシステムといった、AIと密接に関連する他の形態が、産業界へのより迅速な応用が可能になったことで、より注目を集めるようになった。

それにもかかわらず、ニューラルネットワークの最先端技術は進化を続け、パターン認識やその他の機能のパフォーマンスを向上させるために階層化できる強力な新しい学習モデルが導入されました。

「人工的な手段を用いて、自然のニューラルネットワークに非常に近いシミュレーションが可能な段階に到達しました」とレズニック氏は述べた。脳の仕組みはまだ完全には解明されていないものの、認知科学は大きく進歩しており、それがコンピューター科学者がニューラルネットワークの構築に用いるモデルにも影響を与えている。

「これはつまり、私たちの人工コンピュータモデルが、自然のニューラルネットワークが情報を処理する方法にかなり近づくことを意味します」とレズニック氏は述べた。

ムーアの法則の継続的な進歩も、この状況に追い風となっている。過去10年間で、マイクロプロセッサの製造プロセスは、シリコンの1枚片上でも大規模なノードクラスターを動作させるのに必要な密度を実現してきた。これは10年前には実現不可能だった密度だ。

「シリコンが成熟し、テクノロジーノードが十分に高密度化され、非常に低い電力で信じられないほどの規模を実現できる段階にきている」とモダ氏は語った。

プロセッサの活用

レズニック氏は、今日のプロセッサをニューラルネットワークのように活用するための複数のプロジェクトを主導しています。彼は、多数のプロセッサコアを搭載し、本質的に並列コンピューティングに適応するGPU（グラフィックス・プロセッシング・ユニット）の利用可能性を研究しています。また、ニューラルネットワークが侵入検知システム（敷地内への不法侵入者からコンピュータシステムへの侵入を試みる悪意のあるハッカーまで、あらゆるものを検知するシステム）をどのように改善できるかについても研究しています。

レズニック氏によると、今日の侵入検知システムは2つの方法で動作する。1つはシグネチャ検出で、既存のパターンライブラリに基づいてパターンを認識する。もう1つは、通常は静的な背景の中で異常を探す方法だが、これは活動が活発なシナリオでは難しい場合がある。ニューラルネットワークは、この2つのアプローチを組み合わせることで、システムが通常とは異なる異常を検知する能力を強化できるとレズニック氏は述べた。

ニューラルネットワークの可能性を研究しているハードウェア企業の一つがMicronです。同社は最近、「Automata」と呼ばれるプロセッサを内蔵したDDRメモリモジュールのプロトタイプをリリースしました。

標準的なCPUの代替品ではありませんが、Automataモジュールのセットは、入力データのライブストリームを監視し、異常や注目するパターンを探すために使用できます。MicronのDRAM部門アーキテクチャ開発グループのAutomataプロセッサ開発ディレクター、Paul Dlugosch氏は、「これらの空間特性に加えて、時間経過による変化も監視できます」と述べています。

「ある意味では生物学に着想を得ていましたが、ニューロンの高精度モデルを実現しようとはしませんでした。半導体デバイスへの実用的な実装に注力し、それが多くの設計上の決定に影響を与えました」とドゥルゴッシュ氏は述べた。

とはいえ、オートマタは並列実行が可能なため、それぞれがノードとして機能する複数のオートマタモジュールをクラスター内でまとめて実行し、ニューラルネットワークのような計算を行うことができます。あるモジュールの出力を別のモジュールにパイプすることで、ニューラルネットワークに必要な多層ノードを実現できます。オートマタのプログラミングは、Micronが開発したコンパイラを介して行うことができます。このコンパイラは、正規表現言語の拡張版、または独自のオートマタネットワークマークアップ言語（ANML）のいずれかを使用します。

この分野を研究しているもう一つの企業はIBMです。2013年、IBMは米国国防高等研究計画局（DARPA）のSyNAPSE（ニューロモルフィック・アダプティブ・プラスチック・スケーラブル・エレクトロニクス・システム）プログラムの一環として開発したコグニティブ・プロセッサ向けのプログラミング・モデルを開発したと発表しました。

IBMのこれらのプロセッサ向けプログラミングモデルは、コアレットと呼ばれる再利用可能で積み重ね可能なビルディングブロックに基づいています。各コアレットは実際には小さなニューラルネットワークであり、他のコアレットと組み合わせることで機能を構築できます。「ボックスを階層的に組み合わせることで、複雑なアルゴリズムやアプリケーションを構築できます」とModha氏は述べています。

「コアレットはコアと同等です。ニューロンから伸びる256本のワイヤーと、コアに繋がる256個の公理を公開しますが、コードの内部は公開されません。外部から見ると、これらのワイヤーしか見えません」とモダ氏は述べた。

初期のテストでは、IBM は 1 つのチップに、原始的なコンピューターゲーム「ポン」の遊び方、数字の認識、嗅覚処理、そして単純な環境でのロボットの操縦方法を教えました。

ニューラルネットワークが標準的な CPU に取って代わるかどうかは疑問ですが、CPU だけでは処理が難しい特定の種類のジョブをニューラルネットワークが処理する可能性は十分にあります。

「センサーデータを計算に持ち込むのではなく、計算をセンサーに持ち込むのです」とモダ氏は述べた。「これはコンピューターに取って代わろうとするものではなく、文明の自動化能力をさらに高めるための補完的なパラダイムなのです。」