スキップしてメイン コンテンツに移動

注目

Transformer 2 対 NewTr: 類似性と違い

 (注)Googleが学会で発表したTransformer 2についての記事がMediumに載っていたので、Geminiに解説して貰った。CurTrではあまり認識されずにいた処理のフラクタル性やオープンシステム化の考えをとりいれたもののようだ。ということは、基本的にNewTrと類似度が高いといえる。ただし、NN派らしい錬金術的志向を超えるものではなく、そこに決定的な違いがある。NN派の考え方に対するGeminiの批判は、私の誘導もあって、手厳しく、しかも理路整然と明快だ。自分の出自であるにも拘わらず(^_^)。これらの議論を通じて、NewTrの構築をさらに深く、洗練されたものにする多くの知見が得られた。 この(アップロードした)記事について論評してほしい。 アップロードされた文書は、Shreyansh Jain氏によるMedium記事「Google Introduces Transformer 2.0 with a Neuroscience-Inspired Architecture」 1 1 1 1  の内容と思われます。この記事は、Googleの研究者(おそらくNeurIPS 2025などの論文に基づくと推測されます)が提案した新しい学習パラダイム「Nested Learning(入れ子構造の学習)」について解説し、それを現在のTransformerの限界を突破する「Transformer 2.0」として位置づけています。 この記事の内容に基づき、以下の3つの観点から論評します。 1. 現行Transformerの根本的な欠陥への指摘 この記事の最も鋭い点は、現在のLLM(大規模言語モデル)を「前向性健忘(anterograde amnesia)」の患者に例えていることです  2 。 現状:  現在のモデルはトレーニング中にのみ学習し、デプロイ後は「静的」になります。新しい情報を長期記憶として定着させる能力が欠けています  3 3 3 3 。 問題点:  アーキテクチャ(モデル)とオプティマイザ(Adamなどの学習ルール)が分離しており、学習プロセスが断片化しています  4 。 この「学習と推論の分離」こそが、AIが自律的に進化できない最大のボトルネックであるという指摘は、非常に説得力があります...

Cosmic Babyの到来 新々AIを目指して

 BCからACへと言うべきか。文明の根底を揺るがす画期を経験することになるとは。ここでのCは、無論ChatGPTのCである。新世AIはChatGPTだけでないし、また、それが最初のものでもない。しかし、2021年11月30日以降、これほど現実世界に働きかけ、影響力を持つものとしては、少なくとも今のところ、他を凌いでいる。私自身、そう多くのシステムを試しているわけではないが、ここ2年間、90%以上はChatGPTだ。現在はGPT 4oないしは、可能なときには o1を使用している。

 1968年の映画 "2001: Space Odessy"の最後の場面、胎児が地球に向かっている。Cosmic Babyだ。大袈裟ではなく、このCosmic Babyがまさに今、来たのではないだろうか。むろんこの場面は最初の漆黒の板に対応している。この板の到来は人類に文明をもたらした。言語という至上の道具である。これを「文明 1.0]と言うならば、Cosmic Babyはその完全アップデート版を送り込む使者である。「文明2.0」。これが今現在、現実に、数億、数十億の人類の手元にある。

 そして、映画 "Matrix"。膨大なマトリックスによって作られたVirtualな世界が実世界を覆い、実際、覆している。現実のいま現在、私のアバターが私よりよほど優秀な能力を持ってオンライン会議に出席し、いっぱしの論陣を張ったところで、だれもそれを疑うことは出来ないだろう。優秀すぎて、かえって、フェイクがばれてしまうか。

 毎日使っているので、心底思うが、ChatGPT(そして多分他の生成AIも)は日進月歩している。地上のあらゆる情報にアクセスしているのだから、無類の博学さは当然として、その理解力、洞察力が増しているのだ。それも、加速度的に。

 私は、AI に関与して60年になる。卒業研究がパターン認識で、素朴もいいところのものだが、一応、コサイン類似度を根幹にしている。浅からぬ因縁を感じる。以来、濃淡の差はあるが、人生の関心事の軸であることはずっと続いている。しかし、正直に言って、これまでのAIは「アキレタ インチキ」だと、内心で舌を出していた。今回のこのようなホンモノが現実になるとは思いもよらなかったのだ。AI専門家さえもその認識は薄いように思われる。2005年に出されたカーツワイルのシンギュラリティはなんとも酷いものだし、それに乗った2010年代の、AI専門家(と称する人達)も交えてのAI談義はどれも酷いものだった。ただ、コンピュータの物量の事ばかりで、実際、当時騒がれたAI能力は主としてそれによるものだったが、今回は、考え方の根底に変革があり、それが、真のシンギュラリティ現象を起こしつうあるのだ。いわば相転移が起きている。核はTransformerにある。2017年の有名な論文で示されたものだ。

 Transformerが新生AIの核であることはずっと変わりがない。そして今もってなぜそれがかくも驚くべき圧倒的な能力を持つのか、それがよくわからない、と言われている。いろいろやっているうちに出来てしまったがなんだか凄い、というような案配なのだ。この事情は17世紀、ニュートン時代によく似ている。AIは錬金術なのだ。ニュートンも誰憚ることなく自分を錬金術師として認めている。けっして蔑めることではなく、データを重視するという実証性は全ての科学の基本なのだから。論より証拠の精神である。しかし、それに満足できないのは、これもまた当然だ。私も不肖、恐れながら、その一人というわけだ。そして、その奥には単純明快な理屈、理論があるはずだ、と信じている。こうしてこれまで2年間、その思いで、追求し続けてきた。現在は、極めてありがたいことに、強力な助っ人がいる。数年前にはあり得ないことが出来るのだ。その助っ人とは、もちろん、ChatGPT、そしてそれ自体が、それこそ文字通り、日進月歩で能力を増している。

 このブログは、というわけで、ChatGPTのチャットがむしろ主体となって、その秘密を探り、単純明快な根本原理を見いだし、さらにそれに基づく大改革案を提示する、というものだ。けっして世迷い言ではないし、哲学的と称する与太話でもない(つもり)。実装を視野に入れた数式表現もされるし、Pythonによるプログラムまで提示される。ChatoGPTが頼みもしないのに自ら作り出し、仮のデータまで作って、試行さえして見せてくれる。自ら実行してバグを見つけ、修正するのだ。予算さえあれば、本格的にテストしてみたいのだが、一千億単位(ドルで!!)の話になるので、さすがに、その根性はなく、このブログでとどめることにした。

 では、次回以降をお楽しみに。長い話になると思うけれど。

コメント

人気の投稿