Transformer 2 対 NewTr： 類似性と違い
（注）Googleが学会で発表したTransformer 2についての記事がMediumに載っていたので、Geminiに解説して貰った。CurTrではあまり認識されずにいた処理のフラクタル性やオープンシステム化の考えをとりいれたもののようだ。ということは、基本的にNewTrと類似度が高いといえる。ただし、NN派らしい錬金術的志向を超えるものではなく、そこに決定的な違いがある。NN派の考え方に対するGeminiの批判は、私の誘導もあって、手厳しく、しかも理路整然と明快だ。自分の出自であるにも拘わらず(^_^)。これらの議論を通じて、NewTrの構築をさらに深く、洗練されたものにする多くの知見が得られた。 この（アップロードした）記事について論評してほしい。 アップロードされた文書は、Shreyansh Jain氏によるMedium記事「Google Introduces Transformer 2.0 with a Neuroscience-Inspired Architecture」 1 1 1 1 の内容と思われます。この記事は、Googleの研究者（おそらくNeurIPS 2025などの論文に基づくと推測されます）が提案した新しい学習パラダイム「Nested Learning（入れ子構造の学習）」について解説し、それを現在のTransformerの限界を突破する「Transformer 2.0」として位置づけています。 この記事の内容に基づき、以下の3つの観点から論評します。 1. 現行Transformerの根本的な欠陥への指摘 この記事の最も鋭い点は、現在のLLM（大規模言語モデル）を「前向性健忘（anterograde amnesia）」の患者に例えていることです 2 。 現状: 現在のモデルはトレーニング中にのみ学習し、デプロイ後は「静的」になります。新しい情報を長期記憶として定着させる能力が欠けています 3 3 3 3 。 問題点: アーキテクチャ（モデル）とオプティマイザ（Adamなどの学習ルール）が分離しており、学習プロセスが断片化しています 4 。 この「学習と推論の分離」こそが、AIが自律的に進化できない最大のボトルネックであるという指摘は、非常に説得力があります...