ジョン・フォン・ノイマンの『計算機と脳』の新訳が出版されました。この中で、フォン・ノイマンは、デジタルとアナログの違いや、情報理論は論理学と熱力学によって構成されることや、誤り訂正符号技術、記憶装置のことなど、荒削りですが主要な項目を論じています。

ノイマンの予言についてネットで検索すると

「技術が発達していけば、やがてビルほどの大型コンピュータが作られる。そのような巨大なコンピュータができれば、人間の脳に劣らぬ知能を持つだろう」
この予言は二つとも外れた。コンピュータは真空管がＩＣ（集積回路）に置き換えられ、やがてＣＰＵのワン・チップ化が進んでますます小さくなった。性能は上がったが人工知能は実現できそうにない。

http://www.owari.ne.jp/~fukuzawa/konnpyu1.htm

といった記述があちこちにあります。
これから、まずは「CPUなど電子回路の高集積度」についてはノイマンの想像を超えた発展を成し遂げたと考えて良いのではないでしょうか?
それに伴う携帯端末、スマートフォンなどの小型高性能化はとどまるところを知りません。

また巨大なコンピュータは「ビルほどの大型コンピュータ」ではなく、無数のコンピュータがネットワークを介して連携する「クラウドコンピューティング」として結実しつつあると言えますが、これもノイマンが思い描いた範囲外ではないかと考えます。