Édesanyja, Kann Margit a bérházat építtető Kann Jakab lánya volt. Édesapja, Neumann Miksa (1873–1929), aki 1913-ban margittai előnévvel az egész családra vonatkozó nemesi címet kapott I. Ferenc Józseftől, kezdetben ügyvédként dolgozott, azután főjogtanácsos, majd igazgató lett a Magyar Jelzálog- és Hitelbanknál. „Margittai Neumann Miksa azok közé a bankárok közé tartozott, akik főszereplői voltak a századfordulós magyar gazdaság felvirágoztatásának. Ők, az akkori nagy bankárok teremtették meg a hatalmas beruházásoknak, Budapest kiépítésének, a hazai ipar kialakulásának és számos középület létrehozásának pénzügyi alapjait. Amikor Miksa váratlanul meghalt, a Borsszem Jankó című lap verssel búcsúztatta…” (Forrás: Morainfo)
A tulajdonos Kann, illetve Neumann család feltehetően az elegáns első emeleti, hétszobás saroklakásban élt, ahol a sarokszoba kétoldalt kőbábos erkéllyel, a sarkon zárterkéllyel is bővült. 

Minden életrajz megemlíti az ideális, ingergazdag családi környezetet (ez nemcsak Neumann Jánosét, hanem a többi világhírűvé vált tudósét, például Szilárd Leóét vagy Wigner Jenőét is jellemezte). Ezek szerint Neumann Miksa kivételes műveltsége nagyban elősegítette elsőszülött fia tehetségének kibontakozását. A három gyerek a nevelőnőktől franciául és németül tanult, emellett latinul és görögül, a családi együttlétek során tudományról, zenéről, színházról, irodalomról beszélgettek. Neumann János, akit gyermekként – de még felnőtt korában is egy ideig – Jancsinak szólítottak, azután Amerikában John von Neumannak, már nyolcévesen rendkívüli matematikai képességeket mutatott, nyolcjegyű számokat osztott és szorzott fejben. Ez a képessége egész életében elkísérte, például a korai elektronikus számológépek számításait fejben ellenőrizte, olyan gyorsan számolt, mint a gépek.

„…amikor Szilárd Leót megkérdezték egyszer, hogy mi lehet az oka annak, hogy a század elején annyi zseni született Magyarországon, akkor Szilárd egy pillanatra meghökkent majd csodálkozva visszakérdezett: Hogyhogy annyi zseni? Zseni közöttünk csak egy volt: Neumann János!” (Forrás: Szabó Péter Gábor: Neumann János életútja és munkássága. Miskolci Egyetem)

Ahogy Wigner Jenőt, Neumann Jánost is a legjobb iskolába, a legendásan híres Fasori Evangélikus Gimnáziumba íratták, és nyilvánvaló matematikai képességei ellenére apja őt is a vegyészmérnöki pálya felé irányította. Végül – hogy apjának és a saját belső indíttatásának is megfeleljen – párhuzamosan szerezte meg Budapesten a matematikusi és a berlini, valamint a zürichi egyetemen a vegyészmérnöki diplomát. 1927-től már a berlini és hamburgi egyetem tanára, 24 évesen. Apja halála után, 1928-ban az egész család katolikus hitre tért. Mégis, amint megérezte a németországi politikai változásokat, tudta, hogy el kell hagynia Európát. Elfogadta a Princeton Egyetem meghívását,1930 és 1933 között még fél évet Amerikában, fél évet Európában tanított, majd végleg az Egyesült Államokban telepedett le. „…Neumann… képes volt rá, hogy elképzelje az elképzelhetetlent. 1934-ben magyarul írt egy levelet a pesti fizikusnak, Ortvay Rudolfnak, melyben tárgyilagosan és előrelátóan megjósolja az európai zsidóság pusztulását. Naivak, akik azt gondolják – írja levelében – hogy az Európában maradt zsidók helyzetén javítani fog a háború. Csak két lehetséges változat elképzelhető, az egyikről (a kiirtásról) ne is beszéljünk. De a másik sem túl szívderítő. A meghódított területeken teljes lesz a zűrzavar. És olyan mértékű a nyomor, melyben a túlélő zsidók számára semmiféle esély többé nem kínálkozik.” (Kati Marton: Kilenc magyar, aki világgá ment és megváltoztatta a világot, Corvina Kiadó, 2008. 96. o.) 

Princetonban Einsteinnel együtt az Institute for Advenced Study alapító tagja lett. Diákjai rajongtak érte. Zsenialitása mindenkit lenyűgözött, nemcsak tudóstársait, de Amerika vezető politikusait is. A háború kitörésekor a fasizmus elől Amerikába menekült tudóstársaival, köztük Wigner Jenővel, Szilárd Leóval és Teller Edével a Manhattan-terv végrehajtásán dolgozott, hogy a németeket megelőzve elkészülhessen az amerikai atombomba. Ahogy a 20-as években Berlin, most Los Alamos kutatólaboratóriuma lett a világ legjobb tudósainak gyülekezőhelye. „A II. világháború idején az amerikai hadsereg fejlesztésének és az atombomba létrehozásának egyik kulcsembere. A háború után részt vett a hidrogénbomba kifejlesztésében is. Legnagyobb jelentőségű tudományos eredménye a számítástechnika elméleti megalapozása. Ő, akit eleven számítógépnek neveztek, mert bámulatos gyorsasággal fejtett meg másokat hónapokig foglalkoztató, gyakran megoldhatatlannak tűnő matematikai problémákat, végül a valóságos számítógépnek lett egyik megalkotója” – áll A magyarországi zsidóság képes története A művészek, tudósok a nagyvilágban című fejezetében (Jalsovszky Katalin, Tomsics Emőke, Toronyi Zsuzsa. Vince Kiadó, 2004. 343. o.)

Rövid élete során nemcsak a számítógép, de a halmazelmélet, a játékelmélet és a kvantummechanika terén is rendkívüli eredményeket ért el. Munkásságáért és Amerikának tett szolgálataiért „Eisenhower elnök 1956-ban Szabadság Éremmel tüntette ki. A Fehér Ház-beli ünnepségre már csak tolószékben tudott elmenni. Neumann Miklós így emlékszik testvére és az amerikai elnök találkozására: »Ez János egyik legutolsó hivatalos szereplése volt, amikor már semmi kétség sem volt betegségének végső kimeneteléről. Hadd idézzem Jánost: ’Bárcsak elég sokáig itt maradhatnék, hogy ezt a megtiszteltetést kiérdemeljem.’ Eisenhower: »Hát persze, még sokáig velünk lesz, hiszen szükségünk van önre.« Eisenhowernek igaza volt. Neumann János velünk marad.” (Forrás: Neumann János Számítástechnikai Szakközépiskola)

Nagyapja, Kann Jakab és édesapja, Neumann Miksa a Kozma utcai temetőben nyugszik. Neumann Jánost katonai tiszteletadás mellett Princetonban temették el, édesanyjával és első feleségével közös sírba.