Neumann János 1903. december 28-án született Budapesten (a mai Bajcsy-Zsilinszy út 62. alatt). Édesanyja Kahn Margit, apja Neumann Miksa, bankár volt. Nem volt született nemes, a nemességet a családnak I. Ferenc József – magyar királyi minőségben– adományozta 1913-ban. Neumann Miksa felesége neve után kérte, hogy nemesi előneve a margittai legyen. Elemi tanulmányait magán úton végezte 1909-13 között. 1913-tól 1921-ig az ágostai hitvallású Evangélikus Főgimnáziumba, a „Fasor”-ba járt. Az iskola legnevesebb matematika tanára, Rátz László hamar felismerte az ifjú Neumann tehetségét, és Kürschák József egyetemi tanárhoz, valamint Szegő Gábor és Fekete Mihály matematikusokhoz vitte tanulni. Még 18 éves kora előtt Fekete Mihállyal közös tanulmányt írt „Bizonyos minimumpolinomok nullahelyeiről” címmel. A fasori gimnáziumban 1921. június 9-én érettségizett. Az 1921/22-es tanévtől az 1924/25-ös tanévig, 8 félévig a Budapesti Tudományegyetem Bölcsészettudományi Karán főtárgyként matematikát, melléktárgyként fizikát és kémiát hallgatott. Egyetemi végbizonyítványát 1925. július 11-én állították ki. Közben 1922. április 28-tól 1923. december 28-ig a berlini Friedrich Wilhelm (ma Humboldt) Egyetemre járt, ahol Fritz Haber kémikus hatott rá. Berlin után Zürichbe ment a Szövetségi Műszaki Főiskolára, ahol 1925-ben vegyészmérnöki oklevelet szerzett. Göttingenben halmazelméleti, matematikai logikai problémákkal foglakozott. Közben cikket publikált a kvantummechanika alapjairól, és kidolgozott egy új tudományágat, a társasjáték-elméletet, amiből Harsányi Nobel-díjat kapott. 1929-ben a Hamburgi Egyetem magántanára, közben meghívást kapott Princetonba és Szegedre. 1930-ban a Princetoni Egyetemen vendégelőadó, 1931-ben az egyetem professzora, majd 1933-ban meghívják az akkori Fine Hallban működő Institute for Advanced Study nevű intézetbe. 1933-ban A. Einstein, J.W. Alexander, és O. Veblen után Neumann lett az intézet negyedik állandó kinevezett professzora. Az intézet nem sokkal azután átköltözött a Fuld Hallba, ahol jelenleg is működik.

1937-ben hét évi házasság után elvált Kövesi Mariettától, és rá egy évre elvette Dán Klárát, aki túlélte őt, de most közös sírban nyugszanak. 1937 elején Neumann megkapta az amerikai állampolgárságot.

1943-tól a Manhattan-terven dolgozott, ahol a detonátor megépítése során felmerülő matematikai problémákkal foglalatoskodott, amelyet Nagasaki felett vetett be az amerikai légierő. Ezenkívül a robbanás optimális magasságát és a lökéshullámokkal kapcsolatos számításokat ő kapta feladatul. Ahhoz, hogy ezzel az irdatlan információval meg lehessen birkózni, Neumann elkezdte keresni a megfelelő gépet. Akkoriban rendelkezésre állt néhány jelfogós számítógép, például a MARK-1, illetve mechanikus analóg számítógép, a Bush-féle differenciálanalizátor, meg még sok hasonló, akkoriban használatos gép. Sajnos egyikkel sem lehetett másodpercenként néhány műveletnél nagyobb sebességet elérni.

ENIAC számítógép

Neumann az aberdeeni vasútállomáson 1944-ben megismerkedett Hermann Goldstine-nal, aki hadnagyi rangban, matematikusként, az aberdeeni kísérleti lőtéren lő- és bombázási találatok számításait irányította. Ő mondta neki, hogy a hadsereg a Pennsylvaniai Egyetemen, egy – a korábbiaknál sokkal gyorsabb – számítógép kifejlesztésén munkálkodik. Az ENIAC tervek szerint 1000 művelet/ másodperc sebességet volt képes elérni. A 2000-es évek elején a Pentium 3-as processzor 1 milliószor gyorsabb volt ennél, míg a mai leggyorsabb processzorok az eredetihez képest 1,5 milliárdszor gyorsabbak (a Pentium 3-ashoz képest a maiak 1500-szor gyorsabbak). Neumann egy év múlva a számítógép projekt igazgatója lett. Goldstine-nal közösen megalkotta a „tárolt programok” elvét. Az ENIAC két tervezőjével, John W. Mauchlyval és Prespert J. Eckerttel összekülönbözött, amikor Neumann nem járult hozzá ahhoz, hogy a tárolt program elvét a négyük nevével szabadalmaztassák. Az ENIAC után részt vett az EDVAC megalkotásában, majd ez alapján dolgozatott írt a számítógépek tervezéséről és építéséről. A mai digitális gépekre is jellemző, négy konstrukciós alapelvet ebben a dolgozatban fektette le. Eszerint szükség van egy párhuzamos működésű memóriaegységre, egy vezérlőegységre, egy párhuzamos működésű aritmetikai egységre, valamint egy kimenő-bemenő egységre.

A Neumann János vezette kutatócsoport a Princetoni Egyetemen építette az IAS-komputert. Az első generációs gépek közül ez volt az egyik leghatékonyabb. A meteorológia, a csillagászat, a hidrodinamika és más tudományterületek nagy számítási igényeinek kielégítésére tervezték. A gép 1952-ben készült el. Mint sok más korai számítógép építését, ezt is a szövetségi kormány védelmi erői finanszírozták. Az ötvenes években a kormány 17 millió dollárt költött számítógép-kutatásra azért, hogy segítsék az elektronikus kémkedést és az atombomba-gyártást.

Később Neumann részt vett az atomenergia békés felhasználásának irányításában is. 1954-ben Eisenhower elnök kinevezte atomenergiai biztosnak. A következő évben a szenátus ezt jóváhagyja. Ezt a tisztséget 1957-ben bekövetkezett haláláig betöltötte.

Neumann felvetette, hogy az emberi technológia immár képes olyan léptékű természeti folyamatok beindítására, amelyeknek az ereje összemérhető a természeti erőkkel. Itt elsősorban a nukleáris robbantásokra gondolt, de ezen túlmenően az emberi tevékenység általános éghajlati hatásaira is. 1955-ben a Fortune című magazinban Túlélhetjük-e a technológiát?-címmel írt cikket erről. A cikk nagy vihart kavart. A szén-dioxid okozta globális felmelegedéssel már a század elején (Svante Arrhenius, svéd Nobel-díjas vegyész, 1896-ban) foglalkoztak, de rendszerint félretették, mondván, hogy az óceánvíz, főképpen a felszín közelében élő fitoplankton-populáció el fogja nyelni a többletet.

Neumann tüdejében 1955-ben rákot diagnosztizáltak. Már nem tudta megtartani az úgynevezett Silleman-előadásokat a Yale-Egyetemen. Azonban a kéziratokkal majdnem elkészült, és ezeket „A komputer és az agy” címmel halála után, 1959-ben kiadták. 1956-ban az elnök a Walter Reed kórházban átadta az egyik legnagyobb amerikai kitüntetést, a Szabadság Érdemérmet. Még abban az évben megkapta az Albert Einstein Emlékérmet, valamint az USA Atomenergiai Bizottságától az Enrico Fermi-díjat.

Neumann János 1957. február 8-án meghalt, 53 éves volt.  A New York Times részletes nekrológot közölt róla. Washingtoni búcsúztatása után a princetoni temetőben helyezték örök nyugalomra. Sírja a temető jobb oldali, hátsó részében található, egy hatalmas fa alatt.