Jens Nielsen blev student fra Niels Steensens Gymnasium 1956 og gik på Kunstakademiets Arkitektskole (designlinjen), hvor han havde Erik Herløw som professor og tog afgang 1966. Dernæst var han på rejser i Europa, Fjernøsten og Nordamerika.

Han var medarbejder ved fag- og dagblade 1959-71, sekretær i Selskabet for Industriel Formgivning (SIF) 1964-71, redaktør for tidsskriftet ID, medlem af juryen for ID Prisen 1965 og medstifter af Foreningen af industrielle designere i Danmark 1967. I 1971 blev Jens Nielsen designchef ved DSB, hvor han forblev til sin tidlige død i 1992. I tiden 1979-1984 var han også overarkitekt for etaten.

Jens Nielsen var - måske med undtagelse af Heinrich Wenck - den første arkitekt for DSB, der konsekvent gennemførte et program for corporate design. I hans tid blev alle aspekter af etatens offentlige fremtræden fornyet og gendesignet, lige fra reklamer, uniformer, restauranter, færger, IC3-tog (1984-86) og til Høje Taastrup Station (1986). Hans resultater og arbejdsproces, hvor hvert eneste emne blev videreudviklet ud fra funktionelle, produktionstekniske og æstetiske krav til den optimale form, gav ham både opmærksomhed og tilsvarende opgaver for andre virksomheder i ind- og udland. Jens Nielsen er nok bedst kendt for den kraftige, primale bemaling i kulsort og postkasserød, som han gav både lokomotiver, publikationer, plakatstandere og andet inventar på stationerne. Han var også manden, der indførte den minimalistiske Helvetica-skrifttype på togsæt og i køreplaner. På trods af den store beundring og den regn af priser, som hans indsats for DSB blev mødt med, besluttede DSB i 1998 (ved den nye designchef Pia Bech Mathiesen) at droppe hans designpolitik, herunder farvesætning, bomærke og typografi. Siden 1998 har DSB ikke anvendt de rød/sorte farver, men en blå/metalgrå farveskala.

Et andet indsatsområde for Jens Nielsen var videreførelsen af den bygningsbevarings- og restaureringsindsats, som hans forgænger, Ole Ejnar Bonding, havde påbegyndt. Således blev bevaringsværdier i de vigtigste stationsbygninger registreret og nogle af de store stationer restaureret, fx fik Østerport Station sit tabte tårn tilbage (1984).

Jens Nielsen var desuden kritiker på Politiken, gæsteprofessor ved Kunstakademiet i Antwerpen 1974-75, medstifter af Dansk Designråd 1977, medlem af British Railways' Board Design Panel 1985 og af bestyrelsen for Møbelfabrikantforeningens Fond 1985. Han modtog en lang række danske og internationale udmærkelser, heriblandt Knud V. Engelhardt Prisen i 1982, Mathsson-prisen 1984, Dansk Designråds Årspris 1985, The Brunel Award 1986 og Osaka Japan Designråds internationale designpris i 1989. Han deltog i udstillinger i DSB, i Det danske Hus i Paris og på Karlsruhe Universitet. IC3-tog nr. 5085 blev navngivet Jens Nielsen året efter hans død, 1993. I 1996 udkom der en dansk/engelsksproget bog om Jens Nielsens virke.

Han blev gift 7. august 1965 i Hørsholm med designer Vibeke Lassen Nielsen (født 11. juli 1939 i Rotterdam), datter af civilingeniør Morten Lassen Nielsen og Nilsine Christine Zinck. Han er begravet på Hørsholm Kirkegård.

• S-tog og MR-togsæt (1977-79, sammen med arkitekter ved DSB Maskinafdeling og Scandia Randers)
• Hovedbanegård i Høje Taastrup (fra 1978, sammen med Ellen Waade, Cyril Olsen, Jacob Blegvad Arkitektkontor og Henning Damgård-Sørensen)
• IC3-toget (1984-86, sammen med Anders Løvenkjær, Henrik Priess og Ole Rossel)
• designprogram omfattende tog, busser, restauranter, færger, bygninger, skilte, tryksager, typografi, uniformer, annoncer, reklamer, plakater, bænke og affaldskurve for DSB
• fortsættelse af registering af bevaringsværdier og restaurering af DSB-stationer, herunder Østerport Station (1984), Helsingør Station (1984-86), Roskilde Station (1983-84) og Københavns Hovedbanegård (1978-80, ved Dissing+Weitling)
• grafiske og industrielle designopgaver for danske og udenlandske virksomheder