Originario della Tuscia e figlio di un certo Costanzo secondo il Liber Pontilicalis, fu eletto papa succedendo a 7 Ormisda il 13 agosto 523. Non si hanno notizie sicure su questo papa prima della sua elezione, a causa della frequente attestazione del nome Giovanni nelle fonti del VI sec. (tre papi portano questo nome). 

È stata tuttavia avanzata l’ipotesi dell’identificazione di questo pontefice con il diacono Giovanni, amico di Severino Boezio, che gli dedicò tre dei suoi scritti; era favorevole al partito filoorientale dell’antipapa Lorenzo, anche se nel 506 fece atto di sottomissione al papa legittimo 7 Simmaco. Tale ipotesi di identificazione sarebbe corroborata dalla straordinaria accoglienza che gli fu riservata in occasione del suo viaggio a Costantinopoli, e dal fatto che Giovanni, divenuto papa, fece adottare a Roma su consiglio del monaco Dionigi il Piccolo il computo pasquale alessandrino, già motivo di accese controversie tra Lorenzo e Shrunaco e segno evidente di atteggiamento proorientale.

Il Liber Pontificalis riporta che egli fece eseguire importanti lavori di restauro nelle basiliche cimiteriali dei martiri Nereo e Achilleo sull’Ardeatina e dei SS. Felice e Adautto sull’Ostiense e poté inoltre abbellire le principali basiliche cittadine, grazie alla munificenza dell’imperatore Giustino I. Tutta la sua attività a Roma si svolse prima del suo viaggio a Costantinopoli, che fu l’avvenimento più importante del suo pontificato, ma anche l’ultimo, poiché gli costò la vita. Se i rapporti di Giovanni con l’imperatore d’Oriente furono buoni, assai meno lo furono quelli con l’anziano re goto Teodorico. 

Questi era allarmato per le leggi rimesse in vigore dall’imperatore Giustino nei suoi territori contro gli eretici e in particolare contro gli ariani; convocò Giovarmi a Ravenna sul finire dell’anno 525 e gli intimò di guidare una delegazione a Costantinopoli con il difficile compito di ottenere la fine della persecuzione. Preoccupato per le sorti dei cattolici d’Occidente in caso di suo rifiuto, acconsenti di portare all’imperatore le richieste di Teodorico. 

Era la prima volta che un pontefice si recava a Costantinopoli; fu ricevuto con i massimi onori dall’imperatore, che si prosternò davanti al vicario di san 7 Pietro. Giovanni celebrò le funzioni della Pasqua del 526 a S. Sofia secondo il rito romano e stando al Liber Pontificalis procedette alla reincoronaiione di Giustino. La delegazione ottenne alcune concessioni, non quella che gli ariani convertiti potessero ritornare alla loro fede. 

Nonostante il successo dell’ambasciata, al rientro a Ravenna, Giovanni fu vittima della politica di Teodorico, a cui la notizia dell’accoglienza trionfale e del successo personale ottenuto da Giovanni a Costantinopoli, provocò ostilità e gelosia tanto che costrinse Giovanni a trattenersi a Ravenna, dove, provato dai trattamenti subiti, mori il 18 maggio 526. 

Secondo l’Anonimo di Valois intorno al corpo di Giovanni si verificarono miracoli e fu oggetto di venerazione popolare. Successivamente le spoglie del pontefice furono traslate a Roma dove furono inumate a S. Pietro alla data del 27 maggio. Il suo epitaffio conservato in due manoscritti lo ricorda come vittima per Cristo.