Hij werd gekozen door de partij van paus Formosus, voor wiens rehabilitatie hij voortdurend ijverde. Tegenover hem stond als tegenpaus Sergius. Toen deze in 904 wettig paus werd, verklaarde hij Johannes voor een indringer. Tegenover de moeilijkheden in het oosten handhaafde Johannes de eenmaal genomen beslissingen van zijn voorgangers.