Nacque e Brescia nel 1784, primo dei cinque figli di due nobili. Avrebbe voluto studiare in seminario ma l'invasione napoleonica l'aveva soppresso. Studiò privatamente e venne ordinato sacerdote nel 1807. Dapprima fu parroco, poi segretario del vescovo. Tornati gli austriaci, decise di concentrarsi sui giovani più poveri e diseredati. Nel 1818 divenne canonico della cattedrale bresciana. Si accorse che specialmente gli orfani erano costretti a trascurare la formazione religiosa perché dovevano mantenersi lavorando duramente. Creò un Collegio di Arti, dove i primi sette ragazzi vennero accolti gratuitamente. Qui si insegnava loro un mestiere ma si badava soprattutto alla loro crescita cristiana. Nel 1821 quel primo embrione divenne l'Istituto di San Barnaba che si dotò di una scuola tipografica, la prima in Italia. In due anni la tipografia diventò una casa editrice vera e propria, specializzata in libri di ispirazione cristiana. Durante il colera del 1836 un ispettore governativo trovò che i ragazzi avevano a disposizione non dormitori comuni ma confortevoli camerette. Il Pavoni fondò anche una colonia agricola a Saiano con scuola di formazione annessa. Nel 1841 il suo istituto si aperse anche ai sordomuti. Le sue benemerenze arrivarono all'orecchio dell'imperatore, che gli concesse una prestigiosa onorificenza.
Il Pavoni, per dotare le sue opere di personale motivato, fondò la congregazione dei Figli di Maria Immacolata, i cui religiosi sono oggi noti come Pavoniani. Durante le famose Dieci Giornate di Brescia mise in salvo i suoi ragazzi a Saiano. Qui morì nel 1849.- dal lunedì al venerdì dalle ore 10:00 alle ore 20:00
- sabato, domenica e festivi dalle ore 10:00 alle ore 18:00.