C’est grâce au curé Fleury que le centre paroissial de Saint-Jean-Port-Joli est construit vers le milieu du 20e siècle. Ce centre offrait plusieurs services. Des allées de quilles, des films et des salles pouvaient notamment être loués. Des tables de billard et de ping-pong étaient aussi disponibles. Différents groupes y venaient dont le Cercle de Fermières ainsi que des jeunes pour se réunir.
Aujourd'hui, le bâtiment est occupé par les bureaux municipaux, la bibliothèque et le centre socioculturel Gérard-Ouellet.