A partir de 1803, cette opposition deviendra une guerre de résistance systématique aux différents régimes français qui allait se succéder sur le territoire belge. Organisant une véritable Eglise parallèle à l'Eglise Officielle, Monseigneur Corneille Stevens sera le Pasteur infatiguable de l'Eglise de ceux qui se considéraient comme de vrais croyants.
Cette Eglise (stevenniste) compta des communautés, non seulement dans le Namurois, mais également dans le Hainaut et dans le Braban Wallon où pourchassé par les autorités, Monseigneur Corneille Stevens trouvera refuge.
Drapeau de ralliement des Catholiques Stevennistes adopté en 1808. Il porte une croix blanche sur fond noir vêtu d'or où de la couleur orange
L'opposition des Stevennistes cessa cependant à la chute de l'Empire Français, lorsqu'en 1814 Monseigneur Stevens se ralliera à Monseigneur PISANI DE LA GAUDE, nouvel Evêque Catholique Romain de Namur. Malgré cette union, la Petite Eglise Apostolique continuera d'exister l'autorité de nouveau chef, l'abbé Gilles-François THEYS.
L'abbé Gilles-François THEYS, ancien curé de Jumet et chef de la Petite Eglise de Namur, successeur de Corneille Stevens en 1815
En vérité l'Eglise Stevenniste, sous l'impulsion de l'abbé THEYS, devait aller beaucoup plus loin que son fondateur dans options fondamentalistes. Elle déclara que le concordat avait cessé d'exister par suite de l'adjonction des articles organiques et que les Evêques, ligitimement institués avaient perdu leur juridiction par leur adhésion à ses derniers. Autrement dit, la reconciliation générale devenait progressivement impossible, malgré les ouvertures faites par le Saint-Siège Romain
Par la suite, forte de sa tradition, l'Eglise Stevenniste allait connaître une période d'accalmie qui lui permettra de d'établir et de se structurer sous la direction d'un Consistoire Général à la tête duquel allaient se succéder l'Abbé Gilles-François THEYS à partir de 1816 et l'Abbé Philippe WINNEPENNINCKX qui dirigera l'Eglise (Stevenniste) de 1820 à 1837, année qui verra la concrétisation des rapprochements avec l'Eglise Catholique Gallicane de Monseigneur CHATEL.
Ce dernier, répondant à la demande des Stévenniste Belges délégua, le 12 août 1837 Mgr Julien LEROUSSEAU comme Evêque des Stévennistes de Belgique.
Eveque et Président du Consistoire Stévenniste de Belgique Mgr Julien LEROUSSEAU ouvrira un lieu de culte officiel à Bruxelles en 1838 et s'intitulera le continuateur de l'oeuvre de Foi fondée 30 ans plus tôt par Mgr Corneille STEVENS.