Mais les bienséances ne surent empêcher le conflit qui opposa étudiants et prêtres du Collège des Lombards en raison des différences de revenus. En 1769, le préfet du Collège des Lombards, Laurence Kelly, avait acquis un hôtel particulier et du terrain, rue du Cheval Vert (l’actuelle rue des Irlandais). Après une importante rénovation et un agrandissement, ce bâtiment fut dès 1775 prêt à accueillir, sous le nom de Collège des Irlandais, des étudiants destinés à la fois à l’église et à d’autres disciplines ; les prêtres irlandais devaient quant à eux rester au Collège des Lombards. Cependant, le plaisir d’habiter rue du Cheval Vert fut de courte durée.
La Révolution Française de 1789 affecta profondément le destin des deux communautés collégiales irlandaises à Paris. Dès 1793, le Collège des Lombards et le Collège des Irlandais avaient tous deux été confisqués. Le second fut récupéré en 1795, mais les Irlandais n’occupèrent jamais plus le premier. La collection d’origine de la bibliothèque du Collège des Irlandais fut entièrement perdue au cours de la Révolution. L’ancienne Brigade Irlandaise fut dispersée dès 1789. En 1795, Maynooth College fut fondé en tant que séminaire contre-révolutionnaire en réponse à la suppression du Collège des Irlandais à Paris. Dès le début du 19eme siècle, d'autres séminaires diocésains furent créés dans toute l’Irlande. La France avait perdu son statut de destination privilégiée.
En 1805, Napoléon Bonaparte publia un décret consulaire impliquant la fusion au sein du seul Collège des Irlandais des fondations et collèges irlandais, anglais et écossais de Paris. Les livres précieux, les manuscrits et les peintures de ces séminaires démantelés furent rassemblés au Collège des Irlandais. En 1807, le supérieur du Collège, Jean-Baptiste Walsh, persuada Napoléon de renommer la rue du Cheval Vert par décret préfectoral : elle devint alors « rue des Irlandais ».
Pendant une grande partie des 19eme et 20eme siècles, le Collège reprit son activité de séminaire pour étudiants irlandais, puis polonais dans ses dernières années. Il survécut à la Guerre franco-prussienne - durant laquelle il fut utilisé comme hôpital pour accueillir 300 soldats français - et aux deux guerres mondiales. En 1945, il servit de refuge à l’armée américaine pour les personnes déplacées qui demandaient la nationalité américaine. Puis le séminaire polonais s’installa dans le Collège de 1945 à 1997.