Le collège Saint François-Xavier fut fondé par les pères Jésuites en 1850 grâce à la loi Falloux qui permet la liberté de l’enseignement. Ce n’était pas le premier collège vannetais. Entre 1628 et 1762 les Jésuites avaient dirigé le collège Saint Yves qui avait déjà connu une grande prospérité. Il en subsiste la chapelle qui jouxte le collège Jules Simon. Le 15 octobre 1850 Le Père Pillon ouvrit l’établissement dans l’ancien couvent des Ursulines propriété des jésuites, depuis 1838. Le collège accueillait près de 250 élèves, tous externes, souvent d’origines modestes. Très vite le besoin d’un internat se fit sentir et l’on agrandit alors les anciens bâtiments conventuels. Commencés en 1852, les travaux furent conduits par l’architecte vannetais Charier et achevés en 1854. Le collège comptait alors 400 élèves, dont 272 internes. Une pension et une scolarité plus onéreuses furent alors demandées aux familles pour assurer l’équilibre financier de l’institution. Cette même année 1854, fut achetée la lande de Penboc’h sur la commune d’Arradon. Ce terrain aménagé et bâti au fil des années, situé sur les bords du golfe du Morbihan, était le but de nombreuses promenades, un lieu de retraites ou de repos pour les élèves et les Pères. Détaché de l’établissement depuis 1971 Penboc’h est aujourd’hui un des centres spirituels de la Compagnie de Jésus. On retrouvait à Saint François-Xavier toutes les caractéristiques de la pédagogie jésuite: une forte culture humaniste, une solide instruction religieuse, la pratique des exercices rhétoriques, physiques et spirituels, I’éveil aux disciplines artistiques en particulier par la musique et le théâtre, le soutien à la dévotion et la spiritualité dans l’action par les congrégations mariales...