Die Vergangenheit von Il Romitello steht in engem Zusammenhang mit der Geschichte Roms. An der Stelle des heutigen Gästehauses und Parks befanden sich ursprünglich mehrere Gartengrundstücke mit Villen und Landhäusern, darunter „Il Romitello”, Villa „Sacro Cuore” und „Villa Marcella”. Letztere befand sich in einem sehr schlechten baulichen Zustand und wurde in den 60er Jahren abgerissen. An ihrer Stelle entstand ein neues, allen Anforderungen der sich in jenen Jahren schnell ausdehnenden Metropole Rom entsprechendes Gebäude, das heute das Gästehaus beherbergt.
Im Zweiten Weltkrieg wurde Il Romitello von einer deutschen Familie bewohnt. Sie ließ sich aus Sicherheitsgründen zwei unterirdische Gänge bauen. Einer davon führt von Il Romitello, der andere von der Villa „Sacro Cuore“ zu einem Brunnen im Herzen des Grundstücks. Beide Tunnel sind heute noch begehbar.
In den 50er Jahren beschlossen die Schwestern von der Unbefleckten Empfängnis von Castres, das Grundstück zu erwerben, um dort die „Casa Generalizia“ des Ordens unterzubringen. Damit erfüllte sich der im Mai 1853 von der Ordensgründerin und dem Heiligen Stuhl geäußerte Wunsch in ihrem Bestreben, die Beziehungen mit dem Schwesternorden zu intensivieren. Ausgehend von Il Romitello erwarb die Kongregation dann über die Jahre hinweg das gesamte Anwesen.