E' costituita la Società protettrice dei fanciulli abbandonati e maltrattati, per volere soprattutto di Gaetano Tacconi (1829-1916), che ne sarà presidente fino alla morte, e del medico-educatore Giuseppe Veratti, impegnato dal 1867 nelle carceri e nel riformatorio cittadino.

Come il Ricreatorio festivo, la Società rientra tra le istituzioni laiche e di impronta massonica nate per contrastare la presenza di ospizi gestiti da religiosi e opere pie.

Ha il compito di aiutare ragazzi di entrambe i sessi nella frequenza scolastica e nell'avviamento al lavoro. Si propone di vigilare per impedire maltrattamenti nei loro confronti. Dopo un primo periodo di accoglienza, i trovatelli vengono sistemati presso famiglie disponibili.

La prima sede della Casa di Rifugio è in via San Vitale n. 30, poi in via Benedetto XIV n. 3. Nel 1907 sarà costruita una nuova sede fuori Porta Lame con il contributo di privati e della Cassa di Risparmio.

L'istituzione funzionerà fino alla seconda guerra mondiale, quando la Casa di Rifugio, situata nei pressi della stazione ferroviaria, verrà ridotta in macerie dai bombardamenti.