Tra il 1951 e il 1953, su progetto di Alfredo Cosentino, viene ricostruita - e intitolata a San Carlo Borromeo - la chiesa in fondo a via del Porto.

Era stata distrutta dai bombardamenti alleati nel corso della seconda guerra mondiale, assieme al vicino seminario.

L'edificio moderno, "un parallelepipedo ricco di marmi", appare molto diverso dall'antico oratorio della Confraternita di S. Carlo e Ambrogio, eretto nel XVII secolo e in seguito più volte ampliato.