La ciudad se caracteriza por sus murallas cuadradas, de ladrillos rojos, que han llegado a ser su símbolo. Las murallas son altas 17 metros y cada lado es largo unos 230 metros. Las torres en los ángulos de las murallas y las dos centrales de entrada se han conservado muy bien y subrayan la función de defensa de la ciudad. El área central, con las murallas, está rodeada por un fosado que subraya otra vez la antigua función de defensa. Esto hace de Castelfranco uno de los burgos más encantadores del Véneto.