La ciudad se caracteriza por sus murallas cuadradas, de ladrillos rojos, que han llegado a ser su símbolo. Las murallas son altas 17 metros y cada lado es largo unos 230 metros. Las torres en los ángulos de las murallas y las dos centrales de entrada se han conservado muy bien y subrayan la función de defensa de la ciudad. El área central, con las murallas, está rodeada por un fosado que subraya otra vez la antigua función de defensa. Esto hace de Castelfranco uno de los burgos más encantadores del Véneto.
Debe su nombre a la zona franca que aquí había en el pasado: Cuando se terminó de construir el castillo, la alcaldía del lugar concedió un pequeño feudo (constituido de una casa y de un pedazo de tierra cultivable) a las familias que aceptaban de vivir al interior del castillo y tomar las armas y caballos para defender la ciudad en caso de ataque. Estas cien familias que poblaron la ciudad fueron exentadas del pago de los impuestos. De aquí llega el nombre de Castel-Franco.