...sustituyó a la antigua entrada que se había enfrentado a la mar. Un campanario, situada sobre la entrada principal, fue construido en 1684 - la campana original, el más antiguo de Sudáfrica, fue fundida en Amsterdam en 1697 por el Este y el frisón de campana fabricante Fremy Claude y pesa poco más de 300 kilogramos. Se usaba para anunciar el tiempo, así como los ciudadanos de advertencia en caso de peligro, ya que se podía oír a 10 km.
En el interior, la fortaleza albergaba una iglesia, una panadería, talleres diversos, viviendas, tiendas y células, entre otras instalaciones.
La pintura de color amarillo en las paredes se eligió debido a que disminuye el efecto del calor y del sol abrasador.
Durante la Segunda Guerra Boer (1899-1902), el castillo fue utilizado en parte como una prisión y las antiguas celdas permanecen hasta hoy.
En 1936 el castillo fue declarado monumento nacional.
El Castillo actuó como sede local del Ejército de Sudáfrica en el Cabo Occidental , pero hoy alberga el Museo Militar del Castillo y las instalaciones para el ceremonial tradicional de los regimientos del Cabo .