Aparece mencionada documentalmente desde mediados del siglo IX y desde los años finales del medievo estuvo vinculada a la Casa del Marqués de Santillana, primero, y a la del Infantado, después Potes es conocida como la villa de los puentes (de ahí su nombre) y de las torres. De manera especial destacan la del Infantado (hoy sede de exposiciones) y la de Orejón de la Lama, ambas del siglo XV.
El conjunto de barrios de la parte antigua conserva un gran sabor popular y mucho encanto; sus callejuelas y caserones (la mayoría con blasones) ayudan al visitante a imaginar tiempos pasados repletos de historia.