El Palacio de los Verdugo se fecha en el año 1531 y se caracteriza por su austeridad. Don Suero del Águila fue la persona que mandó construirlo y responde al auge de la ciudad en el siglo XVI por el empuje religioso y la industria textil.
Su fachada es de estilo plateresco y carácter defensivo. A sus extremos, dos torres semigóticas y en la puerta, se encuentra el escudo nobiliario del apellido Verdugo, un león rampante.
Desde el 2008 hasta la actualidad, este palacio ha sufrido numerosas restauraciones y funciona como sede de la Secretaría General del Grupo de Ciudades Patrimonio de la Humanidad de España. Además, fue declarado Monumento Nacional en 1976.