El Palacio de los Dávila también conocido como Casa Dávila está situado junto a la puerta de acceso del Rastro y fue construido en el siglo XIII. Este apellido corresponde con unos de los linajes nobiliarios más importantes de Ávila cuyo origen surge en la Corona de Castilla.
El Palacio de los Dávila está construido en el mismo material que la muralla y finalizará en el siglo XVI. Se caracteriza por su carácter defensivo resaltado por detalles en la fachada.
Sus puertas son de arco de medio punto de gran dovelaje y que resaltan por sus relieves. También, destaca el mirador que da a la puerta de acceso del Rastro del siglo XVI.
Como anécdota, Pedro Dávila mandó construir una ventana donde podía leerse “donde se cierra una puerta, otra se abre” debido a la prohibición de cerrar las puertas de la muralla de noche y tras el cierre de una puerta creada sin autorización.