Le donjon de Gayette date de la fin du Moyen-âge. En 1698, il fut donné aux frère Saint-Jean de Dieu comme hospice pour accueillir les pauvres.
C’est aujourd’hui une maison de retraite médicalisée.