​​

Le Moulin fortifié remontant au XIIe siècle aurait été érigé à l'origine à la requête du Seigneur de Poyaller, qui résidait dans son château situé dans la commune voisine de Saint-Aubin.

Une ancienne légende locale narre la naissance du château, de la tour de Poyaller et du moulin, une symphonie coordonnée par les fées, figures mythiques qui habitent l'imaginaire de la région.

​

Texte original en vieux français : ​

" Il y a bien longtemps de cela : c’était après l’an mille. A Poyaler, près de Mugron en Chalosse, habitait un seigneur nommé de Bénac. La tour du château avait été bâtie par les fées la même nuit que le moulin de la Gouaugue. Au clair de lune, les fées se passaient en l’air et d’un tour de main, du moulin au château et du château au moulin, pelles, truelles, auges et marteaux. Dès le point du jour, les rayons du soleil rencontraient la tour, et le moulin faisait : clic-clac, clic-clac, clic-clac, aussi bien que n’importe quel moulin bâti de main d’homme." ​​