De hoeve bestond zeker in 1730. De eigenaar was toen Jacobus Bruyer, 46 jaren pastoor in Dadizele. Ze ging van eigenaar tot eigenaar tot in 1779 Jacobus Holvoet (1722-1804), schepen van de roede van Menen (1752-1794), griffier van Dadizele en Moorslede (1756-1794), burgemeester van Dadizele (1752-1794) en baljuw van Moorslede (1758-1766) de hoeve kocht, die tot in 1987 eigendom van deze familie zou blijven. Het aanpalende jachthuis - het kasteelke genoemd - werd door Benoot Jozef Holvoet (Dadizele 1763-1838) gebouwd. Benoot woonde in Dadizele tot aan zijn huwelijk in 1797. De familie Holvoet kwam veelvuldig vanuit Brugge naar Dadizele om te jagen. In de voorgevel was een steen met het opschrift "Lamoral Holvoet te Brugge 1849" ingemetseld, naar de zoon van Benoot die er eigenaar van was tussen 1848 tot 1889.
Achter het kasteelke stonden nog enkele bijgebouwen, waaronder het bakhuis. Voor de hoeve stonden ooit paardenstallen waarvan de fundamenten werden teruggevonden bij verbouwingen in 1960 door de toenmalige bewoner Gerard Pattou.
Tijdens WOI werd de hoeve zwaar beschadigd, maar heropgebouwd op dezelfde plaats en in de oorspronkelijke staat. De hoeve was in Dadizele bekend als Pattou's hof dat samen met het jachthuis te bereiken was via “Pattous wegelke” vanuit de Millesteenstraat. Het was rond 1860 dat de hofstede voor het eerst bewoond was door een Pattou, namelijk Philippus Jacobus (1825-1868). Hij huwde in 1860 met de weduwe van pachter Breyne en kwam zo op de hoeve. Hun zoon Adolf Pattou woonde vanaf 1890 na zijn huwelijk met Mathilde Dewachtere op de hoeve terwijl zijn broer Henri en haar broer Louis in het kasteelke woonden.
Zoon Petrus Pattou (°1901+1986) volgde zijn vader op als pachter van 1933 tot 1964. Nadien nam hij met zijn echtgenote Madeleine Vansteenkiste zijn intrek in het kasteelke. Zoon Gerard Pattou was de laatste landbouwer actief op de hoeve. Op 1 maart 1964 nam hij met zijn vrouw Joanna Eggermont de uitbating over. Drie jaar later kregen zij van eigenaar Serge Holvoet te horen dat ze onteigend zouden worden voor sociale woningbouw, industrie en wegenaanleg. Geleidelijk werd ook de rest van de grond voor privébouw verkocht.
In december 1986 werden de hoevegebouwen en 't kasteelke afgebroken. De Baron Holvoetlaan herinnert aan de familie Holvoet die een grote rol speelde in de geschiedenis van Dadizele.