Lille Restrup Hovedgaard er en gammel adelig sædegård, hvis historie kan føres tilbage til 1459, hvor gården nævnes for første gang, da væbner Niels Pedersen Skadeland får skøde på gården. Omkring 1510 erhverver landsdommer Niels Clemmensen Lille Restrup Hovedgaard, men efter tvistigheder med kronen, beslaglægger Kong Christian den Anden gården i 1518, og inddrager den som krongods. Christian den Anden besidder dog kun Lille Restrup Hovedgaard i kort tid, og allerede i 1520 gives gården i gave til Niels Clemmensens enke. Dennes datter og hendes mand Christian Harbou overtager senere gården, og en ligsten over en af deres efterkommere, og senere ejere af Lille Restrup Hovedgaard, Niels Harbou og hans hustru Berete Munck, findes bevaret og indsat i koret i den 1000 år gamle Hvam Kirke.

En anden af Lille Restrup Hovedgaards navnkundige ejere var Mogens Kaas (Sparre Kaas), som var rigsråd under Kong Christian den Fjerde.

I midten af 1700-tallet kommer Lille Restrup Hovedgaard for første gang på borgerlige hænder, da den opkøbes af herredsfoged Chresten Sørensen Testrup, en dygtig ejer, der over en kortere periode genopbygger avlsbygningerne og lader hovedbygningen omringes af smukke stendiger, hvoraf flere står endnu.

Testrup-slagten planter omkring år 1750 Lindealléen, som vi i dag bruger til udendørs vielser. Dengang var alléen den finde indkørsel til Lille Restrup Hovedgaard. Porten vi i dag benytter som hovedindgang, var forbeholdt de arbejdende på gården.

Testrup slægten besidder gården i ca. 90 år, og efter denne periode følger skiftende ejere til Lille Restrup Hovedgaard.

I 1866 købes Lille Restrup Hovedgaard af J. H. A. Kjeldsen, der efter en brand, nyopførte hovedbygningen af klævede kampesten. Hovedbygningen er den eneste i Danmark af sin art og størrelse med kampesten fra fundament til tag. Den er opført med inspiration fra gammel engelsk landstil, som også tydeligt ses i parken, hvor stendigerne indrammer området.

I 1948 sælger J. H. A. Kjeldsens efterkommere Lille Restrup Hovedgaard til forlagsdirektør E. Winther, hvis søn K. A. Winther senere overtager hovedgården. Familien Winther ejer stadig Lille Restrup Hovedgaard i dag, og på nuværende tidspunkt bor 3. og 4. generation af Winther-familien i hovedbygningen. Det var først i 1988, at Lille Restrup Hovedgaard overgik fra at være et landbrug til at drive moderne turisme. I dag fungerer Lille Restrup Hovedgaard som en smuk ramme for events og fester, hvor mange fejrer deres højtidsdage og brudepar fejrer deres kærlighed.