Ansvariga för byggnadens tillkomst var en kvinna och hennes tre äkta män.
Holländaren Justus Baak hade 1659 fått rättighet att bygga stångjärnhammare vid fallet i Hörle och kallade anläggningen för Hörle bruk. Järnet kom från Taberg.
Efter Justus Baaks död blev Heinrich van Lindt delägare för att 3 år senare, 1708, bli ensam ägare till både Hörle bruk och Tabergs bergslag. 70 år gammal, 1726, gifte han sig med Anna Margareta Lilliecreutz, hovrättsrådsdotter från Jönköping, och planerna på att bygga en ståndsmässig bostad i Hörle inleddes. 20 år senare var byggnaden klar.
Anna Margareta Lilliecreutz hade tre äkta män – Hindrich van Lindt ägare av Hörle Bruk och Tabergs bergslag var hennes förste man och den som köpte grunden för huset. Peter Brouwer, andre mannen, byggde huset och tredje mannen, Gabriel von Seth – statssekreterare och senare Riksråd och friherre, fullbordade herrgården 1746.
Efter en lång och intressant historia som finns väl beskriven i en mängd litteratur, flera skrivna av fil.dr Ingrid Böhn-Jullander, så är herrgården i familjen Böhns ägo sedan sent 1930-tal.
Exteriören är sen-karolinskklassicism och interiören rokoko.
Männen bakom herrgårdens arkitektur är samtidens skickligaste arkitekter, stadsarkitekt och stadsingenjör Bengt Wilhelm Carlberg från Göteborg och överintendent Carl Hårleman från Stockholm.
Herrgården är en putsad tegelbyggnad och avviker därmed från byggnadstraditionen i resten av länet, då man vanligen valde att använda trä som byggnadsmaterial.
Planen är klassisk med utskjutande sal i mitten och två fullständiga bostadssviter. Interiören berikas med en marmorerad sal, rum med skurna boaseringar och 19 enastående dörröverstycken, varav 17 är målade av den kände konstnären, hovmålare Johan Pasch från Stockholm.
Exteriören får sin särprägel genom kraftigt mittparti, pilastrar, praktfull fritrappa och den järnvitriolgula fasaden.
Byggnaden är 36 m lång och 18 meter bred där flyglarna sticker ut. Under hela huvudvåningen ligger en souterrainvåning, där de olika rummens tak har kryssvalv och transversalbågar. Byggnadens övervåning inrymmer sovrum och toalett. Hörle Herrgård blev byggnadsminnesförklarad 1992. Under 2010-20-talet har herrgården restaurerats och återfått sin mycket av sin originalinteriör. Byggnaden har även moderniserats under ytan och ett restaurangkök har installerats med stöd från Leader Linné Småland och har medfinansierats av Europeiska unionen.
