Flemingien aika Kytäjän kartanolla kesti noin 70 vuotta ja heidän jälkeensä kartano siirtyi kapteeni Wulcronan haltuun. Wulcronan kuoltua hänen leskensä Sofia Barck meni uudelleen naimisiin kapteeni ja ritari Carl Armfeltin kanssa. Heille syntyi kaksi poikaa Carl ja Cristoffer, jotka perimysjärjestyksessä isännöivät taloa.
Kytäjän kartanon kulta-aika alkoi 1800-luvulla Linderin suvun omistuksessa. Vuosisadan lopulla kartano oli Pohjoismaiden suurin yksityinen tila, jolla oli mm. oma raha, meijeri, kauppa, koulu, sähkölaitos ja viinatehdas. Linderin perheeseen syntyi kaksi tytärtä ja poika Hjalmar, josta tuli kartanon isäntä isänsä Konstantinin jälkeen. Hjalmar oli naimisissa Sophie Mannerheimin kanssa, joka oli marsalkka Mannerheimin sisko.
Hjalmar Linder oli edistyksellinen isäntä, joka otti kartanossa käyttöön 8-tuntisen työpäivän ja ilmaiset lääkkeet. Lisäksi hän rakennutti hyvät asunnot työläisilleen. Kartanon saha toimi kolmessa vuorossa ja rautatie rakennettiin hänen isänsä suunnitelmien mukaan Hyvinkäältä Karkkilaan lähinnä puun ja raudan kuljetukseen. Hjalmar osti myös ensimmäisen auton Suomeen vuonna 1903. Hjalmarin maaomaisuus oli suurimmillaan 50 000 hehtaaria, mikä tarkoitti sitä, että hän saattoi matkustaa Kytäjän kartanolta omistamaansa Mustionlinnaan poikkeamatta toisten mailla.
Linderien jälkeen Kytäjää hallitsi Vähäkallioiden suku itsenäisyyden vuosilta aina 70-luvulle saakka. Vähäkallion aikana kartanon maaomaisuus oli hieman yli 10 000 hehtaaria, lypsylehmiä oli 600 ja yhteensä karjaa oli noin 1000 päätä. Kytäjälle arkkitehti Väinö Vähäkallio suunnitteli Kytäjän kirkon ja kylän kaksi kerrostaloa. Rouva Astrid Vähäkallio oli erittäin pidetty emäntä. Hän perusti sotien aikaan toipilaskodin kartanon arkihuoneeseen. Kartanoon kokoontui tuohon aikaan maan kerma niin metsästysretkille kuin nauttimaan kauniista luonnosta ja rauhasta.
Tällä hetkellä Kytäjän kartano alueineen on Yrjö Laakkosen perheen omistuksessa. Tilalla on yksi Etelä-Suomen suurimmista sikaloista ja viljeltyä peltoa on noin 400 hehtaaria. Maa- ja metsätalouden lisäksi tilalla harjoitetaan kiinteistöjen vuokraustoimintaa.
Tulevaisuudessa Kytäjän kartano tullaan restauroimaan entiseen loistoonsa niin, että se voi toimia alueen elinvoimaisena keskuksena ja palvella ihmisiä laadukkaana hotelli- ja juhlatilana.