Polhograjska graščina, nekdaj last baronov, je po uničenjih v fevdalnih vojnah, turških vpadih in potresu v 16. in 17. stoletju doživela renesančno prenovo z Neptunovim vodnjakom in Angleškim stolpom. V 19. stoletju je grof Blagay odkril redko cvetlico Daphne Blagayana ter v spomin postavil obelisk. Danes je graščina ohranjena, v njej potekajo prireditve in poroke, delujeta muzej telekomunikacij in krajevni muzej, v parku pa stojita stoletna lipa ter znameniti vodnjak. 

Polhograjski Neptunov vodnjak z letnico 1696 je nastal nekaj desetletij za ljubljanskim. Štirje stebri z nimfami in osrednji, nekoliko višji s kipom neptuna so okrašeni s podobnimi ornamenti, kot so na zlatih oltarjih v polhograjskih cerkvah. Novost je obdelava golega telesa, ki je še v renesansi redka.

Blagajev spomenik stoji ob poti na Polhograjsko goro. Spomenik je narejen iz svetlo sivega kamna. Spodnji del spomenika je širok štirioglat del, ki se proti vrhu zožuje. Na njem sta dve spominski plošči. Plošča na spodnjem delu spomenika je pravokotne oblike z posebnim napisom.

Zelo pomemben del Polhovega Gradca je staro vaško jedro, kjer se nahaja večina hiš v katerih so še vedno ohranjeni deli preteklosti. Ob ulici, ki se po domače imenuje Usrana gasa, so hiše dobile imena, ki razkrivajo poklice obrtnikov kot so hiša pri Peku, pri Kapčarju in druge. Hiša pri Peku izvira iz leta 1838 in ima ohranjen kamnit portal.