Polhov Gradec, naselje z bogato kulturno zgodovino, leži v osrčju Polhograjskega hribovja, kjer se rečici Božna in Mala voda zlijeta v reko Gradaščico. Ime je najverjetneje dobil po staroslovenskem gradišču, legenda pa govori o utrujenem popotniku, ki so mu tukaj nekoč polhi pojedli sedlo in jermenje. Popotnik se je v jezi pridušal, da to ni noben Gradec, temveč Polhov Gradec.
Naseljevanje na tem območju sega že v prazgodovinski čas, ko so prvi naseljenci iskali zatočišče na Polhograjski gori, v Polhovem Gradcu pa so bile odkrite pomembne arheološke najdbe iz pozne antike. Na današnjem Starem gradu ali Kalvariji, vzpetini nad vaškim jedrom, je stal srednjeveški grad, ki mu je gospodovala gospoda Polhograjska. Porušen je bil v potresu leta 1511 in opuščen po velikem kmečkem uporu leta 1515, ko so se graščaki preselili v spodnji dvor na mesto današnje graščine. Staro vaško jedro, ki je delno še ohranjeno, se je oblikovalo pod Starim gradom in ob veliki baročni župnijski cerkvi Marijinega rojstva iz 18. stoletja.