V obci sa nachádza národná kultúrna pamiatka, v ktorej sídlila poštová stanica. Neskôr tam začal fungovať zájazdný hostinec s prepriahacou stanicou. Dôležitú úlohu zohral hostinec na konci 18. storočia, keď hostil cisára Jozefa II. na jeho ceste z Banskej Bystrice do Banskej Štiavnice. Ojedinelou pamiatkou je župný kameň, ten pripomína bývalé administratívne členenie Zvolenskej a Hontianskej župy. Územím obce prechádzala trať Úzkorozchodnej banskej železnice, ktorou sa zabezpečovali dodávky materiálu pre banské a hutnícke podnikanie v Štiavnici, ale aj osobná doprava. Začiatkom 21. storočia sa začal realizovať jeden sen rímskokatolíckych veriacich v malej obci. V Kozelníku vyrástla zatiaľ jediná cirkevná budova, ktorá je od svojho vzniku označovaná za unikát. Kostol má podobu malej LODE so sťažňom v tvare dvojkríža a so stĺpom nesúcim sochu Panny Márie.