Kaposszerdahely Kaposvár szomszédságában, attól délnyugatra helyezkedik el a Zselic dombjai között, a Berki-patak völgyében. A falu régebbi házai a Szenna felé vezető út mellett és annak közelében állnak, két újabb lakóövezetet a dombokon hoztak létre. 

Kaposszerdahely története 1230-ig nyúlik vissza, amikor is a Monoszló nemzetség fejnek, Makariás ispánnak fia, Tamás vásártartási jogot kapott a szerdai napokra Ropoly vára alatt. 1245-ben az emiatt már Szerdahelynek nevezett falut a Dersfiek vásárolták meg, 1332-ben pedig már temploma és plébániája is volt. Ekkor az oklevelek Tókajjal együtt említették. 1335-ben építtette Dersfi Miklós Szent László tiszteletére a pálos monostort. 1555-ben, amikor a törökök elfoglalták a kaposvári várat, a szerdahelyi monostor szerzetesei elköltöztek, a lakosság a környező erdőkbe menekült a falu feldúlása elől. 1726-ban, amikor sor került a birtokviszonyok hivatalos rendezésére, Szerdahely (a Dersfi család kihalása miatt) a Lengyel és a Prilej családok kezére került. 1802-ben az elpusztult templom helyére kápolnát építettek. 1895-ben, amikor bevezették az anyakönyvek állami vezetését, Szerdahely a szennai anyakönyvi kerülethez került. 1904-ben iskolát építettek, 1909-ben pedig a belügyminiszter a Kaposszerdahely nevet adományozta a településnek (igaz, ez csak 1929-ben lett végleges).
1950. május 27-én pedig hozzácsatolták a településhez Tókajpusztát és Kisszennát is. 1951-ben nyilvánították önálló tanácsú községgé, önálló anyakönyvi kerülettel.

Jelenleg álló temploma 1935-ben épült fel neoromanikus stílusban. 1984-ben készült el a templom belső festése, majd a liturgikus tér kialakítása. A padok alatti részt parkettázták, a villanyhálózatot korszerűsítették, a főoltárt és a kegyképet restaurálták, az orgonát javították. 1993-94-ben a templomtető javítása és a templom padozatának márványozását végezték el, 2000-ben bevezették a gázt. A templom titulusa Szűz Mária Szent Neve (szept. 12.).