Kaposgyarmat, előbbi nevén Gyarmat nevét 1296-ban említették először, ekkor a Győr nemzetségbeli I. Ders fia, Ders, vásárolta meg. Az 1346. évi nemzetségbeli osztozkodás alkalmával a Szerdahelyi Dersfi család ősei nyerték, majd 1375-ben a Szerdahelyi Dersfiakat iktatták a helység birtokába. Az 1660. évi dézsmaváltságjegyzék szerint Imrefy Farkasné volt a birtokosa. 1715-ben gróf Esterházy József birtoka volt és csak 3 háztartást találtak itt. 1726-ban pedig már a herczeg Esterházy-féle hitbizományhoz tartozott.

A falu első misézőhelye egy 1923-ban épült iskolakápolna volt. Ez a misézőhely megszűnt, amikor 2000-ben megáldották a község új templomát, amelyet a faluban álló harangláb mellé építettek. A Templom titulusa Árpádházi Szent Erzsébet, ünnepe november 19-én van.