Kaposvár első kálváriája nem pontosan ezen a helyen épült fel, de közel a maihoz: a mostani Zrínyi Miklós és Bartók Béla utcák találkozásánál emelkedő dombon állt, kápolna nélkül. Pontos építési ideje nem ismert, valószínűleg a 18. század végéről származott. 1814-ben Tulok Ferenc, 1870-ben pedig Komesz György plébánosok újíttatták fel, azonban 1872-ben a domb egy részét vasútépítéshez elhordták. Emiatt a kálvária életveszélyessé vált, így 1891-ben le kellett bontani. 
A város, és főként Ujváry Ferenc plébános azonban úgy érezte, Kaposvár nem maradhat kálvária nélkül, így új építését határozták el. A várostól megkapták a mai Kálvária utca melletti területet, a plébános pedig adományokat kezdett gyűjteni. Sőt, mivel eladta a régi kálvária területét, a lövölde felesleges részét, mindemellett pedig az 1876-ban lebontott belvárosi Szent Anna-kápolna harangját is, elegendő pénz gyűlt össze ahhoz, hogy hamarosan neki lehessen látni az építkezésnek. A Szent Anna-kápolna más módon is „segítette” az új épület elkészültét: megmaradt tégláit felhasználták az építkezéshez. Bereczk Sándor, a város főmérnökének tervei alapján Gáspár Gyula kaposvári építőmester 1892 és 1893 között építette fel a kápolnát eklektikus stílusban. Felszentelésére 1893. június 29-én, Péter-Pál napján került sor, Auerbach Pál segesdi ferences házfőnök jóvoltából. Ezen az ünnepélyes napon a nép a főtéri templomtól vonult fel Ujváry apát vezetésével a kálváriához, ahol misét is mondtak. Azonban a misézés 1923-ig nem folytatódott, a kálvária fenntartására létrehozott pénzalap pedig a világháború utáni pénzromlás miatt értékét vesztette, sokáig elhanyagolt állapotban állt a kápolna. Az 1920-as évek közepén viszont megcsinálták a kerítést, a kápolnához kívül sekrestye, belül kórus épült. Kisebb-nagyobb felújítások következtek 1928-ban, 1930-ban és 1938-ban is (ekkor épült a téglalépcső), ez utóbbihoz a donneri Széchenyi Kör által rendezett színielőadások bevételét is felhasználták. Utoljára az 1980-as évek végén, az ezredfordulón, végül 2015-ben került sor felújításokra. 

A nagyrészt eklektikus stílusú kápolna egyhajós, mennyezete sík, a nyolcszög három oldalával zárt szentélye viszont boltozott. Homlokzatának timpanonszerűen kialakított oromfala a klasszicista stílusra emlékeztet. Efölött emelkedő tornya egy 60 kilós harangot rejt. A főpárkányt látszólag négy toszkán stílusú oszlop tartja, melyek így három részre osztják a homlokzatot. A két szélső részben egy-egy szoborfülke, a középsőben egy körablak helyezkedik el.