Okres rozpoczęcia budowy kaplicy na radzyńskim cmentarzu można ustalić na podstawie raportu Naczelnika powiatu radzyńskiego, który skierowany był do Rządu Gubernialnego Lubelskiego w październiku 1850 r. W piśmie pisano, iż Wielmożny Szlubowski „(…) Dziedzic Dóbr Radzynia stawia kaplicę Murowaną na cmentarzu grzebalnym parafialnym o wiorstę drogi od Miasta Radzynia na granicy Wsi Koziego Rynku do gminy Radzyń należących bez potwierdzonego przez Rząd planu i pozwolenia (…)”.

Sprawę niewątpliwie zbadano, budowy nie wstrzymano, stwierdzono jedynie, że według Dozoru Kościelnego brak jakichkolwiek przeszkód, aby kaplica ta powstała, z uwagi na deklarację, „(…) iż takową w dobrym stanie utrzymywać będzie [Dziedzic Radzynia] – do czasu więc przedstawienia wymaganych powyżej dowodów budowa kaplicy ma być utrzymywana”.

I tak, w Inwentarzu Kościoła Parafialnego z 1856 r. znajduje się opis „kościółka” już wystawionego.
Według dokumentu: „Kościółek […] murowany przez JW-ch Szlubowskich w r. 1853 wystawiony, struktury gotyckiej o 7-miu oknach wielkich gotyckich i Sygnaturze żelaznej w lewy bok tego kościoła wmurowanej. Na dole znajdują się groby familijne fundatorów tego Kościoła, […] W Kościele jest Ołtarz na czarno malowany z Cymborium na którym stoi krucyfiks żelazny z Panem Jezusem i sześć lichtarzy żelaznych wraz z Kanonami”.

Zapewne dzięki staraniom Stanisława Korwin-Szlubowskiego papież Pius IX (papieża w okresie 1846-1878) udzielił na dzień Św. Anny odpustu. Odpust przywiązany zarówno do dnia, jak i do miejsca –radzyńskiego cmentarza, od lat jest okazją do modlitwy za zmarłych i odwiedzenia ich grobów. Oryginalne nadanie odpustu na dzień Św. Anny wisiało oprawione w czarne ramki na ścianie kaplicy.

[Cytowane źródła pochodzą z Archiwum Państwowego w Radomiu]