Dokładna data powstania opactwa nie jest pewna. Być może pierwsza fundacja klasztorna miała miejsce jeszcze przed najazdem Tatarskim w 1241 roku. Prawdopodobnie gdzieś w połowie XIII wieku książę Władysław opolski sprowadził do Rud cystersów z Jędrzejowa i nadał im siedem okolicznych wsi. Pewne jest, że 21 października 1258 roku na zamku w Raciborzu, książę Władysław wydał oficjalny dokument fundacyjny i nadał cystersom przywileje prawne i gospodarcze.

Dobrze zarządzane opactwo szybko się rozwijało, mnisi zajmowali się hodowlą zwierząt, uprawą roli, oraz rybołówstwem, a z czasem również pszczelarstwem i produkcją owczej wełny. Od XVI wieku rozwijano także przemysł, w 1586 roku zbudowano pierwszą hutę żelaza, a w 1712 roku pierwszą hutę szkła, która poza szkłem okiennym produkowała również lustra, karafki, a nawet eksportowane do Austrii szklane perełki.

Pierwszy kościół cystersi wybudowali zaraz po osiedleniu się w Rudach. Budowę tego, który widzimy obecnie, rozpoczęto około roku 1300, a w 1303 roku odbyła się konsekracja. W XVII i XVIII wieku kościół znacznie przebudowywano.

Aktywność cystersów nie kończyła się jednak na modlitwach i gospodarce. Prawdopodobnie już w XIV wieku istniała przy klasztorze szkoła, w XVIII wieku powstało gimnazjum z konwiktem i sala teatralna, a od 1765 roku przez 11 lat istniała przy klasztorze nawet wyższa uczelnia. Była również biblioteka, która pod koniec istnienia opactwa liczyła około 10–12 tysięcy książek.

Funkcjonowania klasztoru nie ułatwiała sytuacja polityczna. Już począwszy od wojen husyckich w XV wieku, częste najazdy, związane z tym zniszczenia, grabieże czy nakładane podatki, kontrybucje i inne dodatkowe zobowiązania niejednokrotnie doprowadzały klasztor na skraj bankructwa. W 1625 roku liczba członków konwentu spadła do pięciu! Mimo wszystko klasztor przetrwał i później doświadczał również jaśniejszych momentów w swojej historii. Kres jego istnieniu położył dopiero wiek XIX. W 1810 roku, w wyniku sekularyzacji majątków klasztornych na terytorium ówczesnego Królestwa Pruskiego, wszelkie dobra cysterskie przeszły na własność rządu. W ten sposób zakończyła się licząca sobie ponad pół tysiąca lat historia cystersów w Rudach. W chwili przejęcia klasztoru mieszkało w nim 32 mnichów, kilku z nich pozostało, by obsługiwać tutejszy kościół. Ostatni z rudzkich cystersów zmarł w 1856 roku.

W 1834 r. pocysterskie dobra trafiły w ręce Wiktora Hohenlohe-Waldenburg-Schilingfürst, który otrzymał od cesarza pruskiego, Wilhelma IV, tytuł księcia i prawo tytułowania się mianem von Ratibor. W ten sposób Rudy stały się siedzibą pierwszego księcia raciborskiego. Klasztor przebudowano na rezydencję magnacką i wytyczono park. Po przebudowie pałac w rudach miał 120 sal, gabinetów, pokoi gościnnych i innych. Pozostawał w rękach rodu aż do przybycia Armii Czerwonej.

Wojska sowieckie dość specyficznie pojmowały „wyzwalanie”. W styczniu 1945 roku podczas właśnie takiego „wyzwalania” pałac oraz kościół zostały splądrowane, poważnie zniszczone i spalone, bynajmniej nie w wyniku działań wojennych, a zwykłego prymitywnego wandalizmu. Zawalił się główny filar i część sklepień, a posiadłość, która przetrwała setki lat i kilka wojen, zamieniła się w ruinę w ciągu jednego dnia – 29.01.1945 roku.

Po wojnie odbudowano tylko kościół (zakończono w roku 1950), a resztę walących się zabudowań tylko zabezpieczono. W latach 70. rezydencję odgruzowano i uporządkowano, a restaurację dawnego pałacu rozpoczęto dopiero po przekazaniu posiadłości Diecezji gliwickiej w 1998 roku. Pierwszy etap rekonstrukcji zakończono w 2008 roku, czyli całkiem niedawno.

Pożar w 1945 roku doszczętnie zniszczył barokowy wystrój, a podczas odbudowy w miarę możliwości przywrócono świątyni pierwotny wczesnogotycki wygląd.

W kościele znajdziemy między innymi cudowny obraz Matki Bożej Pokornej, a także cenne relikwie: świętego Walentego, Krzyża Świętego oraz św. Donata.