В общей сложности он строился более полувека. А в 1940 году его взорвали советские власти.
В апреле 1797 года в Орле состоялась закладка Петропавловского кафедрального собора (на месте современной библиотеки имени Ивана Бунина).
Сооружение храма велось под наблюдением губернского архитектора Кливера. К 1818 году здание возвели «вчерне» (без трапезной и колокольни). Из-за недостатка финансирования строительство затянулось на долгие годы. В конце ноября 1841 года (через 56 лет с начала строительства) была завершена внутренняя отделка и установлен иконостас.
В связи с появлением в стенах трещин, с марта 1853 года до августа 1861 года богослужения в храме не проводились. Здание утеплили и укрепили стены. В кафедральном соборе находилось много ценных вещей из домовой церкви графа Каменского. Кроме того, в нем хранились 14 знамен ратницких дружин губернии (Орловской, Севской, Кромской, Елецкой, Ливенской и Малоархангельской), подаренных в 1856 году по возвращении их из Крыма. Храм неоднократно посещали августейшие особы.
Здание собора не сохранилось; его взорвали в 1940 году. На месте храма в 1958 году возведено здание Орловской областной библиотеки имени Н. К. Крупской (ныне – Орловская областная библиотека имени И. А. Бунина). Здание библиотеки по праву считается одним из самых ярких образцов сталинского ампира в Орле. Правда, в данный момент оно являет собой крайне печальное зрелище – здание разрушается и ветшает прямо на глазах.
Одно время в Орле ходили упорные слухи о том, что здание библиотеки власти намерены отдать церкви (как бы памятуя о Петропавловском соборе). Но экспертиза показала, что здание библиотеки является абсолютно новым строением и ничего от бывшего храма в нем нет. Вопрос о передаче библиотеки епархии сняли (пока во всяком случае), но время, потраченное на эти процессы, сказалось на здании плохо. Власти региона многократно обещали начать восстанавливать здание библиотеки, однако на сегодняшний день никаких позитивных подвижек в этом направлении нет. Красивейшее здание Орла, одно из его достопримечательностей, находящееся в самом центре города, продолжает разрушаться.