В начале июля 1961 года в Орле был открыт Дворец пионеров и школьников имени Юрия Гагарина.
Он был выстроен в неоклассическом стиле. Здание находится на месте усадьбы Александринского института благородных девиц.
Изначально на первом этаже находился зрительный зал на 600 мест, буфет, химическая, автотранспортная, радиотехническая и физическая лаборатории. В подвальном этаже обустроили физкультурный зал, тир. На втором этаже – зал для игр и танцев, библиотека с читальным залом, кабинет сказок, комнаты литературного, драматического и хорового кружков, зимний сад. Музей, кабинеты туризма и краеведения разместили на третьем этаже.
Уникальной особенностью Дворца пионеров была «Комната сказок». Ее стены украсили иллюстрациями к сказкам А. Пушкина. Роспись выполнили всемирно признанные мастера Палеха Роман Белоусов и Борис Ермолаев. Во время ремонта здания роспись варварски повредили. Изначально ее хотели вообще уничтожить, но общественный резонанс не дал это сделать. По последним официальным сообщениям, комната сказок «законсервирована» в ожидании реставрации.
Ещё одной «жемчужиной» дворца был витраж, выполненный руками детей и педагогов. Сначала он был изготовлен из полимерных пленок в огромном арочном окне парадной лестницы. Позже рисунок перенесли на стекло витражными красками. При реконструкции его убрали, но потом в 2016 году власти сообщили, что витраж «переехал» в фойе актового зала.
По программе празднования 450-летия Орла (2016 год) во Дворце пионеров провели реконструкцию.