O conxunto monumental do Castro conserva as ruínas do castelo co seu torreón e complétase coa Casa Grande ou Casa Carballo, próxima á fortaleza medieval e o Pazo de Flórez ou Pazo  do Castro, na mesma entrada da vila.

A Vila do Castro, está situada nun promontorio de 400 metros de altura sendo un enclave estratéxico desde a antigüidade como lugar de vixilancia desde o que podía verse o tránsito de xente e mercadorías que circulaban polas vías de comunicación que pasaban pola comarca. Valdeorras, lugar de paso para a meseta e entrada a Galicia desde León, estaba cruzada pola famosa vía romana denominada Vía Nova ou vía XVIII que unía a cidade portuguesa de Braga con Astorga e que era vital para recoller ao seu paso o ouro da nosa comarca e do Bierzo, para levalo ata Roma.

Pero a  vila do Castro, a poboación máis importante do territorio na época medieval e sede administrativa durante varios séculos, xa era considerada estratéxica polos antigos poboadores e nela atopáronse restos dun asentamento castrexo que data de fai uns 2.500 anos e que quizá sexa o xerme da Vila do Barco. As escavacións arqueolóxicas que se fixeron na contorna da torre, puxeron ao descuberto estas orixes bimilenarios do Castro: un grupo de cabanas que se superpoñen no tempo, aparecendo bases das primeiras chozas prerromanas de palla e barro e posteriores construcións de pedra circulares e rectangulares, que responden ás dúas fases de ocupación romana, (século I-II D.  C. e III-IV D.  C), sendo excedidas posteriormente por construcións medievais e polo propio castelo. Na rehabilitación que realizou o concello do Barco creouse unha praza xunto á torre onde se representa a pegada arqueolóxica do castro romano.

Un dos elementos máis destacados é a torre e Fortaleza do Castro, que xa contaba coa protección xenérica dos castelos españois do ano 1949 e que foi declarada Ben de Interese Cultural (B.I.C.) o 17/11/1994 coa categoría de Monumento. É ese mesmo ano foi doada ao Concello do Barco de Valdeorras. O conxunto pode visitarse sen necesidade de guía, dado que conta cunha serie de paneis explicativos, que informan das características do monumento.

Trátase dunha construción medieval do século XIV que sufriu destrucións e reconstrucións parciais, posiblemente derivadas das revoltas irmandiñas, pasando a finais do século XV a ser propiedade dos condes de Rivadavia. Sufriu novas reformas no século XVIII para o seu uso como cárcere e tras a supresión dos señoríos no século XIX, quedou desatendida, chegando a un estado de abandono e ruína.

No ano 2010, o Concello do Barco iniciou a rehabilitación do monumento consolidando a torre medieval e mantendo o seu carácter romántico de ruína. O edificio completouse cunha escaleira metálica de deseño actual, alternada con diferentes terrazas, que permiten tanto a contemplación da torre como, na súa parte máis alta, acceder ao miradoiro da torre que nos ofrece unhas impresionantes vistas da contorna.

Xunto á igrexa parroquial do Castro de Valdeorras poderemos ver unha gran casa  señorial de forma rectangular onde destaca a arcada do balcón da parte do val e os escudos de armas da fachada principal. O edificio esta realizado coa típica pedra vermella da comarca.

Trátase doutra gran edificación situada nas proximidades da torre cuxo orixe se remonta ao ano 1630 fundada por Pedro Losada e Quiroga segundo podemos ver nunha inscrición que hai na capela do propio pazo.

Máis tarde pasou a mans dos Flórez, e permaneceu nas súas mans ata a nosa época testemuñado polos escudos de armas que aparecen na fachada principal do edificio, onde aparecen as cinco flores de lis, en ouro, en campo de azur, propias dos Flórez Losada.

Os últimos moradores foron os Marqueses de  Esteva das Delicias, título con Grandeza de España, que habitaron o pazo ata que se converteu no que é na actualidade, un Hotel Monumento de 4 estrelas no que se combinan á perfección o seu pasado rústico e o seu confortable presente. O monumento non ofrece visitas a externas ao uso dos seus servizos.