A quinta é toda cercada por muros, com uma área aproximada de 3 ha. Situada junto à Casa dos Condes de Santar e Magalhães, o acesso é feito por um largo com uma imponente fonte barroca, de 1789, conhecida como Fonte da Torre, toponímia alusiva à existência de uma antiga torre medieval senhorial. A configuração irregular da casa, de grande extensão e denotando sucessivas reformas, envolve o largo, colocando de um lado a casa principal e de outro as antigas cavalariças e casa dos Bois, adega e armazém. A casa foi mandada construir no séc. XVII por Domingos de Sampaio do Amaral por ocasião do casamento de sua filha D. Joana de Sampaio com João de Almeida Castelo Branco que viriam a ser os detentores da capitania-mor do concelho de Senhorim e os instituidores do morgado de Santar. Foi passando de geração em geração até que, em 1975, Pedro Brum da Silveira Pinto a doou ao representante da casa real portuguesa, D. Duarte Pio, e ao seu irmão, D. Miguel de Bragança, duque de Viseu.
O visitante, passando o portão ao fundo do largo da fonte, encontra um grande terreiro, que liga a uma enorme alameda com exemplares notáveis de carvalhos americanos, liquidâmbares, castanheiros da índia, cedros, freixos, falsos plátanos e oliveiras. Para o lado esquerdo do portão, o terreiro conduz ainda o visitante, à zona de jardins, hortas e pomares, desenvolvida lateralmente à casa principal, em terreno de suave declive, com arruamentos de buxo talhado, as chamadas carreiras, a ladear os campos destinados a hortas e pomar. O jardim desenvolve-se em patamares, com acessos por escadas nos muros, marcado por grande arruamento, coberto parcialmente por pérgula de roseiras, que passa junto a dois grandes tanques, cuja água desce por gravidade. Curiosamente, a horta mistura-se com o jardim, com exemplares notáveis de camélias e magnólia-de-flores-grandes no patamar superior, horta no intermédio e finalmente junto à casa corrida por grande varanda alpendrada, surge um jardim formal com lago central e canteiros de buxo, pontuado por inúmeras espécies, como teixos, lagerstroemia, camélias e muitas mais espécies que têm vindo a ser plantadas pelo Duque de Viseu. Junto às hortas, sempre com carreiras de buxo a delimitar as quadras, encontra-se um pomar de cerejas e um nogueiral.
Os campos da quinta a poente, atravessados pela alameda, são hoje uma imensa vinha plantada e projetada por Fernando Caruncho e Pedro Vasconcelos e Sousa no âmbito do projeto Santar-Vila-Jardim. No ponto mais alto, foi contruído um grande quiosque panorâmico de onde, no primeiro plano, se avista a nova vinha tendo a Casa das Fidalgas e a vila de Santar em segundo plano e, ao fundo, uma imensa planura beirã, aos pés da Serra da Estrela.
