No século XIX, o Conselheiro José Antônio Saraiva do Ministério da Fazenda, solicitou construir-se um posto alfandegário para o controle das mercadorias a serem importadas e exportadas pelo porto do Rio de Janeiro, então Capital do Império. A posição daquela ilha era bastante cômoda para os inspetores da Alfândega, devido à proximidade dos pontos de fundeio, sendo que o translado de mercadorias poderia ser executado em embarcações miúdas, sem grandes dificuldades.

A decisão da construção, assim como a do seu estilo arquitetônico, foram do Imperador D. Pedro II, tendo em conta não conflitar com a paisagem da Serra do Mar. À época, o Imperador teria afirmado: "A ilha é um delicado estojo, digno de uma brilhante joia".

Optou-se assim por um pequeno "château" em estilo gótico-provençal, inspirado nas concepções do Arquiteto francês Violet-le-Duc, com projeto de autoria de Adolpho José Del Vecchioonde se destacavam as agulhas e as ameias medievais a adornar a silhueta da edificação.

O projeto de Del Vecchio foi contemplado com a Medalha de Ouro na exposição da Academia Imperial de Belas Artes, tendo apresentado a seguinte argumentação:

"A construção planejada, tendo de ser levantada isoladamente em uma ilha, projetando-se sobre um fundo formado pela caprichosa Serra dos Órgãos, encimada por vasto horizonte, e de frente para a entrada da baía, devia causar impressão agradável aos que penetrassem no porto, suficientemente elevada para que pudesse facilmente ser vista de qualquer ponto entre a mastreação dos navios, e prestar-se ao mesmo tempo à fiscalização do ancoradouro."

Del Vecchio preocupou-se ainda com a ornamentação paisagística, tendo declarado em reunião no Ministério da Fazenda:

"Arrematei, por pouco tempo, na Praça do Mercado, certa quantidade de cocos da Bahia, já com os brotos, e fí-los transportar para a ilha e plantar em torno; os coqueiros vieram dentro de breve prazo e não tardaram a dar frutos."

Após a decisão do imperador na escolha do projeto para acolher a aduana, os recursos necessários destinados a execução foram liberados em partes e, em 16 de novembro de 1881, foi assente a primeira pedra dando início à sua construção. Após uma série de aterros de modo a aumentar a área de 4 400 m² para 7 000 m², e aplainar as elevações existentes ao preço de 40:5$500 (quarenta contos, cinco mil e quinhentos réis), foi iniciado o castelo.

Bibliografia:www.wikipedia.com.br