Segundo Borges de Barros (1981), o coronel Misael Tavares mandou construir, a partir do ano de 1914, o prédio que abrigaria, daí em diante, a sua família. Este prédio, denominado Palacete Misael Tavares, está situado na antiga rua Conselheiro Saraiva, hoje Antonio Lavigne de Lemos.
O coronel Manoel Misael da Silva Tavares nasceu em Olivença, no dia 16 de dezembro de 1867 e faleceu no Rio de Janeiro em 9 de fevereiro de 1938. Dizem que nasceu pobre e foi tropeiro (tocava as mulas que levavam o cacau para o cocho). A partir do final do século dezenove já emprestava dinheiro e seu nome consta, na Associação Comercial do Estado, como proprietário de loja comercial. Possuiu inúmeras fazendas de cacau e chegou a produzir mais de cem mil arrobas do produto (cada arroba tem 15 quilos). Foi um dos homens mais ricos do sul da Bahia. Mais que um coronel do cacau, do que o “Rei do Cacau”, foi um grande empreendedor, um homem que deixou inúmeras obras na cidade, ainda hoje imponentes.
Dizem que o coronel, em termos de escolaridade, só tinha o curso fundamental, mas isso não chegava a ser um fato incomum, poucas pessoas tinham oportunidade de freqüentar uma escola. Isso, no entanto, não os impedia de saber ler e escrever, pois eram autodidatas. Quando Ilhéus ainda não possuía banco, o coronel Misael fundou uma casa bancária, emprestando dinheiro a juros.
O Palacete Misael Tavares foi inaugurado no dia 16 de dezembro de 1922, dia do aniversário do seu proprietário. Foi oferecido um grande almoço e tinha uma orquestra para abrilhantar a festa. Após o falecimento do coronel Misael Tavares, com a partilha dos bens, o Palacete passou a pertencer às famílias Berbert Tavares e Silveira Dórea. Os novos donos resolveram colocar o prédio à venda. Em 1960 o prefeito Herval Soledade mostrou-se interessado em adquiri-lo para a Prefeitura de Ilhéus, mas não foi possível realizar a transação. Foi então que os maçons da Loja Maçônica Regeneração Sul Baiano se reuniram sob o comando de Álvaro de Melo Vieira para comprá-lo. Formaram o “Condomínio Palacete Misael Tavares”, constituído de vinte maçons que conseguiram levantar a importância correspondente ao preço da aquisição do Palacete.
A rua onde este prédio está localizado, Antonio Lavigne de Lemos, tornou-se famosa porque seu calçamento é diferente dos demais. As pedras vieram da Europa como lastro de navio e tinham como destino o Mercado de São Sebastião, no Rio de Janeiro. Na saída da barra o navio encalhou e o prefeito municipal arrematou as pedras e mandou calçar aquela rua, transformando-a assim em um patrimônio histórico da cidade. Existem muitas versões sobre a origem do calçamento, mas o conceituado memorialista Raimundo Sá Barreto afirma que as pedras são inglesas e foram compradas pelo prefeito João Mangabeira, que governou de 1908 a 1911.