A Casa dos Artistas, localizada na atual rua Jorge Amado, foi construída pelo coronel Domingos Adami de Sá, Intendente que construiu o Palácio Paranaguá, como residência para sua família. Posteriormente pertenceu ao Sr. Henrique Daetwyller, suíço, que foi proprietário durante muitos anos. Em 1967 foi adquirido pelo coronel Antonio Olimpio da Silva. Sua esposa, D. Heloina Rehem da Silva morou aí até o seu falecimento, quando então seus filhos venderam a casa para o mecenas suíço Hans Koella, em maio de 1988.
No local, funcionou, de 1931 até 1945, o Colégio Afonso de Carvalho.
A casa, conforme a escritura é construída de alvenaria de pedras e de tijolos, coberta de telhas, toda forrada, piso de madeira, de cerâmica e de cimento, com cinco quartos, sala, corredor, sanitário, quarto e sanitário de empregado, cozinha, pátio, varanda e demais dependências, edificada em terreno próprio. A fachada está bem conservada, mas a parte interna foi modificada para atender às novas finalidades.
Atualmente a Casa dos Artistas é administrada pela Organização Não Governamental (ONG) Teatro Popular de Ilhéus, e tem grande atuação no que se propõe. Está permanentemente aberta à visitação.
Na casa são realizadas exposições de pintura, cursos de teatro, de música e outros eventos.