Fort Zeelandia is in een flauwe bocht in de rivier gebouwd door de Engelsen, onder leiding van Lord Francis Willoughby, toenmalig gouverneur van Barbados. De reden waarom het fort op deze plaats is gebouwd, komt waarschijnlijk door het feit dat er op de locatie van de huidige Palmentuin een groep Inheemsen woonde, die de kolonisten konden voorzien van etenswaar. Er werd dus ruilhandel met hen gedreven. Bovendien was deze plaats gedurende korte tijd eerder bewoond, in 1613 door de Nederlanders Dirck van Sanen en Nicolaas Baliestel en in 1644 door een groepje Fransen onder leiding van Noailly.