Aan het begin van de 14e eeuw lagen de schorren van het Zwake zo hoog tegen de zuiddijk van Zuid-Beveland, dat besloten werd dit gebied in te polderen. De Hollandse graven hadden hier het recht van op- en aanwas. Ze besloten de nieuwe polder in eigen beheer te houden, wat de naam ’s-Gravenpolder verklaart.
De oude benaming van ’s-Gravenpolder is Voirtrappen of Fortrappa. Dit verwijst naar een gehucht dat wat noordelijker lag, op de grens van Kloetinge en ’s-Heer Abtskerke. Dit gehucht wordt al in 922 in een document genoemd. In 1489 kreeg de ’Voirtrappenpolder’ zijn huidige naam: ’s-Gravenpolder.