In de eerste helft van de 13e eeuw ontstond aan de dijk van de Vijftienhondergemetenpolder langs de Eendracht het plaatsje Tholen. Het dorp dat in 1366 stadsrechten kreeg, werd in de 15e eeuw door een grote ramp getroffen. Op 16 mei 1452 verbrandden de stadspoorten, het gasthuis, het stadhuis en vele andere gebouwen.
Omstreeks 1460 werd waarschijnlijk op de plaats van het afgebrande gebouw een aanvang gemaakt met de bouw van een nieuw ‚scepenhuus’ aan de Hoogstraat, mogelijk naar een ontwerp van Andries Keldermans, een telg uit de bekende Mechelse bouwmeesterfamilie waaraan Zeeland en Vlaanderen de prachtige kerkelijke en wereldlijke gebouwen uit de laatgotische periode dankt of de Brusselse bouwmeester Evert Spoorwater die betrokken kan zijn geweest bij de bouw van de Thoolse kerk. Wat het uitwendige betreft kan aan de hand van een 17e eeuwse afbeelding worden geconstateerd dat het oude gevelbeeld behouden bleef. Wel is in 1758, naar een ontwerp van Nicolaas Muts te Middelburg, een nieuw hardstenen bordes aangelegd, waarop de wapens van Tholen, Schakerloo, Zeeland en het in de Franse tijd afgehakte wapen van de Oranjes zijn aangebracht. De voorgevel bevat acht voetsteunen en baldakijnen die mogelijk bestemd waren voor beelden van de heren van Tholen, zoals Jan van Blois en de graven van Holland en Zeeland. Het is echter wel zeker dat er nooit beelden in de nissen hebben gestaan.
De zeskantige open toren bevat een beiaard. Het eerste klokkenspel in deze toren, bestaande uit 14 klokken, werd door Thomas Both te Utrecht gegoten en in 1592 aangebracht. Vijfendertig jaar later bleek dat deze klokkengieter een slechte keus was geweest. Het stadsbestuur bestelde in 1627 een nieuw klokkenspel bij Michael Burgerhuys te Middelburg, dat vermoedelijk 18 klokken telde. De automatische speeltrommel die tot 1940 dienst deed, werd eveneens in 1627 te Middelburg gemaakt. Deze staat nu in het Beiaardmuseum te Asten. Tijdens de laatste wereldoorlog werden de klokken door de bezetter gevorderd. Het schip waarmee het vervoer naar de smeltovens plaatsvond, zonk echter op het IJsselmeer. Na de oorlog zijn de klokken geborgen en aan de gemeente teruggegeven. Bij de ingrijpende restauratie van het stadhuis, die in de jaren 1955-1957 is uitgevoerd, is ook het klokkenspel vernieuwd en uitgebreid tot 35 klokken. Tegenwoordig hangen er 37 klokken in het stadhuistorentje. De oudste klok, genaamd Peter, dateert van 1458. Deze klok die oorspronkelijk aan de pui als luidklok is gebruikt, is nu de oudste beiaardklok van Nederland. Verder bevat het carillon nog 9 door Michael Burgerhuys gegoten klokken en 20 klokken die in de vijftiger jaren van de twintigste eeuw zijn gegoten door Eysbouts te Asten. De 7 kleinste klokjes zijn in 1987 door Petit en Fritsen te Aarle Rixtel vervaardigd. Het computergestuurde klokkenspel speelt overdag elk uur.