Der Turm wurde im 14. Jahrhundert errichtet. Der ursprüngliche Zinnenkranz wurde zu einem Fenstern umgebildet. Der Eingang an der Nordseite lag 5 m über dem Boden. Bis um 1800 wurde der Hexenturm als Gefängnis benutzt. Der erste nachweisbare Hexenprozess in Stein am Rhein stammt aus dem Jahre 1512 gegen Anna Beringer. Als letzte Hexe wurde in Stein am Rhein Katharina Albrecht im Jahr 1667 hingerichtet. Der Hexenglaube ging aber noch lange weiter. Im Jahre 1783 stellte der Rat immerhin eine Untersuchung an gegen vier Männer, die wegen Zauberei und Hexerei verdächtigt wurden. Auffallend ist, dass viele der Verurteilten aus der gleichen Familie stammten. Insgesamt waren es 17 Personen, die in Stein am Rhein hingerichtet wurden.