Die erste Besiedelung des Gebietes fand in der Hallstattzeit um 1000 vor Christus statt. Funde belegen dies. Die erste urkundliche Erwähnung stammt aus dem Jahre 1210. Bereits im 15. Jh. war Grafenwörth ein wichtiger Handelsplatz. Im Jahre 1578 erhielt Grafenwörth von Kaiser Rudolf II. das Marktrecht.
Seit dem 12. Jh. bestand eine Kirche. Otto von Maissau inkorporierte sie als Patronatsherr gemeinsam mit der Pfarre Dürnstein 1410 dem Augustiner-Chorherrenstift. Dieses hatte die Pfarre bis zu seiner Aufhebung inne, als sie dem Stift Herzogenburg einverleibt wurde.