Der Ort liegt hoch über einer Thaya-Schleife und zählt wie Weitra zu den niederösterreichischen Stadtmauernstädten.

Um 1180 legte man dort, wo die damalige Handelsstraße Wien-Prag die Thaya überquerte, eine Siedlung mit einer Burg im Osten an, die den Fluß überwachte

Der dreieckige Hauptplatz steigt nach Westen hin wie die gesamte Innenstadt steil an.

Das Rathaus in der Platzmitte ist im Kern gotisch, wurde jedoch nach dem großen Stadtbrand 1873 mit dem charakteristischen Stufengiebel neu errichtet. ln der zweiten Hälfte des 16. Jahrhunderts war es eine lutherische Kirche.

Hauptplatz Nr. 18 ist der Waydhoff, der Namensgeber der Stadt, der auf einen Jagdhof des 12. Jahrhunderts zurückgeht. Charakteristisch ist das Hirschgeweih an der Fassade. Unweit davon steht die Dreifaltigkeitssäule von 1709 mit den „Kaiserlinden“‚ die 1879 zur Silberhochzeit von Franz Joseph und Sisi gepflanzt wurden.

Hauptplatz 9 ist das frühere Gericht, in dem von 1753 bis 1819 das Waldviertler Werkamt der Baumwollmanufaktur Schwechat untergebracht war. Etwa 25.000 Menschen arbeiteten damals im Waldviertel für diese Fabrik. Denn das Waldviertel war neben der Glas- und Steinindustrie auch ein bedeutendes Zentrum der Textilerzeugung, vor allem das Gebiet zwischen Waidhofen, Raabs und Waldkirchen im Norden.

In der Pfarrgasse erinnern einige hübsche Weberhäuser aus dem 18. Jh an diese Tradition .

Die Stadtpfarrkirche Maria Himmelfahrt befindet sich am höchsten Punkt der Stadt (510 m).

1769