Der frühen Strafkolonie von Sydney gingen bald die Nahrungsmittel aus, da die Küsten um die Botany Bay zu sandig waren, um Landwirtschaft zu betreiben. 1789 segelte Kapitän Arthur Phillip nach Norden zur Broken Bay und sichtete die Mündung eines Flusses, den Phillip nach Lord Hawkesbury Hawkesbury River nannte. Er reiste in das Gebiet, das den Namen "Green Hills" (heute Windsor) angenommen hatte, und entdeckte dort Ackerland, das sich ideal für den Anbau von Obst und Gemüse sowie für die Weidehaltung von Vieh eignete.

Im Jahr 1794 bewirtschafteten 22 Familien das Gebiet, und es kamen ständig neue hinzu. Zu dieser Zeit erfolgte der Transport größtenteils auf dem Fluss. Als Gouverneur Lachlan Macquarie 1810 in Sydney eintraf, bestand ein Teil seiner Aufgabe darin, weitere Verluste an Lebensmitteln, Gebäuden und Besitztümern zu verhindern, die durch die Überschwemmungen verursacht worden waren, die den Hawkesbury seit 1794 heimgesucht hatten. Macquarie räumte diesen Anweisungen hohe Priorität ein und errichtete in verschiedenen Teilen des Distrikts Townships auf dem Hochland. Heute sind noch viele schöne Gebäude aus dem 19. Jahrhundert erhalten, die einen Einblick in die frühe europäische Kolonisierung geben.

Pitt Town wurde von Macquarie in Erinnerung an William Pitt (1759-1806), den britischen Premierminister, der an der Planung der Kolonie beteiligt war, benannt. Pitt Town ist insofern einzigartig, als es die einzige der fünf von Macquarie geplanten Städte ist, die sich an dem gewählten Standort nicht entwickelt hat. In den historischen Aufzeichnungen finden sich nur wenige Details über die ursprüngliche Form der Stadt, und es gibt keine baulichen Überreste. Um den Siedlern von Nutzen zu sein und in angemessener Entfernung zu ihren Farmen zu liegen, wurde Pitt Town 1815 neu angelegt und umgestaltet. Die Stadt musste einem schmalen Bergrücken folgen und hatte nur eine lange Straße, die die Stadt in zwei etwa dreieckige Teile teilte.