Los primeros asentamientos penales de Sydney se quedaron pronto sin alimentos, ya que las costas de Botany Bay eran demasiado arenosas para la agricultura. En 1789, el capitán Arthur Phillip navegó hacia el norte hasta Broken Bay y avistó la desembocadura de un río al que Phillip bautizó como río Hawkesbury en honor a Lord Hawkesbury. Viajó a la zona que había adoptado el nombre de "Green Hills" (ahora conocida como Windsor), donde observó tierras cultivables ideales para el cultivo de frutas y verduras, y para el pastoreo del ganado.

En 1794, 22 familias cultivaban la zona, y constantemente llegaban más. En aquella época, gran parte del transporte se realizaba por vía fluvial. Cuando el gobernador Lachlan Macquarie llegó a Sydney en 1810, parte de su misión consistía en evitar nuevas pérdidas de reservas de alimentos, edificios y posesiones causadas por las inundaciones que habían asolado el Hawkesbury desde 1794. Macquarie dio alta prioridad a estas instrucciones y estableció municipios en las tierras altas de varias partes del distrito. En la actualidad se conservan numerosos edificios de gran valor del siglo XIX, que permiten hacerse una idea de los primeros tiempos de la colonización europea.

Macquarie bautizó Pitt Town en memoria de William Pitt (1759-1806), primer ministro británico que participó en la planificación de la colonia. Pitt Town es la única de las cinco ciudades de Macquarie que no llegó a desarrollarse en el lugar elegido. En los archivos históricos apenas se encuentran detalles de su forma original y no quedan restos físicos. Para ser útil a los colonos y estar a una distancia razonable de sus granjas, Pitt Town fue reubicada y remodelada en 1815, viéndose obligada a seguir una estrecha cresta y a tener una sola carretera larga que dividía la ciudad en dos partes de forma aproximadamente triangular.