I primi insediamenti penali di Sydney rimasero presto senza cibo, poiché le coste intorno a Botany Bay erano troppo sabbiose per sostenere l'agricoltura. Nel 1789 il capitano Arthur Phillip navigò a nord di Broken Bay e avvistò la foce di un fiume che Phillip chiamò Hawkesbury River in onore di Lord Hawkesbury. Si recò nella zona che aveva preso il nome di "Green Hills" (oggi nota come Windsor), dove notò terreni coltivabili ideali per la coltivazione di frutta e verdura e per il pascolo del bestiame.

Nel 1794, 22 famiglie coltivavano l'area e ne arrivavano sempre di più. A quel tempo, gran parte dei trasporti avveniva via fiume. Quando il governatore Lachlan Macquarie arrivò a Sydney nel 1810, parte del suo compito era quello di prevenire ulteriori perdite di scorte alimentari, edifici e beni causate dalle inondazioni che avevano afflitto l'Hawkesbury dal 1794. Macquarie diede a queste istruzioni la massima priorità e stabilì delle township sulle alture in varie parti del distretto. Oggi sopravvivono ancora molti edifici di pregio risalenti al XIX secolo, che offrono un'idea della prima colonizzazione europea.

Pitt Town fu chiamata da Macquarie in memoria di William Pitt (1759-1806), il primo ministro britannico che partecipò alla pianificazione della colonia. Pitt Town è unica nel suo genere in quanto è l'unica delle cinque città di Macquarie a non essersi sviluppata nel sito prescelto. I documenti storici riportano pochi dettagli della sua forma originaria e non ci sono resti fisici. Per essere utile ai coloni ed essere a una distanza ragionevole dalle loro fattorie, Pitt Town fu risistemata e rimodellata nel 1815, costretta a seguire uno stretto crinale e ad avere una sola lunga strada che divideva la città in due porzioni di forma approssimativamente triangolare.