En l'època medieval era un xicotet recinte tancat per una muralla del s.XIII, amb torres cantoneres, una probablement la d'En Cairat, que encara es conserva, i que pareix que formava part d'una construcció anterior.
L'important creixement demogràfic experimentat a Xàbia durant el s.XV va suposar una evolució urbanística, ja que el primitiu recinte amurallat era insuficient per a acollir este increment de la població. Açò va suposar, a finals d'este segle o principis del XVI, una modificació del perímetre de les muralles per a obrir nous vials, efectuant-se un nou traçat de les mateixes que discorria per les actuals rondes que circumden la vila amb accessos pel Portal de Sant Vicent o de la Ferreria, Portal del Clot o de Sant Jaume i Portal de la Mar.
Seguint el seu traçat medieval, la vila va continuar creixent al voltant de l'Església de Sant Bertomeu, establint-se en els seus voltants els edificis més representatius. Hi ha importants exemples de les edificacions de la burgesia en les seues respectives èpoques, que van triar la contornada de l'església per a alçar les seues cases.
És el cas de diversos exemples de Cases Gòtiques dels s.XV al XVII en els carrers Sor Mª Gallart, Pl. de l'Església, Sta.Marta, Sor Catalina Bas, S. Pere Màrtir, Metge González, Major, i Estret. Un clar exemple del gòtic civil és el Palau dels Sapena (s.XV) en la Pl. de l'Església, amb arcs carpanells en la galeria i finestres geminades i trilobades.
Prop de la Porta del Mar, accés a la vila des del port, es van establir els mariners. Allí es va alçar a l'any 1515, per a servir la gent del mar, l'Església de Loreto, que va ser derrocada en 1870. En l'actualitat hi ha una xicoteta construcció de tosca, d'estil neogòtic construïda en 1954.
A finals del s. XVIII i durant el s. XIX, la burgesia mercantil local dedicada a l'exportació de la pansa, i els propietaris agraris, van triar la contornada de l'església per a construir ostentosos edificis de què són clar exemple: Casa dels Bolufer, Casa dels Primícies, Casa Arnauda ( o de la Senyoreta Josefina), Casa Abadia, Casa de Montalbán (Capità de la flota de pailebotes de la família Bolufer), i la Casa de Tena (actualment CA Lambert). Esta última, construïda en 1857, que va albergar a principis de s. XX la farmàcia del mateix nom, ha sigut rehabilitada recentment per a albergar activitats culturals.
En 1805 es va obrir la quarta porta de la muralla, el Portal Nou en l'actual Pl. Marina Alta, però pocs anys més tard, entre 1869 i 1874, es derroquen definitivament les muralles per a escometre l'expansió urbanística de la vila i es planteja l'execució de l´Eixample (eixamplament), amb àmplies avingudes per a afavorir el trànsit de mercaderies des de la Pl. del Convent, on arribaven els principals camins comarcals, cap al port. Estes són les actuals avingudes Príncep d'Astúries, on van continuar construint les seues cases els agricultors enriquits gràcies a la passa, i Av. D' Alacant, on es va instal·lar part de la burgesia mercantil.
Com a testimoni de la importància que va aconseguir el comerç de la pansa queden a Xàbia els "riurau", construcció rectangular de maçoneria comuna i tosca, amb grans arcades o "ulls", amb la finalitat dels quals era albergar el raïm estés en canyissos per al seu assecat. Un dels majors és el Riurau dels Català d´Arnauda, recentment traslladat des de la seua ubicació original al Parc Montaner.