Els orígens del port de Xàbia, situat als peus del Cap de Sant Antoni, es remunten en el segle XV, però és a mitjan XVI quan adquireix una certa importància, que anirà acreixent-se en segles posteriors, sent en el segle XIX quan aconsegueix major èxit per l'exportació de la pansa. Daten de 1871 la primera escullera i embarcador coneguts. Quan aquest comerç va entrar en crisi, a la fi del segle, va passar a desenvolupar una activitat merament pesquera.
Al voltant del Port va créixer el barri de fort caràcter mariner amb antigues casetes de pescadors emblanquinades de planta baixa i de carrers estrets.
L'arribada dels vaixells i posterior venda de peix en la Llotja s'han convertit en un reclam imprescindible per als nostres visitants.