Un altre edifici a destacar en el port és la Casa del Cable, construït en 1860 per a albergar l'estació telegràfica que enllaçava la Península amb Eivissa per mitjà d'un cable submarí.
A mitjan segle XIX, el paisatge urbà del barri de Duanes estava definit pels magatzems de pansa i les humils cases de pescadors que havien anat construint-se. És en aquells moments quan s'iniciava en el país l'establiment i desenvolupament de la xarxa telegràfica amb les primeres instal·lacions de cables submarins.
En 1860, comencen els treballs de cablejat per a comunicar les Illes Balears amb la península. La proximitat de Xàbia amb Eivissa i la idoneïtat de la seua badia, aconsellaran la instal·lació de l'estació on arribaria el cable telegràfic submarí. S'inicia llavors la construcció de la Casa del Cable.
Cap al 1870 es va reparar el cablejat entre Xàbia-Sant Josep de Sa Talaia (Eivissa) i Barcelona-Maó, que es trencava amb una certa freqüència fins que va deixar de funcionar, definitivament en la dècada dels anys cinquanta del segle passat.
Però a més, la Casa del Cable va ser, entre l'últim quart del segle XIX i durant la primera dècada del XX, l'oratori o capella que donava servici religiós al barri mariner i on era custodiada la imatge de la Mare de Déu de Loreto. La importància de l'estació com enllaç telegràfic amb les illes, va fer que diverses vegades s'instal·laren destacaments militars per a poder garantir la comunicació telegràfica.
L'estructura original de l'edifici, presentava una planta quadrada, de poc més de 9 metres de costat, amb dos pisos i coberta de teula a quatre aigües. Posteriorment es van fer diverses reformes i se li van afegir les quatre columnes de tosca que sostenen la terrassa i formen la naia que encara es conserva i fa tan singular la casa.
A la planta baixa es localitzava l'oficina telegràfica, mentres que el pis superior estava ocupat per les habitacions i una estada de servicis. Adossat al costat sud de la casa, se situaven altres dependències amb només una planta i coberta a dos aigües, que servirien com a magatzems i altres espais domèstics auxiliars.
Després de la seua remodelació, les seues sales actualment es destinen a exposicions.