El primer recinte emmurallat es creu que pertany a l’època de la dominació musulmana de la zona, de fet, el nom d’Atzeneta (nom oficial en valencià), prové del nom del cap barbaresc Zenet, pertanyent a la tribu Az-zanata, que és la que estava assentada en els territoris de l’actual municipi.​ Segons els estudis, aquest primer recinte emmurallat es va aixecar en l’extrem de l’assentament, donant origen a un espai públic que coincidiria amb l’actual plaça Pastora.