«L'oratori del Temple fou fundat pels cavallers templers que vingueren a la conquesta, i d'ells fou tot l'edifici que porta el seu nom. La seva antigor es descobreix a les torres i murs que l'envolten, començant-lo a habitar el 1232 el comendador fra Ramon Serra. Dins l'alcàsser del Temple hi tingueren el seu arxiu els monarques mallorquins i el 1345 serví de presó a l'infant Sanç, Arnau d'Erill i altres cavallers que seguien les banderes del legítim rei Jaume III. Aleshores ja havia passat aquest edifici a poder dels cavallers santjoanistes, i tenien cura de la seva conservació els batlius de Mallorca. Sembla que en el segle XVI, la Inquisició emprà l'alcàsser com a presó dels acusats al davant del seu tribunal, i el 1820 fou venuda la casa del Temple per ordre del Govern a favor de Pere Suau».
Però abans d'esser Castell del Temple, aquest «ksar» fou Almudaina de Gumara. Així doncs, aquestes fortificacions degueren esser bastides en el segle X, potser com a conseqüència de la reestructuració de la Madina duta a terme per Isâm al-Jawlâni (903-912), quan el recinte urbà es va estendre des del Palau de l'Almudaina i la seva ciutadella vers la part de l'oest, principalment el districte calatraví. Els Gumara eren una tribu poderosa establerta a la zona i encara que de l'antic recinte d'aquell alcàsser només se'n conserven, actualment, dues torres quadrades i emmerlades que voregen la porta interior, els plànols de Garau, del segle XVII, ens permeten observar-hi l'existència, antany, d'un formidable cinturó murallat de dotze torres, quatre al sud, quatre més al nord, i les quatre restants, amb la façana, que miraven cap a l'oest. Per altra banda, i per la part del carrer Mateu Lladó, no serà difícil observar-hi restes de la muralla est, que segons la cartografia esmentada no té torres.
A finals del segle XIX fou localitzada dins aquesta Almudaina de Gumara una necròpoli urbana musulmana que a més de donar molts vestigis arqueològics, enriquí el patrimoni històric amb tota una sèrie d'interessants esteles funeràries, avui conservades en el Museu de Mallorca.
Els templers edificaren, al fons de l'entrada principal i antic pati d'armes que és avui només un carreró, una capella romànica, restaurada el 1885 i de la qual queden com a peces originals una porta, un atri i dos arcsolis a manera de capelletes.
Sembla esser, doncs, que en aquella zona, és a dir, des del Temple fins a la mar, hi hagué no només un cementiri musulmà sinó també un gran fossar jueu, dels quals en parlen documents de 1321, 1327 i 1329. De la mateixa manera, una nota del «Capbreu de Manresa», redactat el 1404, tot formant part d'un inventari, conté els següents mots: «Item de una pessa de terra d'En Ramon Colell, situada prop de l'hort, que es diu d'En Salavort lo qual es tengut a cens de XXXII sous, pagadors a sent Miquel. E afronta de una part amb lo camí alt, qui partent del portal de Santa Fe, vevers lo fossar dels jueus e d'altra part amb un carrerany, qui va del di t camí vers la mar e d'altra part amb la riba de la mar».
Així, cementiris àrabs i jueus es trobarien molt prop o, potser, l'un al costat de l'altre.
Mossèn Antoni Pons conta a la seva «Història de Mallorca, Tom IV» que «recordam que en data relativament moderna, quan eren efectuades obres en els terrenys de l'antiga fàbrica de gas del Molinar, aparegueren restes humanes que ningú aconseguia identificar degudament. Avui, després de l'exhumació dels dos interessants documents, podem afirmar amb tota seguretat, que es tractava dels cadàvers de captius moros o turcs, els quals peus apareixien tancats per anelles de ferro de quatre lliures de pes...».