Loulé era já conhecida dos romanos que aí exploravam minas. Em 1249 D. Paio Peres Correia, mestre de Santiago, tomou Loulé aos Mouros. A Loulé foi dado foral em Agosto de 1266. A igreja matriz data de D. Dinis.
Esta lenda nasceu em Loulé, no Cabeço do Mestre. Estava-se no reinado de D. Afonso III, o Conquistador. D. Paio Peres Correia queria conquistar o Algarve; dispunha de muitos cavaleiros a seu mando e, de entre eles, surgia D. Rodrigo de Mascarenhas, famoso por ser galante com as damas.
As tropas cristãs tinham chegado às portas de Loulé. Os cavaleiros cristãos tinham entrado na fortaleza e fizeram prisioneiros. Entre estes, estava um jovem ricamente vestido mas triste.
- Porque estais triste? Na guerra ou se vence ou se é vencido- disse D.Rodrigo.
O rapaz contou que se chamava Abindarráez e que era da linhagem dos bencerragens (pertenciam à poderosa tribo do Califa de Granada).
Quando eu era pequeno, fui criado juntamente com a filha do alcaide de Cártama (antiga vila do califado de Córdova que hoje faz parte da província de Málaga em Espanha); lá eu brincava com Jarrefa. Ela cresceu, tornou-se uma bela mulher quando quisemos unirmos, o pai dela não deixou. E enviaram-me para aqui. Há dois dias, um mensageiro de Jarrefa, disse para eu ir ter a Silves ou Xelb*. Vesti o meu melhor fato e quando soube que as vossas tropas estavam aqui, tive que lutar e ainda perdi! Jarrefa está em perigo em Silves e não a posso ajudar. Se eu pudesse!
- Vou dar-te uma oportunidade- disse D. Rodrigo. Vais buscá-la mas, voltam para cá como cativos.
O rapaz foi buscá-la e disse que se ela não quisesse ser esposa de um cativo, ele iria sozinho. A rapariga acedeu. Voltaram ambos; chegados a campo cristão, foram bem recebidos. A beleza da jovem e o porte do rapaz encantaram todos. Mais tarde, o rei cristão concedeu-lhes perdão e o pai da rapariga também. Jarrefa, emocionada, pegou na mão de D. Rodrigo e perguntou como podia agradecer.
Respondeu D. Rodrigo:- Sorrindo, bela dama. O vosso sorriso é o mais belo do mundo. E assim, D. Rodrigo deixou-os partir.
Semanas mais tarde, o rapaz enviou emissários com dois bonitos cavalos brancos e uma grande quantia em dinheiro. D. Rodrigo recusou dizendo que a sua função não era roubar damas mas, servi-las e honrá-las. Apenas enviava as suas homenagens à mais bela dama e ao jovem de sangue nobre.
* Silves- ou Xelb- foi conquistada no reinado de D. Sancho I em 1189, reconquistada por Ibne Iuçufe em 1191 e reconquistada pelos cristãos em 1198.Só paio pires toma a cidade,quando governava Muça Ibne mahomed ou Ibne Maholf, o Almançor.