Conta-se que no reinado de D. João III, na terra de Almoínhos-Velhos, havia uma pastora muda tinha o costume de levar as suas ovelhas a pastar ao cimo da serra.
Certo dia, uma das suas ovelhas fugiu, deixando a jovem pastorinha desesperada em busca da tal ovelha.
Após longas buscas observou ao longe uma senhora que trazia consigo a sua ovelha.
A pastorinha agradeceu muito da maneira que pode, visto que esta não conseguia falar.
A senhora, aproveitando a ocasião, pediu à pastorinha que lhe desse um pouco de pão. A pastora explicou-lhe, gestualmente, que esse ano tinha sido mau e havia muita fome. A senhora deu-lhe então um conselho:
- Quando chegares a casa chama pela tua mãe e procura pão.
A pastorinha tentou-lhe explicar que isso era impossível, pois para além de ter a certeza de não haver pão em sua casa, ela não podia chamar pela sua mãe, pois era muda. Mas a senhora tanto insistiu que a pastora decidiu fazer o que esta lhe dizia.
Ao chegar a casa chamou por sua mãe e a sua voz fez-se ouvir em toda a sua casa.
Contou a história a sua mãe e apressou-se em procurar o pão. E qual não foi o espanto das duas quando dentro de uma arca encontraram pão que chegou para a aldeia inteira.
No dia seguinte, como prova de agradecimento, toda a aldeia subiu à serra e precisamente no sítio onde a pastorinha tinha encontrado a senhora, estava agora uma gruta com a imagem de Nossa Senhora.
Esse local passou a ser sagrado e mais tarde foi aí construída uma capela, conhecida por capela de Nossa Senhora da Peninha.
