Müslümanlar Kudüs’ü Hz.Ömer zamanında 638 yılında fethettiler. Hz. Ömer (ra) bu şehrin kudsiyetine binaen bizzat teslim aldı. Mescid-i Aksa’ya girdi. Burayı temizleyip namaz kıldı.
Abdülmelik’in burada bir mescid yapmasının nedenini de tarihçiler şöyle anlatırlar: "Mir'atu'z-zaman" adlı eserin sahibi dedi ki: "Bu senede[1] Abdülmelik b. Mervan, Kudüs'te Mescid-i Aksa'daki kayanın üzerine bina yaptırmaya ve Mescid-i Aksa'yı onarmaya başladı. Bu onarım işi hicretin yetmişüçüncü senesinde tamamlandı. Bunun sebebi de şu idi: Abdullah b. Zübeyr, Mekke'yi istila ettiği zaman Mina ve arefe günlerinde insanların Mekke'de ikamet ettiği günlerde hutbe irad ediyor, hutbesinde Abdülmelik'in aleyhinde konuşuyor ve Mervan oğullarının kötülüklerini anlatıyordu.
Abdullah b. Zübeyr, insanları kendisine bey'ata davet ediyor, çok fasih konuşuyordu. Şamılıların büyük çoğunluğu ona meylettiler. Abdülmelik, bunu duyunca insanları hacdan menetti. Hacca gitmelerine müsaade etmeyince insanlar ona kızdılar. Bundan sıkıntı duymaya başladılar. O da Mescid-i Aksa'daki kayanın üzerine kubbe yapmaya ve Aksa mescidini inşa etmeye başladı.
Abdülmelik, Beyt-i Makdis'i tamir etmek istediği zaman oraya bol miktarda para ve işçi gönderdi. Onarım işini de Reca b. Hayve ile Yezid b. Selam adındaki azatlısına tevdi etti. Memleketin çeşitli yerlerinden sanatkarları toplayıp Beyt-i Makdis'e gönderdi. Ayrıca bol miktarda da para gönderdi. Reca b. Hayve ile Yezid'e, bu iş için tereddütsüz olarak bol masraf yapmalarım emretti. Onlar da bu için büyük miktarda para harcadılar. Kubbeyi inşa ettiler, çok güzel bir yapı meydana geldi. Orayı renkli mermerlerle döşediler. Kubbenin üzerine de biri kış mevsimine mahsus olmak üzere kırmızı maden filizinden, diğeri de yaz mevsimine mahsus olmak üzere deriden iki örtü yaptılar. Kubbeyi çeşitli perdelerle çevrelediler. Oraya hizmetçiler tahsis ettiler, çeşitli kokular, misk-i amber ve safranları oraya saçtılar. Çok masraflar yapıyorlar, geceleyin kubbeyi ve mescidi buhurlarla tütsülüyorlardı. Altın ve gümüşten kandiller, altın ve gümüşten zincirler asarak orayı süslediler. Miskle kaplı, ay parçasını andıran dallarla süslediler. Mescidi ve kayanın üzerine yapılan kubbenin üstüne renkli sergiler serdiler. Buhurları tütsüledikleri zaman kokusu uzak mesafeden hissediliyordu. Orayı ziyaret eden bir kimse dönüp memleketine vardığında kendisinden günlerce misk, tütsü ve güzel kokular saçılıyordu ve onun Mescid-i Aksa'daki kayalığa gittiği ve Kudüs'ten geldiği anlaşılıyordu. Mescid-i Aksa'da çok sayıda hizmetçi ve kayyum vardı. O gün yeryüzünde ondan daha güzel bir bina ve kayalığın üzerindeki kubbeden daha göz alıcı bir kubbe yoktu. Öyleki insanlar, Ka'be'ye haccetmeye gitmeyip oraya gelmeye başladılar.
Kısaca diyeceğimiz şudur ki, Beyt-i Makdis'teki kayalığın üzerine yapılan kubbenin inşaatı tamamlandığında, yeryüzünde o kubbe kadar güzel ve göz alıcı başka bir kubbe yoktu. Oraya birçok taşlar, mücevherler ve mozaikler yerleştirdiler. Göz alıcı birçok şeyleri taktılar. Reca b. Hayve ile Yezid b. Selam, Mescid-i Aksa'mn tamiratını ve kayalığın üzerine yaptırdıkları kubbenin inşaatını en mükemmel bir şekilde tamamlamış oldukları halde yine de 600000 miskal (başka bir rivayete göre ise 300000 miskal) altın arttı. Bu durumu bir mektubla kendisine bidirdikerinde Abdülmelik, onlara: "Ben artan altınları size hibe ettim." diye cevabî bir mektup yazdı. Onlar da bu altınları kabul etmeyerek: "Eğer yapabilseydik mescidin tamiratına kendi zevcelerimizin ziynet eşyalarım da katardık." diye mektub yazdılar. Bunun uzerme Abdülmelik, onlara: "Eğer kabul etmiyorsam* o altınları kubbenin ve kapılarının üzerine dökün." diye mektub yazdı. Herhangi bir kimse, kubbenin üzerindeki eski ve yeni altınların miktarını tahmin edemezdi.[2]
Mescid-i Aksâ deyince; geniş anlamda Kubbetü's-Sahrâ, mezar, türbe, tekke, zaviye ve sebil gibi dini amaçla yapılmış yapılan içine alan yaklaşık 150 dönüm kadar bir arazi üzerine serpilmiş binalar topluluğu anlaşılır.