Dulu Masjdil Haram itu areanya kecil, tidak ada bangunan, tidak berdinding, hanya ada Ka’bah dan area kecil  di sekitar nya yang menjadi tempat orang-orang berkumpul, beribadah dan orang tawaf mengitarinya. Di sekitar masjid tersebut dipenuhi dan dikelilingi rumah-rumah warga sekitar sehingga orang-orang yang ingin masuk menuju masjid melalui celah-celah dan jalan-jalan kecil di antara rumah-rumah tersebut. 

Pada zaman khalifah Umar bin Khattab, ketika isi masjid dipenuhi oleh banyak orang, beliau berinisiatif untuk membeli rumah-rumah warga sekitar. Lalu rumah-rumah itu dihancurkan dan tanahnya diratakan  sehingga menjadi termasuk area masjid.  Dibangun juga dinding pendek sebagai batas yang mengitari area masjid.

Pada masa setelahnya, khalifah Utsman Bin Affan dan Abdulah bin Zubai rpun melakukan hal yang sama seperti yang pernah dilakukan oleh khalifah Umar bin Khattab demi tujuan memperluas area Masjid. Lalu, Walid bin Abdul Malik menambahkan unsur bebatuan pualam dan kayu-kayu yang dihiasi untuk bangunan masjid. 

Pada zaman khalifah Abbasiah khalifah Abu Ja’far Mansur dan khalifah Al Mahdy memperluas area utara sehingga posisi Ka’bah menjadi di tengah, karena sebelumnya posisinya berada di sisi area masjid. Dan di zaman modern pembangun semakin pesat digalakan sehingga menjadi sangat luas seperti yang kita lihat sekarang.