Pada masa Nabi Nuh As Ka’bah telah rusak dan tidak terlihat karena tersapu oleh banjir bandang pada saat itu. Sampai pada masa Nabi Ibrahim dan Nabi Ismail As tempat Ka’bah adalah sebuah gundukan tinggi tanah merah yang tidak tersapu oleh air. Orang-orang saat itu mengetahui bahwa tanah tersebut adalah lokasi tempatnya Ka’bah, dan masih banyak orang kesusahan dan terzalimi yang memanjatkan doa di sekitar sana, namun mereka tidak tahu persis di sebelah mana titik letak posisi Ka’bah secara tepatnya. 

Kemudian atas perintah Allah SWT Nabi Ibrahim membangun Ka’bah dengan tinggi 9 hasta. Dan panjangnya dari Hajar Aswad sampai Rukun Syamy sepanjang 32 hasta. Lebarnya dari Mizab dan Rukun Syamy sampai sampai rukun Iraqy sepanjang 22 hasta. Panjangnya dari Rukun Iraqy sampai Rukun Yamany sampai Hajar Aswad sepanjang 29 hasta. Dan pintu Ka’bah mulanya dibuat menempel dengan tanah. Nabi Ibrahim pun membuat sebuah galian di dalam Ka’bah sebelah kanan dari pintu Masuk untuk menyimpan barang-barang yang dihadiahkan orang-orang. 

Nabi Ibrahim membangun dan Nabi Ismail yang membantu memanggul bebatuan untuk diberikan kepada nabi Ibrahim. Ketika bangunan semakin meninggi Nabi Ibrahim berpijak kepada sebuah batu yang kemudian menjadi Maqom Ibrahim (pijakan kaki Nabi Ibrahim). Nabi Ismail yang memindahkan pijakan tersebut ke sana sini supaya memudahkan ayahandanya dalam membangun. 

Ketika pembangunan sampai tempatnya Hajar Aswad, Nabi Ibrahim berkata kepada Nabi Ismail: “wahai Ismail carilah sebuah batu yang saya akan letakkan di sini dan menjadi tanda permulaan thawaf untuk orang-orang”. Maka Nabi Ismail pun pergi untuk mencari batu. Namun, tiba-tiba Malaikat Jibril datang dengan membawa Hajar Aswad yang sebelumnya tersembunyi di Jabal Abi Qubais sejak banjir bandang Nabi Nuh As. Nabi Ibrahim pun meletakkan Hajar Aswad di tempatnya sekarang. Saat itu hajar Aswad bercahaya dan menerangi sekelilinngnya ke segala penjuru arah, namun kemudian menjadi hitam oleh noda-noda Jahiliyah.

Dalam pembangunan ini Nabi Ibrahim tidak membuatkan atap Ka’bah dan juga tidak membangun temboknya. Beliau membangun dengan menumpukkan bebatuan satu dengan dan di atas yang lainnya. Beliau membangun Ka’bah ini dengan bebatuan dari berbagai pegunungan yaitu, dari gunung Turisina, bukit Zaitun, gunung Libanon dan Gunung Hara. Ada yang meriwayatkan beliau membangunannya dari bebatuan gunung Abi Qubais, gunung Sinai, gunung Yerusalem, gunung Warqan, gunung Radwa dan gunung Uhud.