Ada beberapa pendapat tentang siapa yang pertama kali membangun ka'bah :
1. Dibangun oleh para malaikat ribuan tahun sebelum Nabi Adam diciptakan (riwayat Ali bin Husain bin Ali disampaikan oleh Al-Azraqi)
2. Diciptakan langsung oleh Allah 2000 tahun sebelum penciptaan bumi (Al-Umari dalam kitab Masalikul Abshar);
3. Ka'bah turun dari langit ke bumi bersamaan dengan Nabi Adam (Qatadah);
4. Allah menurunkan ka'bah ke Mekkah beberapa lama setelah adam berpetualang di bumi (Atha' bin Abi Rabah);
5. Ka'bah dibangun oleh Nabi Adam dan Hawa atas bimbingan langsung Allah (Ibnu Luhai'ah)
6. Ka'bah dibangun oleh putera Nabi Adam yang bernama Syits tepat di lokasi turunnya adam dari langit ke bumi, nabi Syits adalah leluhur para Nabi Ibrani (Ibnu Qutaibah)
_Perkembangan Bentuk Ka'bah_
1. Pra Banjir Nuh : tidak ada penjelasan
2. Pasca Banjir Nuh : gundukan tanah merah tidak terurus
3. Nabi Ibrahim : Bangunan kubus pendek tanpa atap
_Kronologi Pelayan Ka'bah_
1. Yishma'el ben Avram alias Nabi Ismail as;
2. Nabathea ben Yishma'el alias Nabit bin Ismail as;
3. Beberapa keturunan Nabi Ismail as (ben Yishma'el);
4. Suku Jumhur (Pribumi mekkah sebelum kedatangan Yishma'el);
5. Suku 'Amaliq (bangsa hyksos);
6. Suku Jumhur lagi (3 abad), ka'bah ditinggikan lagi tapi tetap tanpa atap;
7. Perang perebutan ka'bah antara suku jumhur dan suku ismail (bani ismail as);
8. Suku Khuza'ah (5 abad), agama ibrahim mulai ditinggalkan dan penyembahan berhala dimulai;
9. Suku Quraisy : agama ibrahim semakin ditinggalkan, tanah mekkah ditetapkan sebagai tanah haram, paganisme tetap dipertahankan untuk kepentingan ekonomi, pada masa ini kemungkinan ka'bah sudah diberi atap dan Raja Yaman yang awalnya ingin menghancurkan ka'bah kemudian malah memberinya Kiswah;
10. Abrahah : Kaum penegak agama ibrahim (monotheisme) di bawah pimpinan Raja Abrahah mau menghancurkan ka'bah karena ka'bah dianggap sebagai pusat penyembahan berhala, tapi aneh pasukan penegak monotheisme ini malah dihancurkan dan penduduk penyembah berhala di kota Mekkah selamat;
11. Rasulullah SAW : ka'bah dibersihkan dari paganisme, kembali ke agama tauhid (millah ibrahim yang disempurnakan), agama ini diberi nama Islam;
12. Khulafaur Rasyidin : Perluasan Masjidil Haram secara kontinyu
13. Khalifah Abdullah bin Zubair : Ka'bah dibikin sangat mewah
14. Khilafah Umayyah : konstruksi Abdullah bin Zubair dihancurkan kemudian Hajjaj bin Yusuf (Panglima Perang Umayyah) membangun konstruksi baru ala Umayyah
14. Khilafah Abbasiyah : tidak merubah bentuk ka'bah ala Hajjaj bin Yusuf, hanya menambahi banyak bahan emas
15. Khilafah Fathimiyah : tidak merubah bentuk ka'bah ala Umayyah, hanya memperindah kiswah menjadi seperti yang saat ini kita saksikan;
16. Khilafah Utsmaniyah Turki : ka'bah dirusak oleh dua kali bencana banjir, kemudian dibangun ulang oleh Dinasti Ottoman, pembangunan ulang tersebut dipimpin oleh Gubernur Mesir Muhammad Ali Pasha menjadi sangat megah sebagaimana saat ini kita nikmati, hajar aswad yang retak diberi bingkai perak, atap ka'bah diberi talang emas untuk menghindari kerusakan akibat hujan;
16. Saudi Arabia : melenyapkan baabur rasul di masjidil haram, membumiratakan peninggalan2 mulia rasulullah, menghancurkan situs2 keramat kota suci, membuat kota mekkah seperti las vegas dengan menara mata satu kepunyaan Sayyidah Paris Hilton yang suatu saat bila bangunan tinggi ini roboh alias dirobohkan jelas akan langsung menimpa bangunan ka'bah