Lorsque Muhammad atteignit l’âge de 35 ans, les Qouraichites entreprirent de reconstruire la Kaaba. Celle-ci ne possédait pas de toit et un groupe de voleurs avait dérobé un des trésors qu’elle renfermait. Aussi, l’édifice avait déjà subi les intempéries et les aléas du temps affaiblirent ses fondations et lézardèrent ses murs. De plus, 50 ans avant la mission du Prophète , un torrent descendit sur la Mecque et s’abattit sur le temple sacré avec une violence qui faillit faire basculer la Kaaba.

Ainsi les Qouraichites furent obligés d’en renouveler les fondations, désireux de garder cet édifice, souvenir de la foi d’Ibrahim (Abraham) . Ils décidèrent tous ensemble de n’investir dans ce sens que les biens honnêtement acquis, écartant de ce fait la dot des prostituées, les biens résultant de l’usure ou d’une injustice. Les gens avait peur de détruire la Kaaba, alors Al-Walid Ibn Al-Moughira commença le travail de démolition. Les gens, après s’être rendus compte qu’aucun malheur n’avait atteint Al-Walid, le rejoignirent et continuèrent à démolir jusqu’à ce qu’ils atteignirent la fondation réalisée par Ibrahim . Occupés ensuite à construire, Ils divisèrent la Kaaba en plusieurs parties dont chacune était à la charge d’une tribu.











Chaque tribu rassembla des pierres et la construction commença. Lorsqu’on eut atteint l’endroit de la Pierre Noire, les tribus divergèrent sur la question de savoir qui d’entre elles aurait l’honneur de la mettre en place. Le conflit s’étendit sur 4 ou 5 nuits et faillit déclencher une guerre violente, puis les tribus se rassemblèrent pour trouver une solution juste. Ils décidèrent alors de prendre pour juge arbitre la première personne qui franchirait la porte de la Maison Sacrée où ils étaient réunis. Et ce fut Muhammad . Dès qu’ils le virent, ils s’exclamèrent : « Voici l’honnête (Al-Amine) ! Nous acceptons son arbitrage ! C’est Muhammad ! »


Lorsque Muhammad fut mis au courant du motif de leur conflit, il demanda qu’on apporte un morceau de tissu. Il plaça ensuite la Pierre Noire au milieu du tissu et demanda aux chefs des tribus en conflit de tenir chacun un côté de l’étoffe puis de soulever ainsi la Pierre Noire. Ils s’exécutèrent et quand ils atteignirent sa place, Muhammad prit la pierre et la mit lui-même avec sa main. Puis ils construisirent là-dessus, satisfaits du jugement équitable qui les avait départagés.
D’après Ibn Ishaq, au temps de l’Envoyé d’Allah, la Kaaba était de 18 coudées. Elle était revêtue de tissus coptes (qabati), puis elle fut revêtue de tissus yéménites (burud). Al-Hajjaj fut le premier à la revêtir de brocart.