حتى وضعا الأساس ، فذلك حين يقول الله {وإذ بوأنا لإبراهيم مكان البيت} فلما بنيا القواعد فبلغ مكان الركن قال إبراهيم لإسماعيل : اطلب لي حجرا حسنا أضعه ههنا ، قال : يا أبت اني كسلان لغب ، قال : علي ذلك ، فانطلق يطلب له حجرا فأتاه بحجر فلم يرضه فقال : ائتني بحجر أحسن من هذا ، فانطلق يطلب له حجرا فجاءه جبريل بالحجر الأسود من الجنة وكان أبيض ياقوته بيضاء مثل الثغامة وكان آدم هبط به من الجنة فاسود من خطايا الناس فجاءه إسماعيل بحجر فوجد عنده الركن فقال : يا أبت من
جاءك بهذا قال : جاءني به من هو أنشط منك ، فبينما هما يدعوان بالكلمات التي ابتلى بها إبراهيم ربه فلما فرغا من البنيان أمره الله أن ينادي ، فقال {وأذن في الناس بالحج}.
وأخرج ابن أبي حاتم عن حوشب بن عقيل قال : سألت محمد بن عباد بن جعفر : متى كان البيت قال : خلقت الأشهر له ، قلت : كم كان طول بناء إبراهيم قال : ثمانية عشر ذراعا ، قلت : كم هو اليوم قال : ستة وعشرون ذراعا : قلت : هل بقي من حجارة بناء إبراهيم شيء قال : حشي به البيت إلا حجرين مما يليا الحجر.