عندما وصل رسول الله صلى الله عليه وسلم إلى قباء، مهاجرًا من مكة المكرمة في 12 ربيع الأول، من عام 622م.
وبعد أن مكث فيها عدة أيام، توجه على ناقته القصواء إلى المدينة المنورة، تحفه جموع المسلمين من المهاجرين والأنصار، فبركت الناقة في أرض ليتيمين من بني النجار تقع في وسط المدينة، فاشتراها رسول الله صلى الله عليه وسلم منهما.
وكان في الأرض قبور للمشركين وخِرَب ونخل، فأمر رسول الله صلى الله عليه وسلم بقبور المشركين فنبشت، وبالخرب فسويت، وبالنخل فقطع.
واختار رسول الله صلى الله عليه وسلم هذه البقعة لتكون مسجدًا يجتمع المسلمون فيه لأداء صلواتهم وعباداتهم، وشرع مع أصحابه في بنائه، فاستغرق ذلك عدة شهور، وكان اتجاه القبلة يومئذ إلى بيت المقدس في الجهة الشمالية منه.
كان بناء المسجد من اللَّبِن وسعف النخيل، وأما سقفه فمن جذوع النخل، وقد بلغ طوله: 35م، وعرضه: 30م، وارتفاع جدرانه: 2م، ومساحته الكلية: 1060م2 تقريبًا، وله ثلاثة أبواب:
الباب الأول: في الجهة الجنوبية.
الباب الثاني: في الجهة الغربية، ويسمى باب عاتكة، ثم أصبح يعرف بباب الرحمة.
الباب الثالث: من الجهة الشرقية، ويسمى باب عثمان، ثم أصبح يعرف بباب جبريل.
وكانت إنارة المسجد تتم بواسطة مشاعل من جريد النخل، توقد في الليل.