تلقى أبو السمح تعليمه الأزهري بعدما سافر إلى القاهرة مغادرًا قريته (التلين) بمركز منيا القمح بالشرقية وهو في سن التاسعة، حينها كان قد أتم حفظه للقرآن الكريم، وتعلم القراءات والتفسير والفقه والسنة، حتى أصبح أحد علماء الأزهر الشريف، كان الشيخ يحضُر مجالس العالم محمد الأمين الشنقيطي والشيخ محمد عبده. وقد تبنى أبو السمح المذهب السلفي بعد اقتناعه بآراء الشنقيطي، فدرس كتب شيخ الإسلام ابن تيمية وابن القيم.
وكانت بين الشيخ عبد الظاهر أبو السمح والشيخ محمد بن عبدالرازق بن حمزة علاقة مصاهرة، ورزق الشيخ عبد الظاهر الأبناء، منهم محمد وعبدالرحمن.
وتنقل الشيخ في عمله بين السويس والقاهرة ثم الإسكندرية التي أسس فيها بالاشتراك مع شيوخ آخرين حركة أنصار السنة المحمدية للدعوة للمذهب السني السلفي في مصر، وسببت دعوته في الإسكندرية غضبًا لدى شيوخ الصوفية وأتباعهم حتى آذوه بدنيًّا وانتهى بهم المطاف أمام القضاة في المحاكم المدنية، وكان السبب الرئيسي في غضبهم من أبي السمح هو تحريمه لما يرتكبه أتباع الصوفية من أفعال أمام الأضرحة، خاصة بعدما خصص كتاب بعنوان “كرامات الأولياء” لتوضيح رأي المنهج السلفي في الطرق الصوفية.
سافر الشيخ إلى مكة المكرمة عام 1925 كعضو في مؤتمر مكة المكرمة وذلك بدعوة من الملك عبد العزيز آل سعود، وأدى أبو السمح حينها فريضة الحج لأول مرة، وعرض عليه الملك إمامة الحرم المكي الشريف لما لمسه من عذوبة في تلاوته للقرآن الكريم، وبذلك كان أبو السمح أول شيخ مصري يتولى إمامة الحرم المكي، ليظل إمامًا وخطيبًا للمسجد الحرام مدة 25 عامًا متواصلة.
وكان أبو السمح من مؤسسي دار الحديث في مكة المكرمة، والتي ظل مديرًا لها مدة 18 عامًا، فجعلها منبرًا لنشر التوحيد ونشر المذهب السلفي حتى خصص الملك مساعدة مالية سنوية للدار وجعل مقرها في دار الأرقم بن أبي الأرقم، وبجانب الدرس الذي كان يلقيه أبو السمح في الحرم المكي بانتظام، كانت له العديد من المؤلفات منها الرسالة المكية، وكرامات الأولياء، وحياة القلوب في معاملة علام الغيوب، والحج وفق السنة المحمدية.
توفي أبو السمح بعد معاناة مع آثار مرض السكر الذي أودى بحياته عام 1952، في مستشفى الجمعية الخيرية الإسلامية في القاهرة.