清代以前郑州唯回一的一座清真寺是郑州市清真北大寺。民国以后，随着回族聚居点的扩展和伊斯兰教的广泛传播，郑州清真寺数量在所增加，管城回族区有8座清真寺（男寺8个，女寺3个）。解放后，划归管城辖区的清真寺计有7座（男寺4个，女寺3个）。1978年后，除清平里清真寺外，其余6个清真寺全部恢复活动，其中以北大寺为著名。

北大寺原称城内大寺或清真寺，始建于明代，是郑州早的清真古寺，占地十余亩。乾隆十九年（公元1754年）和四十七年（1．782年）两次重修。解放后1953年进行过大的修葺。1982年又一次全面翻修，次年7月落成。

修成后的北大寺，主要建筑由大门、望月楼、大殿、南北讲堂、陪殿、沐浴室、殡仪馆组成。望月楼为中阿艺术结合的建筑物，楼高10米，楼四角飞起，挂有风铃，楼顶为绿色玻璃瓦复篮，屋脊两端彩兽伏卧，栩栩如生，优雅壮观。楼周围由12根石柱支撑，其中8根分别书有中阿对联各两幅。中槛上方悬挂有“正教昌明”大匾，据说是清光绪二十一年，钦命会办军务、福建水师提督杨歧珍所献。殿内外原挂有历代阿旬和名人所书匾额和对联，今尚存有乾隆年和民国初年大阿訇马振九、马长清所书阿旬文匾2块，以及“天方正宗”、“显杨正教”、“天方净域”等汉文匾4块。

北大寺历经沧桑，尚存明宣德五年铸造的铜香炉两个，清代大小碑15通。北大寺早年实行三掌教制。从1916年1985年，先后更迭教长有23人，其中影响大的有马长清、谢西三、苏百泉等，均在回族文化教育事业方面作出了贡献。郑州早的回民小学“明经初等小学”是该寺，早的回民中学，也是该寺兴办的。解放前夕，寺内还创办过《天风报》。

该寺颇负盛名，不少名人慕名来访。传说清代的左宗棠、新疆哈密、民国时的马福祥、白崇禧等，都曾到寺内礼拜，并题写过匾额和手谕。修葺后的北大寺，还接待了日本、美国、孟加拉、巴基斯坦、伊朗等国宗教界客人，他们对中国奉行的民族平等、宗教自由政策赞叹不已。

1985年经国务院批准，郑州伊斯兰教经学院在北大寺开学，正式教职工14人，其中专职阿语教师3人，宗教教师2人，为河南、山东、安徽、江苏四省培养出具有大专文化程度和一定造诣的伊斯兰教职业人才。学院规模定为120人，学制三年。1989年5月，伊朗送经团到管城回族区北大街、北下街、后阜民里三坊清真寺宣讲《古兰经》。