Pertama kali timbul istilah “Madrasah” adalah berkenaan dengan upaya khalifah Abbasiyah Harun al-Rasyid guna menyediakan fasilitas belajar ilmu kedokteran dan ilmu-ilmu penopang lainnya dilingkungan klinik (Bimaristain) yang dibangunnya di Baghdad. Komplek ini dikenal dengan sebutan “Madrasah Baghdad”. Namun kelihatannya pemakaian istilah tersebut cenderung anatema, terutama kalau diperhatikan tidak adanya kelanjutan dari madrasah Baghdad, kecuali munculnya Bait al-Hikmah dimasa Makmun.
Madrasah sebagai lembaga pendidikan islam, mulai didirikan dan berkembang di dunia islam sekitar abad ke-5 H atau abad ke-10 11 M. Ketika penduduk Naisabur mendirikan lembaga pendidikan islam model madrasah tersebut pertama kalinya. Akan tetapi tersiarnya justru melalui menteri dari Kerajaan Bani Saljuk yang bernama “Nizham al Mulk” yang mendirikan madrasah “Nizhamiyah” tahun 1065 M yang oleh Gibb dan Kramers disebutkan, bahwa setelah madrasahnya Nizham al Mulk ini dirikan madrasah terbesar oleh Shalahudin al Ayyubi.