Berdirinya Pondok Pesantren Islam Al-Mukmin bermula dari adanya kegiatan pengajian selepas zuhur di masjid Agung Surakarta. Selanjutnya para da’i dan mubaligh mengembangkan bentuk pengajian tersebut dengan mendirikan Madrasah Diniyah di jalan Gading Kidul 72 A Solo. Perkembangan Madrasah ini cukup pesat karena diantaranya didukung oleh media massa yaitu Radio Dakwah Islam (RADIS) Surakarta pada saat itu. Dinamika madrasah yang menggembirakan tersebut, selanjutnya mengilhami para mubaligh untuk menggagas dengan mengasramakan para santri ke dalam sebuah wadah berbentuk lembaga pendidikan pondok pesantren.