Pada saat itu, kebanyakan penduduk Jailan bermazhab Hanbali, sehingga al-Jailani pun juga Hanbali. Hal inilah yang selanjutnya memantik keinginannya untuk pergi ke Baghdad sebagai pusat keilmuan mazhab Hanbali sekaligus kiblat ilmu pengetahuan di masa dinasti Abbasiyah.
Selepas mendapatkan ilmu pengetahuan dari kampung halamannya sendiri, al-Jailani kemudian pindah ke Baghdad pada tahun 1095 M pada usia 18 tahun.
Baca Juga: Pembangunan di Aspek Keagamaan, Pemkab Polewali Mandar Tekankan Pentingnya Kualitas di Dalam Masjid
Sebuah riwayat menyebutkan bahwa saat ia berangkat, ibunya memiliki 80 dinar warisan dari sang ayah yang akan diberikan semuanya kepada al-Jilani.
Hanya separuh yang al-Jilani ambil dari harta warisan tersebut, sisanya ia berikan kepada ibunya. Agar terhindar dari perampok, al-Jailani menyimpan uang itu di saku yang dijahit dibawah ketiak.
Selain menempuh pendidikan di Baghdad, al-Jailani juga diriwayatkan seringkali melakukan pengembaraan dalam rangka penyucian jiwanya. Sebagaimana diceritakan oleh al-Barzanji bahwa hal ini berlangsung selama lebih dari 25 tahun.
Baca Juga: Rahasia di Balik Amar Ma’ruf dan Nahi Munkar
Kesibukan menuntut ilmu dan berkelana inilah yang juga membuat al-Jailani baru menikah saat sudah berusia 51 tahun. Tepatnya pada tahun 521 H. Ia memiliki 4 orang istri dan 49 anak. Diantara anak-anak tersebut, yang cukup dikenal ialah: