কিছুদিন পর তিনি বায়তুল মুকাদ্দাসের উদ্দেশ্যে দামেস্ক ত্যাগ করলেন। উত্তপ্ত মরুভূমির ওপর দিয়ে পথ চলছেন। পথিমধ্যে আবু বকর আরবী নামক এক পরিচিত লোকের সাক্ষাৎ। ইমাম গায্যালীকে তিনি দেখলেন, জীর্ণ-শীর্ণ জামা গায়ে। কাঁধে পানির কলসী। ভিক্ষুকের মতো মরু-প্রান্তর বেয়ে চলেছেন। আবু বকর আরবী তাকে বাগদাদে যখন দেখেছিলেন, তখন চারশ' প্রসিদ্ধ ফকীহ তার দারসে হাজির হতো। তাই বললেন: হে ইমাম! বাগদাদে জ্ঞান চর্চা ও শিক্ষকতা কি এর চাইতে উত্তম ছিল না? ইমাম গাযযালী তার দিকে কড়া দৃষ্টিতে তাকিয়ে বললেন: "দুনিয়ার শান-শওকত অনর্থক, আমার কাছে এর মূল্য নেই।"

বায়তুল মুকাদ্দাসে পৌঁছে তিনি হযরত ইব্রাহীম আলাইহিস সালামের মাজার যেয়ারত করেন। সেখানে তিনি তিনটি প্রতিজ্ঞা করেন, যা জীবনের শেষ পর্যন্ত অক্ষরে অক্ষরে পালন করেন। এই প্রতিজ্ঞা ছিল-
১. কখনো কোনো রাজ দরবারে গমন করবো না।
২. কোনো বাদশাহ্র দান বা ভাতা গ্রহণ করবো না।
৩. কারো সাথে বিতর্কে লিপ্ত হবো না।
এরপর মাকামে খলীল হতে তিনি পবিত্র হজ্ব আদায় ও হযরত রাসূলুল্লাহ্ সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের রওযা মোবারক যেয়ারতের উদ্দেশ্যে রওনা হন। পবিত্র হজ্ব পালন ও মদীনায়ে মুনাওয়ারা যেয়ারতের পর তিনি পুনরায় স্বদেশের পথে রওনা হন। মিশর হয়ে বাগদাদে ফিরে আসেন। বাগদাদ থেকে নিরুদ্দেশ হওয়া এবং পুণরায় ফিরে আসার মধ্যে দীর্ঘ ১০টি বছর অতিবাহিত হয়। এই সফরেও তিনি কলম বন্ধ করেন নি। বিশ্ববিখ্যাত অমর গ্রন্থ ইহয়াউ উলূমুদ্দীন রচনা করেন এই সফরে।

বাগদাদে ফিরে এসে ইমাম গাযযালী মাদ্রাসা নিযামিয়ায় গেলেন না। বরং নেযামিয়া মাদ্রাসার সম্মুখস্থ আবু সাঈদ মুসাফিরখানায় অবস্থান নিলেন। দূরাগত মুসাফির ও তাদের বাহন উটগুলো এই পান্থশালায় বিশ্রাম নিত। ৩৪ বছর বয়সে রাজকীয় বেশে যখন প্রথমবার তিনি বাগদাদ প্রবেশ করেছিলেন, তখন তার গায়ের পোষাক ছিল অতি দামী। পোষাক পরিচ্ছদ ও বাহনের দাম ছিল তখনকার ২৫ দিনার স্বর্ণমুদ্রা। কিন্তু এবার বাগদাদ প্রবেশ করলেন জীর্ণ-শীর্ণ দরবেশী পোষাক গায়ে। এই পোষাক নিলাম দিলে এক দিনারেও কেউ খরিদ করবে না। বাগদাদের খলীফার সাথে গায্যালীর অতীতের ঘনিষ্ট পরিচয় থাকলেও তিনি তার সাক্ষাতে গেলেন না। মন্ত্রী আনুশিরওয়ান তাকে দেখার জন্য মুসাফিরখানায় আসলেন। কিন্তু ইমাম গাযযালী তার সাথে কথা বললেন কড়া ভাষায়। পরিষ্কার ভাষায় বললেন যে, দুনিয়া পূজারীদের সাথে উঠাবস করে জীবন অযথা নষ্ট করেছেন, তাই বাকী জীবন নির্জনতায় কাটাতে চান।

কিছুদিন বাগদাদ অবস্থানের পর ইমাম গায্যালী জন্মভূমি খোরাসানের উদ্দেশে রওনা হলেন। তুসে গিয়ে স্ত্রী ও সন্তানদের নিয়ে পুনরায় স্বাভাবিক জীবন যাপন শুরু করলেন। এ সময় তার নিয়মিত কাজের মধ্যে প্রধান কয়েকটি ছিল, পড়াশুনা, ইবাদত বন্দেগী, গ্রন্থ রচনা ও চিন্তা গবেষণা। এই নির্জনবাসেও তিনি জনসাধারণের খোঁজ-খবর রাখতেন। সেখান থেকেই জনসাধারণের সমস্যা ও রাষ্ট্রীয় বিষয়াদি সম্পর্কে মন্ত্রী ও আমীরদের কাছে চিঠি লিখতেন। তাদেরকে অন্যায় কার্যকলাপ সম্পর্কে সতর্ক করে দিতেন। অসহায় নির্যাতিত মানুষ ইমাম গায্যালীর কাছে আসতো এবং জুলুম নির্যাতনের বিরুদ্ধে তার সাহায্য নিত।