বাগদাদ ত্যাগের সময় প্রচার করলেন যে, হজ্বে যাচ্ছেন। কারণ, যদি এই সাধনার পথে ধৈর্য্য ধারণ করতে না পারেন এবং ফিরে আসতে হয়, তাহলে যেন নিযামিয়ার ফকীহ্রা তার ব্যর্থতার কোনো গন্ধ না পায়। শীতের মৌসুমেই তিনি সিরিয়ার উদ্দেশ্যে যাত্রা করলেন। জীবনের সকল সুখ-সম্ভোগ ও শান-শওকত বর্জন করে দরবেশদের জীর্ণ-শীর্ণ পোষাক এখন তার গায়ে শোভা পাচ্ছে। সু-প্রসিদ্ধ ইমাম গায্যালী একজন অচেনা মুসাফির হয়ে দামেস্কে প্রবেশ করলেন। দামেস্কের (উমাইয়া) মসজিদে নির্জনবাস শুরু করলেন। নির্জনবাসে মানব আত্মার বিস্ময় ও রহস্যগুলো উদঘাটন ও গবেষণা করবেন- এই তার সিদ্ধান্ত। দামেস্কের জামে মসজিদের পাশে লঙ্গরখানা ছিল আগন্তুক ও একান্ত-বাসকারীদের জন্যে। কিন্তু ইমাম গাযযালী সেখান থেকে কোনো সাহায্য গ্রহণ করতেন না। বাগদাদ ত্যাগের সময়ই প্রতিজ্ঞা করেছিলেন যে, কেবল নিজের পরিশ্রমের অর্থ দিয়েই জীবিকা নির্বাহ করবেন। কারো কাছ থেকে কোনো দান বা সাহায্য গ্রহণ করবেন না। সিদ্ধান্ত মোতাবেক যতদিন নির্জনবাস ও দূর দূরান্তে সফর করেছেন, ততদিন হয়ত কোরআন মজীদ নকল করার অর্থ দিয়ে জীবিকা নির্বাহ করেছেন, নতুবা কঠোর দৈহিক পরিশ্রমের আয় দিয়ে।

কিছুদিন পর তিনি বায়তুল মুকাদ্দাসের উদ্দেশ্যে দামেস্ক ত্যাগ করলেন। উত্তপ্ত মরুভূমির ওপর দিয়ে পথ চলছেন। পথিমধ্যে আবু বকর আরবী নামক এক পরিচিত লোকের সাক্ষাৎ। ইমাম গায্যালীকে তিনি দেখলেন, জীর্ণ-শীর্ণ জামা গায়ে। কাঁধে পানির কলসী। ভিক্ষুকের মতো মরু-প্রান্তর বেয়ে চলেছেন। আবু বকর আরবী তাকে বাগদাদে যখন দেখেছিলেন, তখন চারশ' প্রসিদ্ধ ফকীহ তার দারসে হাজির হতো। তাই বললেন: হে ইমাম! বাগদাদে জ্ঞান চর্চা ও শিক্ষকতা কি এর চাইতে উত্তম ছিল না? ইমাম গাযযালী তার দিকে কড়া দৃষ্টিতে তাকিয়ে বললেন: "দুনিয়ার শান-শওকত অনর্থক, আমার কাছে এর মূল্য নেই।"

বায়তুল মুকাদ্দাসে পৌঁছে তিনি হযরত ইব্রাহীম আলাইহিস সালামের মাজার যেয়ারত করেন। সেখানে তিনি তিনটি প্রতিজ্ঞা করেন, যা জীবনের শেষ পর্যন্ত অক্ষরে অক্ষরে পালন করেন। এই প্রতিজ্ঞা ছিল-
১. কখনো কোনো রাজ দরবারে গমন করবো না।
২. কোনো বাদশাহ্র দান বা ভাতা গ্রহণ করবো না।
৩. কারো সাথে বিতর্কে লিপ্ত হবো না।
এরপর মাকামে খলীল হতে তিনি পবিত্র হজ্ব আদায় ও হযরত রাসূলুল্লাহ্ সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের রওযা মোবারক যেয়ারতের উদ্দেশ্যে রওনা হন। পবিত্র হজ্ব পালন ও মদীনায়ে মুনাওয়ারা যেয়ারতের পর তিনি পুনরায় স্বদেশের পথে রওনা হন। মিশর হয়ে বাগদাদে ফিরে আসেন। বাগদাদ থেকে নিরুদ্দেশ হওয়া এবং পুণরায় ফিরে আসার মধ্যে দীর্ঘ ১০টি বছর অতিবাহিত হয়। এই সফরেও তিনি কলম বন্ধ করেন নি। বিশ্ববিখ্যাত অমর গ্রন্থ ইহয়াউ উলূমুদ্দীন রচনা করেন এই সফরে।

বাগদাদে ফিরে এসে ইমাম গাযযালী মাদ্রাসা নিযামিয়ায় গেলেন না। বরং নেযামিয়া মাদ্রাসার সম্মুখস্থ আবু সাঈদ মুসাফিরখানায় অবস্থান নিলেন। দূরাগত মুসাফির ও তাদের বাহন উটগুলো এই পান্থশালায় বিশ্রাম নিত। ৩৪ বছর বয়সে রাজকীয় বেশে যখন প্রথমবার তিনি বাগদাদ প্রবেশ করেছিলেন, তখন তার গায়ের পোষাক ছিল অতি দামী। পোষাক পরিচ্ছদ ও বাহনের দাম ছিল তখনকার ২৫ দিনার স্বর্ণমুদ্রা। কিন্তু এবার বাগদাদ প্রবেশ করলেন জীর্ণ-শীর্ণ দরবেশী পোষাক গায়ে। এই পোষাক নিলাম দিলে এক দিনারেও কেউ খরিদ করবে না। বাগদাদের খলীফার সাথে গায্যালীর অতীতের ঘনিষ্ট পরিচয় থাকলেও তিনি তার সাক্ষাতে গেলেন না। মন্ত্রী আনুশিরওয়ান তাকে দেখার জন্য মুসাফিরখানায় আসলেন। কিন্তু ইমাম গাযযালী তার সাথে কথা বললেন কড়া ভাষায়। পরিষ্কার ভাষায় বললেন যে, দুনিয়া পূজারীদের সাথে উঠাবস করে জীবন অযথা নষ্ট করেছেন, তাই বাকী জীবন নির্জনতায় কাটাতে চান।