বর্ণিত আছে যে, ইমাম গাযযালীর ভাই আহমদ গায্যালীর সাথে কিছু কথাবার্তা ও রূহানী ঘটনা ইমাম গায্যালীকে বাগদাদের শান-শওকত ত্যাগ করতে অনুপ্রাণিত করেছিল। আহমদ গায্যালী বহু বছর একসঙ্গে তার সাথে লেখাপড়া করেছেন। কিন্তু প্রথম জীবন থেকে আধ্যাত্মিক সাধনার দিকেই তার মনোযোগ ছিল। একদিনের ঘটনা, ইমাম গাযযালী খুব গর্ব অহংকার সহকারে ওয়াজ করছিলেন। তখন আহমদ গায্যালী এসে শান্তভাবে তার সামনে একটি কবিতা পাঠ করলেন, যা তাকে দারূণভাবে প্রভাবিত করেছিল। কবিতাটির ভাবধারা ছিল :
কেন তুমি অপরকে হেদায়াত করছো, অন্যকে পথ দেখাচ্ছ, অথচ নিজে পেছনে পড়ে আছ?
ইমাম মুহাম্মদ গায্যালীর ভাই ইমাম আহমদ গায্যালী সে যুগের একজন শ্রেষ্ঠ ওলী ছিলেন। ইরফান সম্পর্কে তিনি কয়েকটি কিতাব রচনা করেন। ফার্সী ও আরবীতে তিনি কবিতা রচনা করতেন। তার বহু আধ্যাত্মিক শিষ্য ছিল। তন্মধ্যে দুজন প্রসিদ্ধ শিষ্যের নাম আইনুল কুজাত হামাদানী ও সানায়ী গাযনাবী। মাওলানা জালালুদ্দীন রূমী (রহ)-এর বিশ্ববিখ্যাত মসনবী শরীফের ব্যাখ্যাগ্রন্থ 'জাওয়াহেরুল আসরারে' ইমাম মুহাম্মদ ও আহমদ গায্যালীর মধ্যে আধ্যাত্মিক রহস্য সম্পর্কিত কয়েকটি ঘটনার উল্লেখ আছে, যা নিশ্চিতভাবে ইমাম গায্যালীর মধ্যে আধ্যাত্মিক বিপ্লবের পটভূমি রচনা করেছিল।
যাই হোক, পূর্ব থেকে ইমাম গায্যালীর অন্তরে যে চিন্তা ও সিদ্ধান্তহীনতা বিরাজ করছিল এবং রূহানী বিপ্লবের চেতনার সূত্রপাত হয়েছিল তা এখন বাস্তবে রূপ নেয়া শুরু হয়। অবস্থা এতদূর পৌঁছে যে, তিনি কথা বলার জন্যে মুখ খুলতেও পারেন না। কারো সাথে কথা বলতে মন চায় না। এমনকি একবার ছাত্রদের দরসের মজলিসে (ক্লাসে) যাবার সময় ভেবে দেখেন যে, কথা বলার কোনো প্রস্তুতি তার মধ্যে নেই। সারাক্ষণ ব্যথিত ও চিন্তাগ্রস্থ। খাওয়া ও ঘুমের রুচিও নেই। মনে মনে সিদ্ধান্ত নিলেন, বাগদাদ ত্যাগ করবেন। নিজের সম্পদের বিরাট অংশ অভাবী লোকদের মধ্যে বন্টন করে দিবেন। সিদ্ধান্ত মোতাবেক ১০৯৫/৪৮৮ হিজরীর রজব মাসে বাগদাদের নিযামিয়া মাদ্রাসার অধ্যক্ষের পদ ছেড়ে দিলেন। আর ভাই আহমদকে নিজের পক্ষ হতে নিযামিয়া মাদ্রাসার অধ্যক্ষের দায়িত্বে নিয়োগ করলেন। গরীবদের বন্টন করে দেয়ার পর নিজের বাকী সামান্য অর্থ সম্পদ স্ত্রী ও সন্তানদের ভরণ পোষণের জন্যে রেখে দিলেন। এভাবে দুনিয়া পূজার সাথে শেষ সম্পর্কটুকু ছিন্ন করলেন। হয়ত তখনও মনের আসল কথা প্রকাশ করতে চাচ্ছিলেন না। কারণ, এর পূর্বেও বহুবার দুনিয়া-পূজা থেকে মুক্তি ও পলায়নের সিদ্ধান্ত নিয়েছিলেন। কিন্তু বাগদাদের আকর্ষণ তাকে এমন চিন্তা বাদ দিতে বাধ্য করে। এবার শেষ পর্যন্ত যখন বাগদাদ ত্যাগ করলেন, তখন সত্যিসত্যি গোটা দুনিয়াকে পায়ের তলায় পিষ্ট করেই আল্লাহর মা'রেফাতের সন্ধানে বের হলেন।

বাগদাদ ত্যাগের সময় প্রচার করলেন যে, হজ্বে যাচ্ছেন। কারণ, যদি এই সাধনার পথে ধৈর্য্য ধারণ করতে না পারেন এবং ফিরে আসতে হয়, তাহলে যেন নিযামিয়ার ফকীহ্রা তার ব্যর্থতার কোনো গন্ধ না পায়। শীতের মৌসুমেই তিনি সিরিয়ার উদ্দেশ্যে যাত্রা করলেন। জীবনের সকল সুখ-সম্ভোগ ও শান-শওকত বর্জন করে দরবেশদের জীর্ণ-শীর্ণ পোষাক এখন তার গায়ে শোভা পাচ্ছে। সু-প্রসিদ্ধ ইমাম গায্যালী একজন অচেনা মুসাফির হয়ে দামেস্কে প্রবেশ করলেন। দামেস্কের (উমাইয়া) মসজিদে নির্জনবাস শুরু করলেন। নির্জনবাসে মানব আত্মার বিস্ময় ও রহস্যগুলো উদঘাটন ও গবেষণা করবেন- এই তার সিদ্ধান্ত। দামেস্কের জামে মসজিদের পাশে লঙ্গরখানা ছিল আগন্তুক ও একান্ত-বাসকারীদের জন্যে। কিন্তু ইমাম গাযযালী সেখান থেকে কোনো সাহায্য গ্রহণ করতেন না। বাগদাদ ত্যাগের সময়ই প্রতিজ্ঞা করেছিলেন যে, কেবল নিজের পরিশ্রমের অর্থ দিয়েই জীবিকা নির্বাহ করবেন। কারো কাছ থেকে কোনো দান বা সাহায্য গ্রহণ করবেন না। সিদ্ধান্ত মোতাবেক যতদিন নির্জনবাস ও দূর দূরান্তে সফর করেছেন, ততদিন হয়ত কোরআন মজীদ নকল করার অর্থ দিয়ে জীবিকা নির্বাহ করেছেন, নতুবা কঠোর দৈহিক পরিশ্রমের আয় দিয়ে।

কিছুদিন পর তিনি বায়তুল মুকাদ্দাসের উদ্দেশ্যে দামেস্ক ত্যাগ করলেন। উত্তপ্ত মরুভূমির ওপর দিয়ে পথ চলছেন। পথিমধ্যে আবু বকর আরবী নামক এক পরিচিত লোকের সাক্ষাৎ। ইমাম গায্যালীকে তিনি দেখলেন, জীর্ণ-শীর্ণ জামা গায়ে। কাঁধে পানির কলসী। ভিক্ষুকের মতো মরু-প্রান্তর বেয়ে চলেছেন। আবু বকর আরবী তাকে বাগদাদে যখন দেখেছিলেন, তখন চারশ' প্রসিদ্ধ ফকীহ তার দারসে হাজির হতো। তাই বললেন: হে ইমাম! বাগদাদে জ্ঞান চর্চা ও শিক্ষকতা কি এর চাইতে উত্তম ছিল না? ইমাম গাযযালী তার দিকে কড়া দৃষ্টিতে তাকিয়ে বললেন: "দুনিয়ার শান-শওকত অনর্থক, আমার কাছে এর মূল্য নেই।"

বায়তুল মুকাদ্দাসে পৌঁছে তিনি হযরত ইব্রাহীম আলাইহিস সালামের মাজার যেয়ারত করেন। সেখানে তিনি তিনটি প্রতিজ্ঞা করেন, যা জীবনের শেষ পর্যন্ত অক্ষরে অক্ষরে পালন করেন। এই প্রতিজ্ঞা ছিল-
১. কখনো কোনো রাজ দরবারে গমন করবো না।
২. কোনো বাদশাহ্র দান বা ভাতা গ্রহণ করবো না।
৩. কারো সাথে বিতর্কে লিপ্ত হবো না।
এরপর মাকামে খলীল হতে তিনি পবিত্র হজ্ব আদায় ও হযরত রাসূলুল্লাহ্ সাল্লাল্লাহু আলাইহি ওয়াসাল্লামের রওযা মোবারক যেয়ারতের উদ্দেশ্যে রওনা হন। পবিত্র হজ্ব পালন ও মদীনায়ে মুনাওয়ারা যেয়ারতের পর তিনি পুনরায় স্বদেশের পথে রওনা হন। মিশর হয়ে বাগদাদে ফিরে আসেন। বাগদাদ থেকে নিরুদ্দেশ হওয়া এবং পুণরায় ফিরে আসার মধ্যে দীর্ঘ ১০টি বছর অতিবাহিত হয়। এই সফরেও তিনি কলম বন্ধ করেন নি। বিশ্ববিখ্যাত অমর গ্রন্থ ইহয়াউ উলূমুদ্দীন রচনা করেন এই সফরে।