এক মহিলার হাতের আগুনের স্ফুলিঙ্গ থেকে কাবা শরীফে আগুন লাগে এবং গেলাফ জ্বলে যায়। ফলে চারদিকের দেয়াল দুর্বল হয়ে পড়ে। দেয়ালের বাইর দিয়ে গেলাফে কা'বা ঝুলানো হত এবং উপর থেকে ভেতর দিয়ে তা বাঁধা হত। কোরাইশরা কা'বা পুনঃনির্মাণের উদ্দেশ্যে তা ভাংগল। কিন্তু কাবার ধ্বংসাবশেষ সরানোর ব্যাপারে তারা ভয়-ভীতির সম্মুখীন হল। পরে ওলীদ বিন মুগীরা কাবা শরীফের ১ম পাথরটি সরিয়ে বলেন, 'হে আল্লাহ, অসন্তুষ্ট হয়োনা। আমাদের উদ্দেশ্য মহৎ।' পরে সব লোক ওলীদ বিন মুগীরাকে অনুসরণ করে পাথর সরানোর কাজে লেগে যায়। তারা কা'বা শরীফকে আরো বড় করে। ফলে, তারা বাড়তি পাথরগুলো, হেরা পাহাড়, সাবির পাহাড়, তায়েফ ও আরাফাতের মধ্যবর্তী পাহাড়সমূহ, খন্দমা এবং বর্তমানে মক্কার যাহেরের নিকটবর্তী হালহালা পাহাড় থেকে কুড়িয়ে আনে।

নবী করীম (সা) এর নবুওতের ৫ বছর আগে, অর্থাৎ তাঁর ৩৫ বছর বয়সে, কোরাইশরা কাবা শরীফ নির্মাণ করেন। তারা হিজরে ইসমাঈলের দিকে, কাবা শরীফের সাড়ে ৬ হাত দৈর্ঘ্য কমিয়ে দেয়। অর্থের অভাবেই তারা কাবা শরীফের দৈর্ঘ্য কমিয়েছিল। তারা হিজরে ইসমাঈলের চারদিকে একটি ছোট দেয়াল নির্মাণ করে। লোকেরা এই দেয়ালের পেছন দিয়ে তওয়াফ করত। তারা কা'বা শরীফের দরজা উঁচু করে নির্মাণ করে যেন ভেতরে বন্যার পানি না ঢুকে এবং তারা যাকে ইচ্ছা তাকে ঢুকতে দেয় এবং যাকে ইচ্ছা তাকে ঢুকতে বাধা দিতে পারে। তারা বিনা জোড়ায় এক অংশ বিশিষ্ট কাবার দরজা তৈরি করে এবং উপহার সামগ্রী রাখার জন্য ভেতরের গভীরে ভাণ্ডারটিকে টিকিয়ে রাখে। তারা ভেতরে দুই সারিতে তিনটি করে মোট ৬টি খুঁটি দেয় এবং কাবা শরীফের ছাদ দেয় ও উত্তর দিকে হিজরে ইসমাঈলের উপর পানি পড়ার জন্য ছাদে নল লাগায়। এই নলটিকে 'মীযাব' বলা হয়। তারা কাবা শরীফের উচ্চতা হযরত ইবরাহীম (আ) এর নির্মিত কাবার উচ্চতার চেয়ে ৯ হাত বেশী বাড়িয়ে ১৮ হাত করে। তারা কাবা শরীফের কোণ তৈরির ব্যাপারে হযরত ইবরাহীম (আ) এর পদ্ধতিকেই অব্যাহত রাখে। ফলে দুটো কোণ তৈরি করে হিজরে ইসমাঈলের দিককে গোলাকার রেখে দেয়। শুধু তাই নয়, লোকেরা কাবা শরীফের প্রতি সম্মানের উদ্দেশ্যে, নিজেরাও গোলাকৃতির ঘর তৈরি শুরু করে। প্রথমে, হোসাইদ বিন যোহাইর কাবার অনুকরণে মক্কায় গোলাকৃতির ঘর তৈরি করে।

কোরাইশরা কাবা শরীফ নির্মাণের ব্যাপারে রোমের বাকুম নামক একজন কাঠমিস্ত্রী ও রাজমিস্ত্রীর সাহায্য নেয়। সে ইয়েমেনের এডেন সমুদ্রোপকূলে ব্যবসা করত। সে নৌকা ভর্তি কাঠ নিয়ে এসেছিল। সে যখন মক্কা থেকে ১২০ কিলোমিটার দক্ষিণে লোহিত সাগরের শোয়াইবিয়া উপকূলে পৌঁছল, তখন তার নৌকা ভেঙ্গে গেল। কোরাইশরা খবর পেয়ে কাবা শরীফের ছাদ নির্মাণের জন্য তার কাছ থেকে কাঠ ক্রয় করল। কোরাইশরা বাকুমের সাথে সিরিয়ান নির্মাণ পদ্ধতিতে, কাবা শরীফ নির্মাণ এবং সে সহ তার সফরসঙ্গীদের সাথে এ মর্মে শর্ত করে যে, তারা মক্কায় প্রবেশ করে তাদের সাথে আনা পণ্যদ্রব্য বিক্রী করে ফিরে যাবে এবং মক্কায় বসবাস করবে না। কাবার নির্মাণ কাজ শেষে বাকুম জিজ্ঞেস করল যে, কাবার ছাদ তৈরি করা হবে কিনা? কোরাইশরা ছাদ তৈরির ব্যাপারে সিদ্ধান্ত নিল। তখন বাকুম কাবার ছাদ তৈরি করে।

কিন্তু কোরাইশদের কাবা নির্মাণের সময় উল্লেখযোগ্য ঘটনাটি ঘটে হাজারে আসওয়াদকে তার স্থানে বসানোর ব্যাপারে। কে এই পাথরকে যথাস্থানে বসানোর সম্মান অর্জন করবে, এই নিয়ে কোরাইশদের মধ্যে চরম মতবিরোধ দেখা দেয়। কোরাইশদের ১২টি শাখা বা গোত্রের কেউ একে অপরকে এই শ্রেষ্ঠত্ব অর্জনের সুবিধে দিতে নারাজ। এই নিয়ে লড়াই এর আশংকা দেখা দিল। শেষ পর্যন্ত সবাই মিলে সিদ্ধান্ত নিল যে, পরের দিন ভোরে প্রথম যে ব্যক্তি কাবা শরীফে আগমন করবে সে এই সমস্যার সমাধান করবে। পরের দিন সকালে, সবার নজর সেই আগমনকারী ব্যক্তির দিকে। সেইদিন আরবের সবচাইতে নির্ভরযোগ্য ও বিশ্বাসী বলে উপাধিপ্রাপ্ত ব্যক্তি মুহাম্মদ বিন আবদুল্লাহ প্রথম কাবায় আগমন করেন। স্বভাবতঃই ফয়সালার ভার পড়ে তাঁর উপর। তিনি একটি চাদর বিছিয়ে নিজ হাতে হাজারে আসওয়াদকে এর উপর রাখেন এবং কোরাইশের প্রত্যেক গোত্রের নেতাদেরকে চাদর ধরে তা উপরে উঠানোর আহ্বান জানান। পরে তিনি নিজ হাতে হাজারে আসওয়াদকে বসিয়ে ঐ কঠিন সমস্যার বিজ্ঞ সমাধান করেন। এতে সবাই অংশগ্রহণের সুযোগ পেয়ে খুশী হয়। মক্কার প্রখ্যাত অংকন শিল্পী তাহের কুর্দী হযরত ইবরাহীম (আ) এর নির্মিত কাবা এবং কোরাইশদের নির্মিত কাবার পার্থক্য দেখিয়ে দুটো ছবি বা ডিজাইন অংকন করেছেন। আহমদ আস-সিবায়ী তার تاريخ مَكَّةَ মক্কার ইতিহাস বইতে সে দুটো ডিজাইন ছেপেছেন।

দুই কারণে, হযরত আবদুল্লাহ বিন যোবায়ের (রা) কাবা শরীফ নির্মাণ করেন। প্রথমটি হচ্ছে, খেলাফত নিয়ে তাঁর সাথে ইয়াজিদ বিন মুয়াবিয়ার (রা) যুদ্ধ। ইয়াজিদের বাহিনী মক্কা আক্রমণ করলে, আবদুল্লাহ বিন যোবায়ের (রা) তাঁর দলবল নিয়ে কাবা শরীফের চারপাশে তথা মসজিদে হারামে আশ্রয় নেন। তাঁরা রোদ থেকে বাঁচার জন্য মসজিদে হারামে তাঁবু দাঁড় করান। ইয়াজিদের সেনাবাহিনী প্রধান হোসাইন, মেনজানিক দ্বারা হারাম শরীফে পাথর নিক্ষেপ করে। এর ফলে, পাথর কা'বা শরীফের গায়ে লেগে দেয়ালে ফাটল সৃষ্টি হয় এবং দেয়াল দুর্বল হয়ে পড়ে।

দ্বিতীয় কারণ হচ্ছে, ঐ একই সময়ে, এক ব্যক্তি তাঁবুগুলোর একটিতে আগুন জ্বালায়। তখন খুব জোরে বাতাস প্রবাহিত হচ্ছিল। এর ফলে, আগুনের একটি স্ফুলিঙ্গ কাবা শরীফের গেলাফে লেগে আগুন ধরে যায়। তখন গেলাফ জ্বলে যায় এবং দেয়ালে আরো বেশী ফাটল ধরে।

ইয়াজিদ বাহিনী যখন হযরত আবদুল্লাহ বিন যোবায়েরের বিরুদ্ধে অবরোধ প্রত্যাহার করে, তখন হযরত আবদুল্লাহ বিন যোবায়ের কাবা শরীফ ভেঙ্গে একে হযরত ইবরাহীম (আ) এর ভিত্তির উপর পুনঃনির্মাণ করার ইচ্ছা প্রকাশ করেন। কোরাইশরা অর্থাভাবে, হযরত ইবরাহীম (আ) এর পুরো ভিত্তির উপর কাবা পুনঃনির্মাণ না করে, হিজরে ইসমাঈলের দিকে ৬ হাত ১ বিঘত পরিমাণ কাবার অংশ ছেড়ে দেয়। যাই হোক হযরত আবদুল্লাহ বিন আব্বাসসহ অনেক বড় বড় সাহাবায়ে কেরাম (রা) এই প্রস্তাবের সাথে একমত হলেন না। হযরত আবদুল্লাহ বিন যোবায়ের যখন কাবাঘর ভেঙ্গে পুনঃনির্মাণের চূড়ান্ত সিদ্ধান্ত নেন এবং কাবাঘর ভাঙ্গার জন্য অগ্রসর হন তখন মক্কার বহু লোক আযাবের ভয়ে মক্কা ছেড়ে মিনায় চলে যান। হযরত ইবনে যোবায়ের একদল নিগ্রোকে কাবা শরীফ ভাঙ্গার জন্য নিযুক্ত করেন তারা সম্পূর্ণ কাবা ভেঙ্গে যমীনের সাথে সমতল করে ফেলে।

হিজরী ৬৪ সালের ১৫ই জুমাদাল উলা, রোজ শনিবার কাবা শরীফকে ভেঙ্গে পরে তা হযরত ইবরাহীম (আ)-এর ভিত্তির উপর পুনঃনির্মাণ করা হয়। কোরাইশরা হিজরে ইসমাইলের সাথে কাবা শরীফের যে অংশ বাদ রেখেছিল ইবনে যোবায়ের সেই অংশকে পুনরায় কাবা শরীফের অন্তর্ভুক্ত করেন। কোরাইশরা কাবার উচ্চতা, হযরত ইবরাহীম (আ) এর নির্মিত উচ্চতার চাইতে ৯ হাত বেশী বাড়িয়েছিল। ইবনে যোবায়ের সেই উচ্চতাকে আরো ৯ হাত বাড়ান। ফলে, কাবা শরীফের মোট উচ্চতা ২৭ হাতে গিয়ে দাঁড়ায়। তিনি কাবার দুটো দরজা লাগান। একটি তো এখন পর্যন্তই বিদ্যমান। অপরটি সামনের দরজা বরাবর পেছনের দিকে। পরবর্তীকালে পেছনের দরজাটি বন্ধ করে দেয়া হয়েছে।

তিনি এ ব্যাপারে এবং হিজরে ইসমাঈলের দিক থেকে কাবার যে অংশ কুরাইশরা কাবা শরীফের বাইরে রেখেছিল, সে অংশটুকুকে পুনরায় কাবা শরীফের ভেতর অন্তর্ভুক্ত করার জন্য তাঁর খালা হযরত আয়িশা (রা) এর বর্ণিত একটি হাদীসের উপর নির্ভর করেন। যাই হোক, তিনি ভেতরে, এক সারিতে তিনটি খুঁটি তৈরি করেন এবং রোকনে শামীর ভেতরের কোণে একটি সিঁড়ি তৈরি করেন। ঐ সিঁড়ি দিয়ে ছাদে উঠার ব্যবস্থা করেন। ছাদের পানি নিষ্কাশনের জন্য একটি নল লাগান। ঐ নল দিয়ে ছাদের পানি হিজরে ইসমাঈল বা হাতীমে কাবায় পড়ে।

কথিত আছে যে, তিনি ইয়েমেন থেকে চুনা সংগ্রহ করে তা দিয়ে কাবা শরীফ নির্মাণ করেন। অন্য এক বর্ণনায় এসেছে যে, তিনি সীসা গলিয়ে এতে ইয়েমেনের ওয়ারস নামক হলুদ রং এর ঘাসের রং মিশ্রিত করে তা দিয়ে পাথরের গাঁথুনী দেন। কাবা শরীফের নির্মাণ কাজ শেষে তিনি কাবা শরীফের ভেতর মেল্ক আম্বর এবং বাইরের দেয়ালের উপর থেকে নীচ পর্যন্ত মেশক ছিটান। তারপর রেশমী কাপড় দিয়ে গেলাফ দেন। কেউ কেউ বলেছেন, তিনি মিসরের তৈরি প্রখ্যাত কাবাতী কাপড় দিয়ে গেলাফ দেন। সেই দিনটি বড়ই উল্লেখযোগ্য। কেননা, সেই দিনের চেয়ে অন্য কোন দিন এত বেশী গোলাম আজাদ হয়নি কিংবা এর চেয়ে অধিক সংখ্যক উট ও বকরী কোরবানী হয়নি। তারপর হযরত ইবনে যোবায়ের খালি পায়ে হেঁটে তানয়ীমের মসজিদে আয়েশায় যান। তাঁর সাথে বহু কোরাইশও পায়ে হেঁটে সেখানে যান। তাঁরা সবাই আল্লাহর শোকরিয়া আদায়ের জন্য সেখান থেকে উমরাহর এহরাম পরেন। হযরত ইবরাহীম (আ) এর ভিত্তির উপর কাবা নির্মাণ করার সুযোগের জন্য তাঁরা এর শুকরিয়া স্বরূপ এই উমরাহ করেন।

হাজ্জাজ বিন ইউসুফ কাবা শরীফের আংশিক মেরামত করেছেন, পূর্ণাঙ্গ মেরামত করেননি। তাও আবার দীনী উদ্দেশ্যের চাইতে অধিক রাজনৈতিক উদ্দেশ্য প্রণোদিত। হযরত আবদুল্লাহ বিন যোবায়ের (রা) এর শাহদাতের পর হাজ্জাজ উমাইয়া খলীফা আবদুল মালেক বিন মারওয়ানের কাছে চিঠি লিখলেন যে, ইবনে যোবায়ের কাবার বহির্ভূত অংশকে কাবার ভেতর ঢুকিয়েছেন এবং কাবার ২য় আরেকটি দরজা নির্মাণ করেছেন। তিনি কাবা শরীফকে সাবেক অবস্থায় ফিরিয়ে নেয়ার জন্য কাবা মেরামতের উদ্দেশ্যে তাঁর অনুমতি প্রার্থনা করেন। আবদুল মালেক তাকে অনুমতি দেন। ফলে তিনি কাবা শরীফের কিছু পরিবর্তন করেন এবং কাবা শরীফকে আরো ছোট করেন। বর্ণিত আছে যে, আবদুল মালেক হাজ্জাজকে ঐ অনুমতি দিয়ে পরে লজ্জিত হয়েছিলেন। সম্ভবতঃ হাজ্জাজ, ইবনে যোবায়েরের প্রতি হিংসা-বিদ্বেষ স্বরূপ, তাঁর সকল স্মৃতি ও কর্মের প্রভাব মুছে ফেলার উদ্দেশ্যেই ইবনে যোবায়ের নির্মিত কাবার পরিবর্তন সাধন করেন।