হযরত ইবরাহীম (আ) নিজ ছেলে ইসমাঈল (আ) কে নিয়ে কা'বা শরীফ তৈরির পর রাসূলুল্লাহ (সা) এর ৫ম পূর্বপুরুষ কুসাই বিন কিলাবের হাতে মক্কার শাসনভার আসার আগ পর্যন্ত, মসজিদে হারাম বলতে শুধু কা'বা শরীফকেই বুঝানো হত।

কিন্তু কুসাইর হাতে ক্ষমতা আসার পর তিনি কা'বা শরীফের চারদিকে প্রশস্ত কিছু জায়গা খালি রাখেন। সেই খালি জায়গাটুকুকেই তখন মসজিদে হারাম বলা হত। তখন কা'বার চারপাশে বৃহদাকারের ঘর-বাড়ী ছিল না এবং মসজিদে হারামের চার দিকেও সীমানা চিহ্নিতকারী কোন দেয়াল ছিল না।

ইতিপূর্বে, আমালিকা সম্প্রদায়, জোরহোম, খোযাআ' ও কুরাইশ গোত্রের লোকেরা মক্কার দুই পাহাড়ের মাঝে ঢালু পাদদেশে বাস করত। কাবার সম্মানে, তারা কা'বার পাশে কোন ঘর ও দেয়াল নির্মাণ করার সাহস করেনি।

কিন্তু কুসাই যখন খোযাআ' গোত্রের সাথে লড়াই করে মক্কার ক্ষমতা গ্রহণ করেন এবং কা'বার চাবি হস্তগত করেন, তখন তিনি কোরাইশদেরকে কা'বার চারপাশে ঘরবাড়ী তৈরী করার নির্দেশ দেন এবং তাদেরকে কা'বা থেকে দূরবর্তী স্থানে বাস না করার জন্য হুকুম দেন। তারা নাপাক অবস্থায় মক্কায় প্রবেশ করত না এবং দিনে ছাড়া মক্কায় অবস্থান করত না। সন্ধ্যা হলে তারা হারাম এলাকার বাইরে চলে যায়।

তখন কুসাই তাদেরকে বলেন, তোমরা কা'বার পার্শ্বে বাস করলে লোকেরা তোমাদেরকে ভয় করে শ্রদ্ধা করবে এবং তোমাদের বিরুদ্ধে লড়াই কিংবা তোমাদের জানমালের বিরুদ্ধে আক্রমণ করবে না। কুসাই প্রথমে উত্তর দিকে 'দারুন নাদওয়া' তৈরী করেন। তারপর তিনি অন্যান্য দিকগুলো কোরাইশদের মধ্যে ভাগ করে দেন।

কোরইশরা কা'বার চারপাশে ঘর তৈরী করে এবং কা'বামুখী দরজা লাগায়। তওয়াফকারীদের তওয়াফের জন্য কিছু জায়গা ছেড়ে দেয়া হল। প্রতি দুই ঘরের মাঝে রাস্তা নির্মাণ করা হল এবং মাতাফে আসার জন্য একটি দরজা রাখা হল। প্রত্যেক ঘর গোলাকৃতির ছিল, কোনটাই চারকোণ বিশিষ্ট ছিল না। যাতে করে চতুর্ভুজ বিশিষ্ট কা'বার সাথে তাদের ঘরের কোন সাদৃশ্য সৃষ্টি না হয়। তবে তারা কা'বার উচ্চতার চেয়ে অপেক্ষাকৃত নীচু করে ঘর তৈরি করে। কা'বার প্রতি সম্মান প্রদর্শনের উদ্দেশ্যে নীচু করে ঘর করায়, মক্কার প্রায় সকল দিক থেকে কা'বা শরীফ নজরে পড়ত। কা'বার পাশে যারা ঘর তৈরী করেছে তাদেরকে 'অভ্যন্তরীণ কোরাইশ' (قريش البواطن) বলা হত। কোরাইশদের বংশ বৃদ্ধির সাথে সাথে তাদের বাড়ী-ঘরও বৃদ্ধি পায়। রাসূলুল্লাহর যুগে, মক্কার দুই পাহাড়ের ঢালু পাদদেশ পর্যন্ত তাদের ঘর-বাড়ী সম্প্রসারিত হয়।

আযরাকী, ফাসী, কুতুবুদ্দিন হানাফী এবং মক্কার অন্যান্য ঐতিহাসিকগণ আইয়ামে জাহেলিয়াতের মসজিদে হারামের উপরোক্ত বর্ণনা দিয়েছেন। এর দ্বারা বুঝা যায় যে, জাহেলিয়াতের সময় মসজিদে হারামের কোন উল্লেখ ছিল না। কেননা, তখন নামায পড়ার বিধান ছিল না বলে তাদের মসজিদেরও দরকার হত না। জাহেলিয়াতের শুধু তওয়াফের প্রথা প্রচলিত ছিল। তবে তারা সকাল সন্ধ্যায় কাবার পার্শ্বে আসর জমাত এবং কাবার ছায়ায় বসত। এ সকল আসরে তারা নিজেদের ব্যক্তিগত ও সাধারণ আলোচনা করত। ছায়া সরে গেলে কোরাইশরাও সরে যেত। মসজিদে হারাম তথা তওয়াফের স্থানটি তাদের জনসাধারণের সাধারণ কাউন্সিলের মত ব্যবহার হত এবং পারস্পরিক স্বার্থ-সংশ্লিষ্ট বিষয়ে আলাপ আলোচনা হত। তবে দারুন-নাদওয়া ছিল এক্ষেত্রে ব্যতিক্রমধর্মী। বিশেষ শর্ত না পাওয়া গেলে, সেখানে কারুর প্রবেশাধিকার ছিল না。

ইসলামের প্রথমদিকে মক্কার নওমুসলিমগণ মোশরেকদের অত্যাচার ও নির্যাতনের ভয়ে নিজেদের ঘরে গোপনে নামায আদায় করত। এ অবস্থা দীর্ঘ তের বছর অর্থাৎ হিজরতের আগ পর্যন্ত বিদ্যমান থাকে। ঐ সময়ের মধ্যে খুবই নগণ্য সংখ্যক মুসলমান কাবার পার্শ্বে গিয়ে নামায পড়েছেন। রাসূলুল্লাহ (সা) এবং হযরত আবু বকর (রা) সহ গুটিকতক লোক সেখানে নামায পড়েছেন। নামায পড়ার কারণে তাদের উপর অত্যাচার ও নির্যাতন হয়। কোরাইশদের অত্যাচারে, অনেকে মক্কা থেকে হাবশায় (ইথিওপিয়ায়) হিজরত করেন এবং অবশিষ্ট লোকেরা মদীনায় হিজরত করেন। স্বয়ং রাসূলুল্লাহ (সা)ও হিজরত করেন। তখন দুর্বল মুসলমানরা ব্যতীত কেউ মক্কায় ছিল না এবং মক্কা প্রায় মুসলমানশূন্য হয়ে গিয়েছিল। হিজরী ৮ সালে, মক্কা বিজয়ের আগ পর্যন্ত মুসলমানরা মসজিদে হারামে নামায পড়ার সুযোগ পায়নি। মক্কা বিজয়ের পর মক্কা থেকে মুসলমানদের হিজরত বন্ধ হয়ে যায় এবং তখন থেকে তারা মসজিদে হারামে প্রকাশ্যে নামায পড়া শুরু করে। মক্কার মুসলমানরা ইসলামী সেনাবাহিনীতে যোগদান করে ইসলামের শত্রুদের মোকাবিলা করায় এবং পারস্য ও রোম সাম্রাজ্যের বিরুদ্ধে যুদ্ধে বাইরে অবস্থান করায়, রাসূলুল্লাহ (সা) এর জীবদ্দশায় এবং স্বয়ং হযরত আবু বকর সিদ্দিক (রা) এর খেলাফত আমলে মক্কায় তাদের সংখ্যা অত্যন্ত কম ছিল।

সেজন্য তওয়াফের জন্য নির্দিষ্ট স্থানে নামাযের সংকুলান হয়ে যেত। তাই তখন মসজিদে হারামের সম্প্রসারণের কোন প্রয়োজন দেখা দেয়নি। রাসূলুল্লাহ (সা) এবং হযরত আবু বকর (রা) এর আমলেও তওয়াফের জন্য নির্ধারিত স্থানকেই মসজিদে হারাম বলা হত। পবিত্র কুরআন মজীদের ১৫ জায়গায় ঐ স্থানটুকুকেই মসজিদে হারাম বলে উল্লেখ করা হয়েছে।

তখন মাতাফের (তওয়াফের স্থান) পূর্বদিকে যমযম কূপ ও বাব বনি শায়বা ছিল এবং বাকী তিনদিকের সীমানায় পূর্বে কিছু খুঁটি মওজুদ ছিল। বর্তমানে কোন চিহ্ন নেই। সম্ভবতঃ সে সকল দিকেও পূর্বদিকের সমান পরিমাণ জায়গা ছিল। কেউ কেউ বলেছেন, মাতাফের চারপাশের স্তম্ভগুলো পর্যন্ত, রাসূলুল্লাহ (সা) এবং হযরত আবু বকর (রা) এর সময়ে, মসজিদে হারামের সীমানা ছিল। এ ব্যাপারে শাবরাখীতি 'শরহুল খলীল' নামক বইতে লিখেছেন যে, ঐ স্তম্ভগুলো বলতে মাতাফের সীমান্তে তামার পিলারগুলোকে বুঝায় যেগুলোতে বাতি রাখা হয়েছে। কিন্তু বর্তমানে সেগুলোরও কোন অস্তিত্ব নেই। তাই সেই সময়ের মাতাফ তথা মসজিদে হারামের সঠিক সীমানা এবং আয়তন নির্ধারণ করা কঠিন ব্যাপার।