ইসলাম জ্ঞান শিক্ষাকে ফরয ঘোষণা করেছে। লাইব্রেরী হচ্ছে জ্ঞানসমুদ্র বা জ্ঞান সংগ্রহের চৌরাস্তা। তাই লাইব্রেরীর গুরুত্ব ইসলামে সর্বাধিক।

দুনিয়ার বিভিন্ন প্রান্ত থেকে হজ্জ ও উমরাহর জন্য যারা মক্কায় ছুটে আসে, তারা এখানে কিছু সময় কাটায় এবং অবসর থাকে। এছাড়াও মুসলিম গবেষকদের জ্ঞান গবেষণার জন্যও এখানে একটি লাইব্রেরী প্রয়োজন। তাই মসজিদে হারামের জেনারেল প্রেসিডেন্সী একটি লাইব্রেরী প্রতিষ্ঠা করেন।

মক্কার সম্মান ও মর্যাদার কারণে, বিভিন্ন যুগে মুসলিম খলীফা ও বাদশাহগণ মসজিদে হারামের লাইব্রেরীর জন্য বহু কিতাব এবং পুস্তক উপহার দিয়েছেন। তাই মসজিদে হারামের ভাণ্ডারে হিজরী ৫ শতাব্দীতে অসংখ্য কিতাব এসে জমা হয়। কোন কোন ইতিহাসে উল্লেখ করা হয়েছে যে, ঐসব বই হিজরী ৫ শতাব্দীরও আগে এসে জড়ো হয়। এটাই মসজিদে হারামের লাইব্রেরীর সূচনার জন্য দায়ী। তবে মসজিদে হারামের লাইব্রেরীর সুনির্দিষ্ট কোন তারিখ জানা যায় না। সম্ভবতঃ ৪শ' হিঃ থেকে এর সূচনা হয়।

১২৬২ হিজরীতে লাইব্রেরীটিকে 'সোলায়মানিয়া লাইব্রেরী' কিংবা 'মজিদিয়া লাইব্রেরী' বলা হত। তুর্কী সুলতান সোলায়মান এবং আবদুল মজীদের নামানুসারে ঐ নামকরণ করা হয়। পূর্বে এর নাম ছিল কুতুবখানা। তারাই মক্কার বিভিন্ন ওয়াকফ থেকে ঐসব কিতাব সংগ্রহ করে লাইব্রেরী প্রতিষ্ঠা করেন। তারপর এতে বিভিন্ন ব্যক্তিবর্গের নিজস্ব লাইব্রেরী এসে যোগ হওয়ায় ক্রমান্বয়ে লাইব্রেরীর উন্নতি হতে থাকে।

১৩৫৭ হিজরীতে বাদশাহ আবদুল আযীয মক্কার উলামায়ে কেরামকে নিয়ে লাইব্রেরীর অবস্থা সম্পর্কে একটি পূর্ণাঙ্গ রিপোর্ট প্রদানের জন্য কমিটি গঠন করেন। তারপর এতে বাদশাহ আবদুল আযীযের নিজস্ব লাইব্রেরীও যোগ করেন। ফলে, লাইব্রেরীর কিতাব সংখ্যা অনেক বৃদ্ধি পায়। এরপর লাইব্রেরীটির নামকরণ করা হয় 'মাকতাবাতুল হারাম আল-মক্কী আশ শরীফ'। এরপর এসে সৌদী আরবের বিভিন্ন আলেম ও মাশায়েখের বড় বড় নিজস্ব লাইব্রেরীসমূহ যোগ হয়। ইতিপূর্বে লাইব্রেরীটি জারওয়ালে অবস্থিত ছিল। বর্তমানে তা শারে' মনসুরে অবস্থিত। এতে বর্তমানে ১৫টি বিভাগ আছে। বক্তৃতা অনুষ্ঠানের হলে প্রত্যেক বৃহস্পতিবার সাপ্তাহিক বক্তৃতা হয়।

লাইব্রেরীতে বর্তমানে বই-এর সংখ্যা ২ লাখেরও বেশী। এছাড়াও এতে দুষ্প্রাপ্য ৬৯১৮টি মূল পাণ্ডুলিপি, ৩ হাজার মাইক্রো ফিল্ম, ৬শ' খণ্ডের ফটোকপি এবং সাড়ে ৬ হাজারেরও বেশী সাময়িকী ও পত্র-পত্রিকা রয়েছে। নারী পুরুষের লেখা-পড়ার জন্য পৃথক ব্যবস্থা রয়েছে। এছাড়াও এতে বিভিন্ন বিষয়ের উপর ৬ হাজার ক্যাসেট রয়েছে।

বর্তমানে, লাইব্রেরীর বই-এর তালিকা তৈরিতে কম্পিউটারের ব্যবহার, বই এর হেফাজতের ব্যাপারে টেলিভিশন ক্যামেরার দ্বারা পর্দায় পাঠকদের গতি-বিধি নিয়ন্ত্রণ এবং ব্রেইল পদ্ধতির মাধ্যমে অন্ধ পাঠকদের সুবিধা দানের ব্যাপারে লাইব্রেরী কর্তৃপক্ষ চিন্তা ভাবনা করছেন।

মক্কা পৌরসভা মসজিদে হারামের পূর্ব পার্শ্বে কাসাসিয়ায় ৮শ' বর্গমিটার এলাকার উপর হারাম শরীফের যেয়ারতকারীসহ ছাত্রদের জ্ঞান-গবেষণার জন্য একটি পাবলিক লাইব্রেরী প্রতিষ্ঠা করবে। কাসাসিয়া হচ্ছে, বর্তমান মসজিদে হারামের বাবে আলী ও বাবুস সালাম বরাবর হারাম শরীফের সম্প্রসারিত আঙ্গিনা সংলগ্ন।