এসইও শিখুন: ৫ম পর্ব

ক্রলিং: আপনার পেজগুলো কি সার্চ ইঞ্জিন খুঁজে পাবে?

আপনি ইতিমধ্যে জেনেছেন যে, আপনার সাইটটি SERP-এ দেখানোর পূর্বশর্ত হলো সাইটটিকে অবশ্যই সার্চইঞ্জিন ক্রল ও ইনডেক্স করতে হবে। আপনার যদি নিজস্ব কোন ওয়েবসাইট থাকে, তবে চেক করে দেখুন যে কতগুলো পেজ ইনডেক্স হয়েছে। তাতে আপনি জানতে পারবেন আপনার ওয়েবসাইটকে গুগল ক্রল ও ইনডেক্স করতে পারছে কি না।

সাইটের ইনডেক্স চেক করার একটি পদ্ধতি হল, “site: yourdomain.com” আপনি গুগলের সার্চ বারে ‘site:yourdomain.com’ লিখে সার্চ করলে গুগল সুনির্দিষ্টভাবে আপনাকে সাইটের ইনডেক্সকৃত পেজের সংখ্যা এবং পেজগুলা দেখাবে।

নিচের ছবিতে দেখুন।

ওপরের ছবিটি একটি ইনডেক্সকৃত পেজের সংখ্যা চেক করার পদ্ধতি

যদিও গুগল যে সংখ্যাটা দেখায় তা প্রকৃত বা সঠিক নয়, তবুও এর মাধ্যমে আপনি জানতে পারবেন, কি পরিমাণ পেজ ইনডেক্স হচ্ছে এবং SERP-এ তা কেমন দেখায়।

আপনার সাইটটি যদি সার্চ ইঞ্জিনের কোথাও খুঁজে না পাওয়া যায়, তবে তার কিছু সম্ভাব্য কারণ থাকতে পারে। যথা:

আপনার সাইটটি যদি একেবারে নতুন হয় এবং যা এখনো ক্রল হয়নি।
যদি আপনার সাইটের কোনো ব্যাকলিঙ্ক না থাকে।
আপনার সাইটের মেনু/নেভিগেশন অনেক অগোছালো যার ফলে সার্চইঞ্জিন বট ক্রল করার জন্য খুঁজে পাচ্ছে না।
আপনার সাইটের মধ্যে হয়তো এমন কিছু কোড দেওয়া আছে, যা সার্চইঞ্জিন বটকে ক্রল করতে বাধা দিচ্ছে।
আপনার সাইটটি হয়তো গুগল স্প্যাম সাইট হিসেবে পেনাল্টি দিয়েছে।

রোবটস ডট টিএক্সটি ফাইল
রোবটস ডট টিএক্সটি ফাইলটি ওয়েব সাইটের রুট ডিরেক্টরিতে থাকে (ex. yourdomain.com/robots.txt) এবং যার মাধ্যমে সার্চ ইঞ্জিনকে নির্দেশ করা হয় যে, সাইটের কোন কোন অংশ ইনডেক্স করা হবে এবং কোনগুলো নয়। এর পাশাপাশি কোন গতিতে সাইটটি ইনডেক্স হবে তার নির্দেশনাও দেওয়া থাকে।

গুগল বট কীভাবে robots.txt ফাইলকে অনুসরণ করে ?
যদি গুগল বট কোন সাইটের জন্য রোবটস ডট টিএক্সটি ফাইল খুঁজে না পায়, তবে এটি কোনো নির্দেশ ছাড়াই সাইটটিকে ক্রল করা শুরু করে।

যদি গুগল বট কোন সাইটের জন্য রোবটস ডট টিএক্সটি ফাইল খুঁজে পায়, তবে এটি সেখানে দেওয়া নির্দেশ মেনে চলবে এবং সাইটটিকে ক্রল করা শুরু করে।
যদি কোনো সাইটের রোবটস ডট টিএক্সটি ফাইলটি অ্যাক্সেস করার সময় কোনো ত্রুটির মুখোমুখি হয় এবং তা নির্ধারণ করতে না পারে, তবে এটি সাইটটিকে ক্রল করবে না।

আরও পড়ুন:
এসইও শিখুন: চতুর্থ পর্ব
এসইও শিখুন: পর্ব ৩
এসইও শিখুন: পর্ব ২
এসইও শিখুন: পর্ব ১