How to add robots.txt Blogger ||How to Create the Perfect Robots.txt File for SEO 2022

How to add robots.txt File for Blogger ||How to Create the Perfect Robots.txt File for SEO.

আজ, আমি একটি খুব দরকারী প্রসঙ্গ নিয়ে হাজির হয়েছি যা হচ্ছে ব্লগের জন্য   গুরুত্বপূর্ণ robots.txt


ব্লগারে এটি কাস্টম robots.txt হিসেবে পরিচিত এর অর্থ এখন আপনার নিজের পছন্দ অনুযায়ী কাস্টমাইজ customised করতে পারেন।


আজকের আলোচনায় in this lesson আমরা এই শব্দটি গভীরভাবে আলোচনা করবো এবং এর ব্যবহার, সুবিধা গুলি সম্পর্কে জানব।

যারা প্রথম ব্লগ একাউন্ট করেছেন কিন্তু Blog, এ robots.txt অ্যাড করেননি, আমি আজকে আলোচনা করব কিভাবে ব্লগারে (Bolgger)কাস্টম robots.txt ফাইল যুক্ত করতে হয়।

তো চলুন শুরু করা যাকঃ

শুরু করার আগে আমাদেরকে

1. Robots.txt কি?
২.Crawler কি? 

উপরোক্ত এই দুইটি জিনিস জানতে হবে।

প্রথমে,
1. robots.txt একটি পাঠ্য ফাইল যা সাধারণ কোর্টের কয়টি লাইন থাকে।

এটি ওয়েবসাইট বা ব্লগের সার্ভারে(bloger server)  সংরক্ষিত থাকে। যা ওয়েব ক্রলের কিভাবে অনুসন্ধানের ফলাফল গুলিতে আপনার ব্লকে ইনডেক্স(blog index) এবং ক্রল করতে হয় তার নির্দেশ দেয়।

এর অর্থ ঃ  আপনি নিজের ওয়েব ব্লগের কোন ওয়েব পোস্টটাকে ওয়েব ক্রুলার থেকে সীমাবদ্ধ করতে পারেন। যাতে এটি আপনার ব্লক লেভেল(blog level) , পৃষ্ঠাগুলি আপনার ডেমোপৃষ্ঠা বা অন্য কোন পৃষ্ঠা গুলি, প্রশ্নগুলির মত অনুসন্ধান ইঞ্জিন(search engine)  গুলোতে সূচিভূত হতে না পারে যা সূচীকরণ এর জন্য গুরুত্বপূর্ণ নয়।

সর্বদা মনে রাখবেন যে অনুসন্ধান ক্রোলাররা কোন ওয়েব ক্রুোল করার আগে  robots.txt ফাইলটি স্ক্যান করে।

দ্বিতীয়তঃ
২. Crawler মানেঃ একটি ওয়েব ক্রুোলার যাকে কখনো কখনো মাকড়সা বা স্পাইডার বোট(spider bot)   বলা হয়।
প্রায়শই ক্রোলারে সংক্ষিপ্ত করে রাখা হয় এবং এমন একটি ইন্টারনেট বোর্ড(internet bord) যা সাধারণত ওয়েব ইনডেক্সিং এর উদ্দেশ্যে নিয়মিত ওয়ার্ল্ড ওয়াইড ওয়েব ব্রাউজ করে।

ওয়েব অনুসন্ধান ইঞ্জিন এবং কিছু অন্যান্য সাইট তাদের ওয়েব সামগ্রী বা  অন্যের ওয়েব সামগ্রীর    সূচকগুলি আপডেট করতে ওয়েব স্পাইডারিং সফটওয়্যার(spidering softwar)   ব্যবহার করে। ওয়েব crawler কোন অনুসন্ধান ইঞ্জিন দ্বারা প্রসেসিংয়ের জন্য পৃষ্ঠাগুলি অনুলিপি করে যার ডাউনলোড করা প্রস্তাবগুলোকে সূচি দেয় যাতে ব্যবহারকারীরা আরো দক্ষতার সাথে অনুসন্ধান(search) করতে পারেন।

ব্লগারে হোস্ট করা প্রতিটি ব্লগের ডিফল্ট Robots.txt ফাইল থাকে যা  দেখতে কিছুটা এমন:

User-agent: Mediapartners-Google

 Disallow:

 User-agent: *

 Disallow: /search

 Allow: /

 Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED


আমরা যদি এর ব্যাখ্যা করি......... 

এই কোডটি তিনটি বিভাগে বিভক্ত। এর পরে তাদের ( robots.txt) প্রত্যেকটি আমরা অধ্যায়ন(read) করব ।

পরে কিভাবে এটা ব্লগস্পটে কাস্টোম robots.txt ফাইল যুক্ত করা যায় তা শিখবঃ

• User-agent: Mediapartners-Google

এই কোডটি গুগল এডসেন্স রোবটগুলোর জন্য যা তাদেরকে আপনার ব্লগে আরো ভালো বিজ্ঞাপন(ad) সরবরাহ করতে সহায়তা করে।
হয় আপনি নিজের ব্লগে গুগল এডসেন্স(google adsense) ব্যবহার করছেন কিংবা এটিকে যেমন আছে তেমন ছেড়ে দিবেন না।

•  User-agent: *

* (Star) তারকা চিহ্ন দ্বারা চিহ্নিত সমস্ত রোবট গুলির জন্য। ডিফল্ট সেটিংসে আমাদের ব্লগের লেভেল লিঙ্ক  গুলি অনুসন্ধান ক্রোলারদের  দ্বারা সূচিবদ্ধ ভাবে সীমাবদ্ধ রয়েছে যার অর্থ ওয়েব ক্রলের গুলি নিচের কারণে আমাদের লেবেলগুলি কে সূচীকরণ করবেনা।

• Disallow: /search 

এর অর্থ ডোমেইন নামের ঠিক পরে কিওয়ার্ড অনুসন্ধানের লিঙ্গটিকে অপেক্ষা করা হবে নিচের উদাহরনটি দেখুন

https://bright-techbd.blogspot.com/search/label/seo

যদি আমরা উপরের কোড থেকে
 remove Disallow:/ সরিয়ে ফেলি তবে ক্রুলাররা আমাদের সম্পুর্ন ব্লগটিকে(All blogs)  সূচিতে আক্সেস  করতে এবং এর সমস্ত সামগ্রী এবং ওয়েব পোস্টার ক্রুল করবে।

এখানে,
Allow:/ করলে হোম পৃষ্ঠাটি বুঝায় যার অর্থ ওয়েব ক্রোলাররা আমাদের ব্লগের হোম পৃষ্ঠায় ক্রল করতে এবং সূচিবদ্ধ করতে পারে।

• বিশেষ পোস্ট বাতিল করুন(Disallow Particular post)

এখন ধরা যাক আমরা যদি কোন নির্দিষ্ট পোস্টকে সূচি থেকে বাদ দিতে চাই তবে আমরা কোড এর নিচে লাইন যুক্ত করতে পারি।
Disallow:/yyy/mm/post-url.html

এখানে yyyy & mm যথাক্রমে প্রশ্নের প্রকাশনা বছর এবং মাস বোঝায়।

 উদাহরণস্বরূপ, যদি আমরা মার্চ মাসের 2013 সালে একটি পোস্ট প্রকাশ করেছি, তবে আমাদের নিচের ফর্মটি ব্যবহার করতে হবে....
Disallow :/ 2013/03/post-url.html

এ কাজটি সহজ করার জন্য, আপনি কেবল পোস্ট url অনুলিপি করতে এবং শুরু থেকে ব্লগের নামটি সরাতে পারেন।

•  Disallow Particular post

আমাদের যদি কোন নির্দিষ্ট পৃষ্ঠা অস্বীকার করতে হয় তবে আমরা উপরের মত একই পদ্ধতিটি ব্যবহার(system use) করতে পারি। কেবল url অনুলিপি করুন এবং এটি থেকে ব্লগের ঠিকানা সরিয়ে ফেলুন যা এরকম কিছু দেখাবে....

Disallow:/p/page-url.html

sitemap:http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

এই কোডটি আমাদের ব্লগের সাইটম্যাপ কে বোঝায় এখানে সাইটম্যাপের(site map) লিংকটি যুক্ত করে আমরা কেবল আমাদের ব্লগের ক্রুলিং হারটি অনুকুল করে তুলেছি।

এর অর্থ যখনই ওয়েব ক্রলেররা আমাদের robot.txt ফাইলটি স্ক্যান(file scan) করে তারা আমাদের সাইটম্যাপ একটি খুঁজে পাবে যেখানে আমাদের প্রকাশিত পোস্ট এর সমস্ত উপস্থিত রয়েছে।

ওয়েব ক্রুলারগুলি আমাদের সমস্ত পোস্ট কে ক্রল করা সহজ মনে করবে।

অতএব আরও ভুল সম্ভাবনা রয়েছে যে ওয়েব করা এটি এড়িয়ে যাওয়া ছাড়া আমাদের সমস্ত ব্লগ পোস্ট ক্রল করে।

আরো পড়ুনঃ

১.ইংরেজিতে পারদর্শী হবার ১০টি টিপস


দ্রষ্টব্যঃ এই সাইটম্যাপ টি কেবল ওয়েব  ক্রোলারদের সাম্প্রতিক 25 টি পোষ্ট সম্পর্কে জানাবে। আপনি যদি নিজের সাইটে লিংকের সংখ্যা বাড়াতে চান তবে নিচের একের সাথে ডিফল্ট সাইটম্যাপ প্রতিস্থাপন করুন। এটি প্রথম পাঁচটি সাম্প্রতিক পোষ্ট এর জন্য কাজ করবে।

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

আপনার ব্লগে যদি 500 এর বেশি প্রকাশিত পোস্ট থাকে তবে আপনি নিচের মত দুইটি সাইট ম্যাপ ব্যবহার করতে পারেন।


 Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max- results=1000

এখন আমরা জানবো কিভাবে কাস্টম robots.txt যুক্ত করা হয়ঃ

Go to your blogger blog.Navigate to
Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes✔✔
Now, paste your robots.txt file code in the box.
Click on Save Changes button.
You are done !

নিচের ছবিগুলো দেখুনঃ

How to add robots.txt Blogger ||How to Create the Perfect Robots.txt File for SEO

How to add robots.txt Blogger ||How to Create the Perfect Robots.txt File for SEO

How to add robots.txt Blogger ||How to Create the Perfect Robots.txt File for SEO

কিছু কথাঃ
আমি এই টিউটোরিয়ালে যথাসম্ভব সহজ এবং তথ্যপূর্ণ করার জন্য যথাসাধ্য চেষ্টা করেছি।

তবুও যদি আপনার কোন সন্দেহ প্রশ্ন থাকে তবে নিচে মন্তব্য করুন কিংবা আমাকে জিজ্ঞাসা করুন আমাদের ইমেইলে।

এই টিউটোরিয়ালটি পড়ার জন্য ধন্যবাদ জানাচ্ছি।  আপনি যদি এটি পছন্দ করেন তবে দয়া করে এ পোস্টটি শেয়ার করুন।
আমাদের কথাগুলো ছড়িয়ে দিতে আমাকে সমর্থন করুন।
 আপনার ব্লগিং শুভ হোক।