Meta Search Engine یا ابرجستجوگر
دلیل وجود ابرجستجوگرها روشن است . اول ، چون هر موتورجستجوی منفرد ، فقط می تواند به کمتر از 16 درصد از کل اطلاعات وب دست یابد و هر کدام از آنها مقیاس های متفاوتی را تحت پوشش قرار می دهد . ترکیب چند موتورجستجو منجر به نرخ فراخوانی بیشتری می گردد که حداقل از به کارگیری یک موتورجستجو بهتر است . نتایج حاصل از جستجو در موتورهای جستجوی مختلف می تواند بسیار متفاوت باشد ( حدود 40 درصد ) ولی شامل بخش های مشترکی هم هستند (حدود 60 درصد ) . تحقیقات نشان میدهد نتایج حاصل از 11 موتورجستجو ، اندازه ی تخمین زده شده از وب اندیس گذاری شده را حدود 42 درصد بیشتر پوشش می دهد . این یعنی با استفاده کامل از ابرجستجوگر پوشش اطلاعات بهتر می گردد . دوم ، با اعمال فیلتر با الگوریتم های بهبود یافته ، درباره نتایج پرس وجوی مستقیم از موتورجستجوی کلی ، انتظار می رود که دقت meta_query ( فراپرسش ) بهبود زیادی داشته باشد .
مکانیزم و الگوریتم هایی که ابرجستجوگرها به کار می گیرند کاملا متفاوتند . ابرجستجوگرهای ساده فقط پرس وجوها را به موتورهای جستجوی بی واسطه می فرستند ، سپس نتایج را در یک صفحه ودر فریمهای جداگانه یا به ترتیب در یک فریم نمایش می دهند . بعضی ابرجستجوگرهای پیچیده به کاربران اجازه می دهند تا موتورهای جستجوی دلخواهشان را انتخاب کنند . و در همین حال فیلترها و الگوریتم ها را برای پردازش نتایج بازگشتی قبل از نمایش آنها به کار می برند .
اساسا بعد از اینکه یک پرس و جو به ابرجستجوگر داده می شود ، ابرجستجوگر آن را به چند موتورجستجو می فرستد . بعد از بازگشت نتایج از این موتورهای جستجو ، ابرجستجوگر آنها را براساس مقادیر مربوط ، ترکیب و دسته بندی می کند . مقادیر مربوط با استفاده از استراتژی یادگیری ماشین محاسبه می شوند . این استراتژی علایق اخیر کاربر را یاد می گیرد و وزنها را به نحوی تنظیم می کند که نتایجی که ارتباط بیشتری دارند ، ابتدا رتبه بندی شوند .
مسایل زیادی وجود دارد که باید مورد تحقیق قرار گیرند :
– پنهان سازها ( Wrappers ) : به دلیل آنکه هر موتورجستجو فرمتهای ورودی و خروجی متفاوتی دارد ، هر موتورجستجو به یک Wrapper به عنوان proxy بین ابرجستجوگر و موتورجستجوی منبع نیاز دارد .
– قابلیت گسترش ( Extensibility ) : ابرجستجوگر باید معماری بازی برای ساده_ سازی توسعه داشته باشد . بعد از آنکه یک Wrapper برای یک موتورجستجوی جدید به طور مستقل توسعه پیدا کرد ، یک موتورجدید می تواند به آسانی بدون نیاز به تغییر بقیه سیستم ، به آن اضافه شود .
– هوش ( Intelligence ) : ابرجستجوگر باید رفتارهای جستجوی کاربر را از طریق پیگیری کلیک ها و کاوشها ( Navigations ) فرابگیرد و این دانش را برای محاسبه مقادیر مربوط برای هریک از نتایج جستجو به کاربرده و نتایج سیستم را براساس آنها طبقه بندی کند.
– مطابقت ( Adaptivity ) : ابرجستجوگر با علایق کاربر مطابقت خواهد داشت . اگر کاربر موضوع جستجو را تغییر دهد ابرجستجوگر باید با آن تغییرات مطابقت یابد .
– خصوصی سازی ( Personalization ) : ابرجستجوگر باید گزینه های جستجوی پیشرفته نظیر timeout و تعداد نتایج جستجو برای خصوصی سازی توسط کاربر را داشته باشد . استفاده از ابرجستجوگرها مزایایی دارد که در اینجا لیست شده اند .
ابرجستجوگرها:
• ابرجستجوگرها بهترین نتایج هر موتورجستجو را نمایش می دهند و به همین دلیل امکان ارتباط نتایج با موضوع پرس وجو زیاد است .
• آنها نتایج را تکرار نمی کنند .
• نتایج را همراه با جزئیات نشان می دهند . به این معنی که نتایج رتبه بندی شده را همراه با لیستی از موتورهای جستجویی که این انتخاب را برای کاربر فراهم ساخته_ اند ، نمایش می دهد .
• اکثر ابرجستجوگرها کاربرد ساده ای دارند . با این حال فاکتورهای مهمی که باید در زمان استفاده از ابرجستجوگرها در نظر گرفته شود
• اغلب ابرجستجوگرها ، فقط موتورهای جستجو و دایرکتوری های تجاری را جستجو می کنند .
• اغلب ابرجستجوگرها ، تنها مدت کوتاهی را در هر پایگاه داده صرف می کنند و عمدتا تنها 10 درصد از نتایج پایگاه داده هایی که مورد پرس وجو قرار می گیرند ، بازیابی می گردند . پس جستجوی آنها بسیار سریع است .
• در بیشتر ابرجستجوگرها ، کمیت نتایج نشانه خوب بودن آنها نیست .
• اغلب ابرجستجوگرها ، به سادگی کلمات جستجویی را که شما وارد کرده اید انتقال می دهند و اگر جستجوی شما دارای تعداد کلماتی بیش از حد مجاز و یا منطق بسیار پیچیده باشد ، این کلمات از بین می روند و تنها برای موتورهای جستجویی معنی خواهند داشت که از چنین منطقی پشتیبانی کنند . بعضی از مهم ترین آنها عبارتند از: MetaCrawler, DogPile, IXQuick, Mamma, Vivisimo, ez2find د – Pay Per Click Search engine یا موتورهای جستجو رتبه به ازای پول!
کار آنها بسیار شبیه یك مزایده است: با توجه به واژه كلیدی انتخابی، برای بالاترین رتبه، باید بالاترین قیمت نسبت به سایر متقاضیان پرداخت شود. در واقع نحوه ارائه نتایج جستجو در PPC به این ترتیب است كه اگر سایتی خواهان بالاترین رتبه (رده اول) در نتایج جستجوی آن می باشد، باید بالاترین رقم به ازای هركلیك را نسبت به تمام رقبا بپردازد. به عنوان مثال اگر سایتی مکان اول را برای عبارت “persian carpet” به قیمت 28 ریال خریده باشد، هر بار که عبارت یاد شده جستجو گردد و کاربر با دنبال کردن پیوند ارایه شده به سایت خریدار مراجعه کند، 28 ریال از سوی سایت خریدار رتبه به موتورجستجو باید پرداخته شود. اگر هزار نفر این کار را انجام دهند آنگاه 1000 * 28 ریال باید پرداخته شود. البته اینگونه نیست که اینگونه از موتورهای جستجو فقط سایتهایی را نمایش دهند که با آنها قرارداد تجاری دارند. بلکه ابتدا تمام سایتهایی را که با آنها قرارداد تجاری دارند، نمایش می دهند و سپس سایتهای دیگری را برای تکمیل کردن نتایج جستجوی خود به سایتهای یاد شده می افزایند. نمونه ای از روش ازایه نتایج در شکل (5-1) مشاهده می شود. سایتهای رده 110 و 111 برای عبارت “free stuff” هزینه می پردازند که بالاتر از سایت رده 112 ایستاده اند. به عبارتهای sponsored listing و additional listing توجه کنید. توجه کنید که 111 سایت حاضر به پرداخت پول برای این عبارت بوده اند در حالیکه همه آنها می دانسته اند در چه رتبه ای نشان داه خواهند شد. اگر فرض کنیم که سایت رده 111 برای هر کلیک تنها یک سنت بپردازد و اختلاف هر رتبه با رتبه های دیگر تنها یک سنت باشد آنگاه سایت رتبه اول حاضر به پرداخت 111 سنت برای هر کلیک بوده است. سایتهایی مشاهده شده اند که حاضر به پرداخت 14 دلار به ازای هر کلیک نیز بوده اند!
– روش ارایه نتایج در یک موتورجستجوی رتبه به ازای پول این رقابت شدید در این نوع از موتورهای جستجو می تواند ناشی از بازده بسیار بالای این نوع موتورهای جستجو و همینطور اطمینان دارندگان سایتها از فروش خود باشد. البته می توانید سایتهایی را که ناشیانه حاضر به پرداخت رقم بالایی شده اند را هم به دلایل بالا بیافزایید.
فواید آنها:
– دارنده سایت تنها زمانی پول می پردازد كه واقعا” بیننده ای به سایت او بیاید.
– سایت تقریبا” در عرض چند ساعت و یا حداكثر یك هفته در نتایج جستجو قرار می گیرد و دیگر نیازی به چندین ماه ماندن نیست تا در نتایج جستجوی سایر موتورهای جستجو قرار گیرد که آن هم معلوم نیست در چه رتبه ای قرار خواهد گرفت.
– سایتی اگر بالاترین رتبه را می خواهد، كافی است که بالاترین قیمت را بپردازد و دیگر نیازی به كاربرد تكنیك های رایج برای كسب رتبه های بالا نیست.
– یک سایت با استفاده از سیستم این موتورهای جستجو در نتایج جستجوی شرکای تجاری آنها هم قرار می گیرد.برخی از آنها عبارتند از: Overture, Google Adwords, Findwhat, Kanoodle, …
– Specialty Search Engine یا موتورهای جستجو خاص این نوع از موتورهای جستجو بر موضوعی خاص تمركز دارند و تنها سایت های مرتبط با آن موضوع را در پایگاه داده خود قرار می دهند. به عنوان مثال یكی از آنها ممكن است تنها سایت های ایرانی را بپذیرد و موضوع فعالیتش سایت های ایرانی باشد. این موتورهای جستجو معمولا اطلاعات تخصصی‌تری را ارائه می‌دهند زیرا معمولا توسط افراد متخصص در آن زمینه اداره می شوند. موتورهای جستجو منطقه ای و موضوعی نیز به این دسته تعلق دارند. در این مورد می توان به مواردی نظیر: ChemicalSearch, IndustrySearch اشاره كرد.
موتورجستجو چگونه كار می كند؟ وقتی جستجویی در یک موتورجستجو انجام و نتایج جستجو ارایه می شود، كاربران در واقع نتیجه كار بخش های متفاوت آن موتورجستجو را می بینند. موتورجستجو قبلا” پایگاه داده اش (Database) را آماده كرده است و این گونه نیست كه در همان لحظه جستجو، تمام وب را بگردد.
بسیاری از خود می پرسند كه چگونه امكان دارد گوگل (Google) در كمتر از یك ثانیه تمام سایت های وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه كند؟
نه گوگل و نه هیچ موتورجستجوی دیگری توانایی انجام این كار را ندارند. همه آنها در زمان پاسخ گویی به كاربران، تنها در پایگاه داده ای كه در اختیار دارند به جستجو می پردازند و نه در وب!
موتورجستجو به كمك بخش های متفاوت خود، اطلاعات مورد نیاز را قبلا” جمع آوری، تجزیه و تحلیل می كند و آنرا در پایگاه داده اش ذخیره می نماید. بخش های مجزای یك موتورجستجو عبارتند از:
• Spider یا عنکبوت
• Crawler یا خزنده
• Indexer یا بایگانی کننده
• Database یا پایگاه داده
• Ranker یا سیستم رتبه بندی Spider ، به هنگام مشاهده صفحات، از خود بر روی سرورها(server) ردپا برجای می گذارد.
الف- شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آنرا داشته باشید، می توانید مشخص كنید كه Spiderكدام موتورهای جستجو صفحات سایت را مورد بازدید قرار داده اند. اسپایدرها كاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می كنند و فقط به بررسی فعال بودن لینك های آنها می پردازند و یا به دنبال آدرس پست الكترونیكی (Email) افراد می گردند.
ب- Crawler (خزنده) Crawler، نرم افزاری است كه به عنوان یك ” فرمانده” برای Spiderعمل می كند. Crawler مشخص می كند که Spiderكدام صفحات را مورد بازدید قرار دهد. در واقع Crawler تصمیم می گیرد كه كدام یك از لینك های صفحه ای كه Spider در حال حاضر در آن قرار دارد، دنبال شود. ممكن است همه آنها را دنبال كند، بعضی ها را دنبال كند و یا هیچ كدام را دنبال نكند. Crawler ، ممكن است قبلا” توسط دارندگان موتورهای جستجو برنامه ریزی شده باشد كه آدرس های خاصی را طبق برنامه، در اختیار Spiderقرار دهد تا از آنها دیدن کند.
دنبال كردن لینك های یک صفحه به این بستگی دارد كه موتورجستجو چه حجمی از اطلاعات یک سایت را می تواند در پایگاه داده اش ذخیره كند و همچنین ممكن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجو داده نشده باشد.
شما به عنوان دارنده سایت، همان طور كه دوست دارید موتورهای جستجو اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی از صفحات سایت تان دور كنید و اجازه دسترسی به محتوای آن صفحات را به موتورهای جستجو ندهید.
تنظیم میزان دسترسی موتورهای جستجو به محتوای یک سایت توسط پروتكل robots انجام می شود. به عمل Crawler، خزش (Crawling) می گویند.
ج- Indexer (بایگانی كننده)
تمام اطلاعات جمع آورش شده توسط Spiderدر اختیار Indexer قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است كه مشخص می شود اطلاعات از كدام صفحه ارسال شده است، چه حجمی دارد، كلمات موجود در آن كدام است، کلمات چندبار تكرار شده است، كلمات در كجای صفحه قرار دارند و … .
در حقیقت Indexer صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند.
در زمان تجزیه و تحلیل اطلاعات، Indexer برای كاهش حجم داده ها از بعضی كلمات كه بسیار رایج هستند صرفنظر می کند. كلماتی نظیر a ، an ، the، www ، is و … . از این گونه كلمات هستند.
د – DataBase (پایگاه داده)
تمام داده های تجزیه و تحلیل شده در Indexer، به پایگاه داده ارسال می گردد. در این بخش،داده ها گروه بندی، كدگذاری، و ذخیره می شود. همچنین داده ها قبل از آنكه ذخیره شوند، فشرده می شوند تا حجم كمی را اشغال كنند.
یك موتورجستجو باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز كند. بزرگی و به روز بودن پایگاه داده یك موتورجستجو برای آن امتیاز محسوب می گردد. یكی از تفاوتهای اصلی موتورهای جستجو در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است.
و- Ranker (سیستم رتبه بندی)
بعد از آنكه تمام مراحل قبل انجام شد، موتورجستجو آماده پاسخ گویی به سوالات كاربران است. كاربران چند كلمه را در جعبه جستجوی (Search Box) آن وارد می كنند و سپس با فشردن Enter منتظر پــاسخ می مانند. در این مرحله، سیستم رتبه بندی وارد عمل می شود و ابتدا تمام صفحات موجود در پایگاه داده، كه به موضوع جستجو شده، مرتبط هستند را مشخص می كند. سپس آنها را به ترتیب از بیشترین ارتباط تا كمترین ارتباط مرتب می كند و در نتایج جستجو به كاربر ارایه می كند.
حتی اگر موتورجستجو بهترین و كامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه كند، یك موتورجستجوی ضعیف خواهد بود.
سیستم رتبه بندی قلب تپنده یك موتورجستجو است و تفاوت اصلی موتورهای جستجو در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات كاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد.
حرفه ای های دنیای SEO)Search Engine Optimization) به طور خلاصه از آن به Algo ( الگوریتم) یاد می كنند.
الگوریتم ، مجموعه ای از دستورالعمل ها است كه موتورجستجو با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو، مرتب كند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد .
