| نسخه | 1.0 |
|---|---|
| ناشر | SqrBox |
| تاریخ انتشار | ۱۸ مارس ۲۰۱۳ |
| تاریخ اضافه شده | ۱۸ مارس ۲۰۱۳ |
| الزامات سیستم عامل | Windows |
| الزامات | .NET Framework 3.5 |
| کل بارگیری ها | ۲۹۲ |
| قیمت | Free |
شرح
دلایل بی پایانی وجود دارد که چرا یک شخص یا شرکت می خواهد از نرم افزار خزنده وب استفاده کند. این نوع برنامه وب را به شیوه ای تعیین شده مرور می کند که می تواند خودکار، روشمند یا به روشی منظم باشد. اگر با اصطلاح نرم افزار خزنده وب آشنا هستید، شاید نام عنکبوت ها، ربات ها، مورچه ها، شاخص های خودکار، روبات ها یا اسکترها را شنیده باشید؟ همه آنها اساساً یکسان هستند!
هدف از نرم افزار خزنده وب
وقتی به نرم افزار خزنده وب فکر می کنید، احتمالاً موتورهای جستجوی نام بزرگی مانند گوگل، بینگ و یاهو را تصور می کنید. ربات های آنها در صفحات وب می خزند تا محتوا، ارتباط و نمایه سازی را تعیین کنند. با ایجاد یک کپی از صفحات بازدید شده، می توانند جستجوهای سریعتر و دقیق تری ارائه دهند. SqrBox به شما می گوید که مطمئناً نیازی نیست که یک موتور جستجو باشید تا به نرم افزار خزنده وب نیاز داشته باشید. شما به سادگی باید فردی باشید که نیاز به جمع آوری مقادیر زیاد یا اطلاعات بسیار پیچیده دارد.
انواع نرم افزار خزنده وب
اگر قصد دارید از خدمات یک شرکت حرفه ای مانند SqrBox استفاده کنید، واقعاً نیازی نیست که نگران همه زبان پیچیده در مورد نرم افزار خزنده وب باشید. با این حال، درک چند نکته در مورد آن مفید است.
خزیدن متمرکز - هدف از این نوع نرم افزار خزنده وب دانلود صفحاتی است که به نظر می رسد حاوی اطلاعات مشابهی هستند. اگرچه اغلب برخی از ایرادات مرتبط با این روش وجود دارد و عملکرد واقعی خزنده و نتیجه به میزان غنی بودن پیوندها در آن موضوع خاص که در حال جستجو است بستگی دارد. این نوع نرم افزار خزنده وب اغلب به عنوان نقطه شروع برای محدود کردن جستجوها برای خزیدن بیشتر استفاده می شود.
عادی سازی URL - نرم افزار خزنده وب اغلب سطحی از عادی سازی URL را انجام می دهد که به کاهش خزیدن تکراری یک منبع بیش از یک بار کمک می کند.
محدود کردن پیوندهای دنبال شده - در برخی موارد، نرم افزار خزنده وب ممکن است بخواهد از محتوای وب خاصی اجتناب کند و فقط صفحات html. را جستجو کند. برای انجام این کار، URL اغلب بررسی می شود و سپس منابع تنها در صورتی درخواست می شوند که کاراکترهای خاصی در URL مانند html., .asp, .htm, .php, .aspx, .jspx یا .jsp وجود داشته باشد. نرم افزار خزنده وب معمولاً منابعی را که دارای علامت "?" هستند نادیده می گیرد. برای جلوگیری از تله عنکبوت
