پروژه خزنده های وب
خزنده وب که بیشتر ما آن را با عنوان Web crawler می شناسیم به برنامه کامپیوتری اطلاق می شود که World Wide Web (وب جهان گستر) را به صورت مرتب و سلسله مراتبی بازدید کرده و اطلاعات آن را مورد پردازش قرار می دهد. از خزنده های وب با عناوین دیگری مانند :عنکبوت‌های وب، فهرست سازان خودکار، ربات‌های نرم‌افزاری خودکارو... نیز یاد می شود. ربات ها، عنکبوت ها و یا خزنده ها، در واقع یک قطعه نرم افزار هستند که جهت خزیدن از یک صفحه به صفحه دیگر برنامه ریزی شده اند و خزیدن آن ها بر اساس لینک هایی است که در این صفحات قرار دارد. همان طور که خزنده راه خود را در میان صفحات وب در سراسر اینترنت باز می کند، در همین حال محتویات (مثل متن و یا لینک) را نیز از وب سایت ها جمع آوری می کند.
