خزیدن وب فرآیند استفاده از ابزارهایی برای خواندن، کپی و ذخیره محتوای وب سایت ها برای اهداف آرشیو یا نمایه سازی است.
اساساً این همان کاری است که موتورهای جستجو مانند گوگل، بینگ یا یاهو انجام می دهند. آن‌ها از خزیدن برای نگاه کردن به وب‌سایت‌ها، کشف محتوای آن‌ها و ایجاد ورودی‌هایی برای فهرست موتورهای جستجو استفاده می‌کنند.