爬虫技术有哪些
爬虫概念：Web爬虫是一种Internet漫游器，可以系统地浏览万维网，通常用于Web索引。网页搜索引擎和其他一些网站使用网页爬虫来更新他们的网页内容或其他网站网页内容的索引。
那么爬虫有哪些技术呢，今天就为大家介绍一些爬虫技术。
1、设置DOWNLOAD_DELAY
对Scrapy框架而言，在配置文件settings.py中设置DOWNLOAD_DELAY即可。DOWNLOAD_DELAY = 3
2、减少请求频率。
3、禁止使用Cookie。
有些网站会通过Cookie找到爬虫的轨迹。所以，如果没有特殊需求，可以禁用Cookie，这样网站就不能通过Cookie找到爬虫。COOKIES_ENABLED = False
爬虫系统的核心部件之一是HTML web下载器，下载web需要实现HTML请求，在python中实现HTML请求的常用库主要有urllib库和requests库两种。
以上就是爬虫技术的介绍，我们在使用python中的一些库时，有细心的小伙伴会发现本篇所介绍的爬虫技术的身影。
（推荐操作系统：windows7系统、Python 3.9.1、DELL G3电脑。）
