在学习爬虫前，了解网站类型至关重要，它决定了我们如何选择合适的爬虫工具或方法去抓取数据。

国内知名的ForeSpider爬虫软件能够采集多种类型的网站数据，今天就让我们来探讨一下数据采集中常见的几种网站类型。

l常见网站类型

1. JS页面

JavaScript是嵌入在HTML中，用于实现网页动态功能的一种脚本语言。它能为用户提供更流畅、更美观的浏览体验。ForeSpider数据抓取工具可以自动解析JS，从而采集基于JS页面中的数据。

Ajax技术是一种在不刷新页面的情况下，利用JavaScript与服务器交换数据的技术。它能让我们在浏览页面时，无需更换链接即可获取新内容。ForeSpider数据采集系统支持Ajax技术，可以采集Ajax网页中的内容。

2. POST/GET请求

在HTML中，表单数据可以通过POST或GET方式发送给服务器。POST方式会将表单数据打包后隐藏在后台发送给服务器；GET方式则会将表单数据附加在URL后面。ForeSpider采集器可以采集数据在POST/GET请求中的网页内容。

3. 需要Cookie的网站

Cookie是网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据。它基于用户的每次访问，为网站提供了访问用户信息的途径。ForeSpider数据采集分析引擎可以设置cookie来模拟登录状态，从而采集需要用到cookie的网站内容。

4. 采集需要OAuth认证的网页数据

OAUTH协议提供了一种安全、开放且简单的资源授权方式。任何第三方都可以使用OAUTH认证服务，任何服务提供商都可以实现自身的OAUTH认证服务，因此OAUTH是开放的。同时，业界提供了多种语言的OAUTH实现，如PHP、Java Script，Java，Ruby等，大大节约了程序员的时间，因此OAUTH是简易的。许多互联网服务如Open API，以及许多大公司如Google，Yahoo，Microsoft等都提供了OAUTH认证服务，这足以说明OAUTH标准正逐渐成为开放资源授权的标准。ForeSpider爬虫软件支持OAuth认证，可以采集需要OAuth认证的页面中的数据。

l 前嗅简介

前嗅大数据，作为国内领先的研发型大数据专家，致力于大数据技术的研究与开发，自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台！