1.curl数据采集系列之单页面采集函数get_html

单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 

但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的。

 

 

或者：

 2.Referer的采集

对于一些程序，它可能判断来源网址，如果发现referer不是自己的网站，则拒绝访问，

这时候，我们就需要添加CURLOPT_REFERER参数，模拟来路，使得程序能够正常采集。

      urlencode($keyword),    );    $url = 'http://localhost/ajax_page/';    $refer = 'http://localhost/ajax_page/';    //来路地址        $ch  = curl_init($url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //返回数据不直接输出    curl_setopt($ch, CURLOPT_REFERER, $refer);    //来路模拟    curl_setopt($ch, CURLOPT_POST, 1);            //发送POST类型数据    curl_setopt($ch, CURLOPT_POSTFIELDS, $post);  //POST数据，$post可以是数组，也可以是拼接    $content = curl_exec($ch);                    //执行并存储结果    curl_close($ch);        echo $content;?>