锐客网

  1. 首页 > 睿知 > it技术 > >

php抓取网页数据 php抓取网页数据并存放于plist中( 三 )

IT技术内容


// 设置你需要抓取的URLcurl_setopt($curlCURLOPT_URL//cocre);
// 设置headercurl_setopt($curlCURLOPT_HEADER);
// 设置cURL 参数 要求结果保存到字符串中还是输出到屏幕上 curl_setopt($curlCURLOPT_RETURNTRANSFER);
// 运行cURL 请求网页$data = https://www.04ip.com/post/curl_exec($curl);
// 关闭URL请求curl_close($curl);
// 显示获得的数据var_dump($data);
如何POST数据
上面是抓取网页的代码 下面则是向某个网页POST数据 假设我们有一个处理表单的网址// example /sendSMS php 其可以接受两个表单域 一个是电话号码 一个是短信内容
﹤?php$phoneNumber =;$message =This message was generated by curl and php;$curlPost =pNUMBER=urlencode($phoneNumber)MESSAGE=urlencode($message)SUBMIT=Send;$ch = curl_init();curl_setopt($chCURLOPT_URL//example/sendSMSphp);curl_setopt($chCURLOPT_HEADER);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_POST);curl_setopt($chCURLOPT_POSTFIELDS$curlPost);$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥
从上面的程序我们可以看到 使用CURLOPT_POST设置HTTP协议的POST方法 而不是GET方法 然后以CURLOPT_POSTFIELDS设置POST的数据
关于代理服务器
下面是一个如何使用代理服务器的示例 请注意其中高亮的代码 代码很简单 我就不用多说了
﹤?php $ch = curl_init();curl_setopt($chCURLOPT_URL//example);curl_setopt($chCURLOPT_HEADER);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_HTTPPROXYTUNNEL);curl_setopt($chCURLOPT_PROXYfakeproxy:);curl_setopt($chCURLOPT_PROXYUSERPWDuser:password);$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥关于SSL和Cookie
关于SSL也就是HTTPS协议 你只需要把CURLOPT_URL连接中的//变成//就可以了 当然 还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点
关于Cookie 你需要了解下面三个参数
CURLOPT_COOKIE 在当面的会话中设置一个cookie
CURLOPT_COOKIEJAR 当会话结束的时候保存一个Cookie
CURLOPT_COOKIEFILE Cookie的文件
HTTP服务器认证
最后 我们来看一看HTTP服务器认证的情况
﹤?php $ch = curl_init();curl_setopt($chCURLOPT_URL// example);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_HTTPAUTHCURLAUTH_BASIC);curl_setopt(CURLOPT_USERPWD[username]:[password] )
$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥
关于其它更多的内容 请参看相关的cURL手册lishixinzhi/Article/program/PHP/201311/21491
怎么用phpquery抓取网页实时数据？使用CI框架phpquery和框架并无关系，我现在也是用CIphp抓取网页数据的
先将pq引入进来
$content = file_get_content('');
phpQuery::newDocumentHTML($content);
$containers = pq("xxxx");就可以了 ， 但php抓取网页数据你要抓取这个网站数据 ， 他数据是js加载的，所以你只需要
$content = file_get_content(';dataSet.nd=1440145968553dataSet.rows=100dataSet.page=1dataSet.sidx=dataSet.sord=asc');这个地址返回是json数据，你直接json_decode()就OK
php怎么抓取其它网站数据可以用以下4个方法来抓取网站 php抓取网页数据的数据php抓取网页数据：
1. 用 file_get_contents 以 get 方式获取内容：
?
$url = '';
$html = file_get_contents($url);
echo $html;
2. 用fopen打开url，以get方式获取内容
?
$url = '';
$fp = fopen($url, 'r');
stream_get_meta_data($fp);
$result = '';
while(!feof($fp))
{
$result .= fgets($fp, 1024);
}
【php抓取网页数据 php抓取网页数据并存放于plist中】echo "url body: $result";
fclose($fp);
3. 用file_get_contents函数,以post方式获取url
?
$data = https://www.04ip.com/post/array(
'foo'='bar',

推荐阅读


上一篇：亳州专业sap支持服务，亳州哪里spa做得好

下一篇：李佳琦杨幂直播间说了什么的简单介绍