博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
curl站外抓取第二发
阅读量:4686 次
发布时间:2019-06-09

本文共 1113 字,大约阅读时间需要 3 分钟。

$i,//当前页 "pageSize" =>7 , ); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // 我们在POST数据哦! curl_setopt($ch, CURLOPT_POST, 1); // 把post的变量加上 curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data); $output = curl_exec($ch); $output_json = json_decode($output); curl_close($ch); //var_dump($output_json); //die(); foreach($output_json->projectList as $k => $v){ $result[$v->code][]=$v->code; $result[$v->code][]=$v->name; };}$end_end = $end-1;$fp = fopen("output-{
$start}-{
$end_end}.csv",'w');//打开文件 foreach ($result as $v){ ob_clean(); if(fputcsv($fp,$v)===false){
//加数组数据放到csv文件中 die("can't write csv line"); } }fclose($fp) or die("can't close scholar.csv");if(count($result)!=($end-$start)*7){ echo "数据出现错误"; echo "
"; echo count($result); exit;} echo "数据抓取完成,共抓取到".count($result)."条记录";}getScholar(3950,4000);//读取3950-4000页的数据

 

源码来源:http://blog.csdn.net/htmlgood/article/details/49558703

转载于:https://www.cnblogs.com/spritphp/p/7681030.html

你可能感兴趣的文章
铁路微机监测分析与研究
查看>>
SpringBoot Tomcat启动报错
查看>>
css outline实践研究
查看>>
fackbook的Fresco的Image Pipeline以及自身的缓存机制
查看>>
Casablanca发布:一个用C++访问云的本地类库
查看>>
[转载]Python调用Shell 之间变量传递
查看>>
IOS开发网络篇—监测网络状态
查看>>
SQL数据库还原时备份集中的数据库备份与现有的数据库不同的解决办法
查看>>
Myeclipse、eclipse安装lombok
查看>>
springboot-全局异常处理类
查看>>
document.ready和window.onload 加载区别及可能会出现问题
查看>>
C# .Net 中字典Dictionary<TKey,TValue>泛型类 学习浅谈
查看>>
SpringBoot项目如何进行打包部署
查看>>
1209实验三评论
查看>>
(RaspberryPi)树莓派系列 - 一、安装系统
查看>>
敏捷开发一千零一夜
查看>>
JavaScript与PHP中正则
查看>>
JAVA中的定时调度(Timer和TimerTask)
查看>>
20154312 曾林 Exp4恶意软件分析
查看>>
shit element ui
查看>>