服务器之家:专注于服务器技术及软件下载分享
分类导航

PHP教程|ASP.NET教程|JAVA教程|ASP教程|

服务器之家 - 编程语言 - PHP教程 - PHP 获取远程网页内容的代码(fopen,curl已测)

PHP 获取远程网页内容的代码(fopen,curl已测)

2019-11-27 14:17脚本之家 PHP教程

获取远程网页内容的php代码,做小偷采集程序的程序经常用得到,现在用curl的比较多。

1、fopen的使用 

复制代码代码如下:


<?php 
$handle = fopen ("http://www.zzvips.com/", "rb"); 
$contents = ""; 
while (!feof($handle)) { 
$contents .= fread($handle, 8192); 

fclose($handle); 
echo $contents; //输出获取到得内容。 
?> 

 

复制代码代码如下:


// 对 PHP 5 及更高版本可以使用下面的代码 
<?php 
$handle = fopen("http://www.zzvips.com", "rb"); 
$contents = stream_get_contents($handle); 
fclose($handle); 
echo $contents; 
?> 


但上面的代码容易出现 failed to open stream: HTTP request failed!错误,解决方法 

有人说在php.ini中,有这样两个选项:allow_url_fopen =on(表示可以通过url打开远程文件),user_agent="PHP"(表示通过哪种脚本访问网络,默认前面有个 " ; " 去掉即可。)重启服务器。 
但是有些还是会有这个警告信息,想用完美的解决还差一步,还得设置php.ini里面的user_agent,php默认的user_agent是PHP,我们把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)来模拟浏览器就可以了 
PHP 获取远程网页内容的代码(fopen,curl已测)
user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" 

在工作中遇到这个问题,后完美解决,故分享给大家。 
2、通过curl来实现 

复制代码代码如下:


<?php 
$url = "http://www.zzvips.com"; 
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_URL, $url); 
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10); 
$dxycontent = curl_exec($ch); 
echo $dxycontent; 
?> 



linux下可以使用下面的代码下载 
exec("wget {$url}"); 

PHP抓取外部资源函数fopen / file_get_contents / curl 的区别 

fopen / file_get_contents 每次请求都会重新做DNS查询,并不对DNS信息进行缓存。 
但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。 
这大大减少了DNS查询的次数。 
所以CURL的性能比fopen / file_get_contents 好很多。

服务器之家原创内容,转载请注明出处。

延伸 · 阅读

精彩推荐
  • PHP教程PHPUnit PHP测试框架安装方法

    PHPUnit PHP测试框架安装方法

    PHPUnit是一个轻量级的PHP测试框架。它是在PHP5下面对JUnit3系列版本的完整移植,是xUnit测试框架家族的一员(它们都基于模式先锋Kent Beck的设计)。 ...

    PHP教程网1382019-11-19
  • PHP教程JS与PHP向函数传递可变参数的区别实例代码

    JS与PHP向函数传递可变参数的区别实例代码

    JS与PHP向函数传递可变参数的区别实例代码,需要的朋友可以参考下。 ...

    PHP教程网3132019-11-25
  • PHP教程PHP实现微信商户支付企业付款到零钱功能

    PHP实现微信商户支付企业付款到零钱功能

    这篇文章主要为大家详细介绍了PHP实现微信商户支付企业付款到零钱功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    扯文艺的猿1582019-09-04
  • PHP教程PHP实现的解汉诺塔问题算法示例

    PHP实现的解汉诺塔问题算法示例

    这篇文章主要介绍了PHP实现的解汉诺塔问题算法,简单描述了汉诺塔问题及相应的实现算法,并结合实例形式给出了PHP具体操作技巧,需要的朋友可以参考下...

    qw_xingzhe4822019-09-16
  • PHP教程浅谈PHPANALYSIS提取关键字

    浅谈PHPANALYSIS提取关键字

    这篇文章主要介绍了PHPANALYSIS如何提取关键字,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随...

    瞪眼看太阳1502019-06-03
  • PHP教程php上传文件的增强函数

    php上传文件的增强函数

    php文件上传的增强函数首先变得傻瓜简单化,但并不是该函数的简单化就影响他的超强功能,并且加上了强大的除错功能这是一函数,当然你可以把它变成...

    php技术网1212019-11-04
  • PHP教程php微信公众号开发之秒杀

    php微信公众号开发之秒杀

    这篇文章主要为大家详细介绍了php微信公众号开发之秒杀功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    dq_0953282019-08-31
  • PHP教程php下连接mssql2005的代码

    php下连接mssql2005的代码

    php下连接mssql2005的代码,需要的朋友可以参考下。 ...

    php教程网4242019-11-16