php中读取大文件实现方法详解
2014-4-22 liyangweb.com 李杨 PHP
需求如下: 现有一个1G左右的日志文件,大约有500多万行, 用php返回最后几行的内容。
实现方法:
1. 直接采用file函数来操作
注: 由于 file函数是一次性将所有内容读入内存,而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足,使服务器出现宕机,所以默认情况下 限制只能最大使用内存16M,这是通过php.ini里的memory_limit = 16M来进行设置,这个值如果设置-1,则内存使用量不受限制.
下面是一段用file来取出这具文件最后一行的代码.
整个代码执行完成耗时 116.9613 (s).
ini_set('memory_limit','-1'); $file = 'access.log'; $data = file($file); $line = $data[count($data)-1]; echo $line;
我机器是2个G的内存,当按下F5运行时,系统直接变灰,差不多20分钟后才恢复过来,可见将这么大的文件全部直接读入内存,后果是多少严重,所以不在万不得以,memory_limit这东西不能调得太高,否则只有打电话给机房,让reset机器了.
2.直接调用linux的tail命令来显示最后几行
在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php代码如下.
整个代码执行完成耗时 0.0034 (s)
file = 'access.log'; $file = escapeshellarg($file); // 对命令行参数进行安全转义 $line = `tail -n 1 $file`; echo $line;
3. 直接使用php的fseek来进行文件操作
这种方式是最为普遍的方式,它不需要将文件的内容全部读入内存,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.
方法一:
首先通过fseek找到文件的最后一位EOF,然后找最后一行的起始位置,取这一行的数据,再找次一行的起始位置,再取这一行的位置,依次类推,直到找到了$num行。
实现代码如下
整个代码执行完成耗时 0.0095 (s)
function tail($fp,$n,$base=5) { assert($n>0); $pos = $n+1; $lines = array(); while(count($lines)< =$n){ try{ fseek($fp,-$pos,SEEK_END); } catch (Exception $e){ fseek(0); break; } $pos *= $base; while(!feof($fp)){ array_unshift($lines,fgets($fp)); } } return array_slice($lines,0,$n); } var_dump(tail(fopen("access.log","r+"),10));
方法二 :
还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(n)的个数来判断是否已经读完最后$num行数据.
实现代码如下
整个代码执行完成耗时 0.0009(s).
$fp = fopen($file, "r"); $line = 10; $pos = -2; $t = " "; $data = ""; while ($line > 0) { while ($t != "n") { fseek($fp, $pos, SEEK_END); $t = fgetc($fp); $pos --; } $t = " "; $data .= fgets($fp); $line --; } fclose ($fp); echo $data
方法三:
整个代码执行完成耗时 0.0003(s)
$fp = fopen($file, "r"); $num = 10; $chunk = 4096; $fs = sprintf("%u", filesize($file)); $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file); for ($len = 0; $len < $max; $len += $chunk) { $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len; fseek($fp, ($len + $seekSize) * -1, SEEK_END); $readData = fread($fp, $seekSize) . $readData; if (substr_count($readData, "n") >= $num + 1) { preg_match("!(.*?n){".($num)."}$!", $readData, $match); $data = $match[0]; break; } } fclose($fp); echo $data;
标签: PHP读取大文件
It's me!
liyangweb.com 李杨
.:.:.:.:.:.:.:.
一个用着普通人不理解的语法和符号,与某个世界的自然法则相沟通,进而实现人类需要的奇迹的人,相当于远古时代的 巫师 ……
哥从不会寂寞
-
因为有陪着哥~~~
最新评论
- 111
fastcgi_pass为配置nginx... - 网赚博客
谢谢博主这篇文章解决了我的问题 - 接碰飞
页面显示为空,是因为配置出现问题吗? ... - haoessays
哇,这篇文章正在减轻对世界广泛使用的信息... - arham
眼镜 - haoessays
收藏了,赞赞。 - 作文代写
感谢楼主的分享,赞赞。 - liyangweb.com 李杨
@夏目贵志:这里就不应该用foreach... - 夏目贵志
php foreach 循环数组怎么进行... - 蔡天水
博主你好 , 我也遇到这个问题, 我的数...
听我说
- 记得上小学的时候,老师说文章的标题要尽量概括文章的内容,但是现在发现,我们看到一篇文章,却就是不告诉你真实的内容。这是进步吗?
2016-11-17 23:44
- 由于将博客放在了一个不靠谱的服务器上,导致所有附件和站内图片以及少量博客和朋友们的留言丢失。后面我会逐渐将附件和图片补上,至于一些内容,怕是找不回来了~~~
2016-06-25 17:05
- 如果我发明一副美颜眼镜,带上后,男人不会嫌女人不漂亮了,女人也不会嫌男人不帅了,岂不是随时都能赏心悦目了?全国人民都强制佩戴,和谐社会立马就实现了,这玩意必定大卖啊!哈哈哈~~~
2016-02-11 23:24
- 问:产品经理哪些话最暴露对编程的无知?
答:为什么要这么久?
2015-07-02 12:29
- 最近工作太忙了,只能转一些文章来凑数了~~~
2015-04-16 23:13
那些日子
- 2018年4月(4)
- 2018年3月(1)
- 2018年1月(2)
- 2017年11月(2)
- 2017年10月(1)
- 2017年9月(3)
- 2017年8月(1)
- 2017年7月(3)
- 2017年6月(3)
- 2017年5月(1)
- 2017年4月(3)
- 2017年3月(1)
- 2017年2月(2)
- 2017年1月(1)
- 2016年12月(1)
- 2016年11月(3)
- 2016年10月(4)
- 2016年9月(2)
- 2016年8月(10)
- 2016年7月(2)
- 2016年6月(7)
- 2016年5月(3)
- 2016年4月(1)
- 2016年3月(1)
- 2016年2月(3)
- 2016年1月(3)
- 2015年12月(6)
- 2015年11月(4)
- 2015年10月(6)
- 2015年9月(4)
- 2015年8月(4)
- 2015年7月(2)
- 2015年6月(1)
- 2015年5月(3)
- 2015年4月(2)
- 2015年3月(1)
- 2015年2月(1)
- 2015年1月(1)
- 2014年12月(1)
- 2014年11月(4)
- 2014年10月(4)
- 2014年9月(5)
- 2014年8月(4)
- 2014年7月(7)
- 2014年6月(15)
- 2014年5月(10)
- 2014年4月(9)
- 2014年3月(5)
- 2014年2月(8)
- 2014年1月(6)
- 2013年12月(12)
- 2013年11月(33)
- 2013年10月(25)
- 2013年9月(10)
- 2013年8月(10)
- 2013年7月(12)
- 2013年6月(16)
- 2013年5月(1)
- 2013年4月(2)
发表评论: