用Laravel轻松处理千万级数据的方法实现_PHP教程

用Laravel轻松处理千万级数据的方法实现

2021-11-02 15:04Jeremy_Zhong PHP教程

这篇文章主要介绍了用Laravel轻松处理千万级数据的方法实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

在Laravel中使用cursor来查询并处理数据 (轻松处理千万级的数据)

事发现场

最近在项目中遇到内存不足的问题, 测试环境中的PHP内存只有64M,在导出的时候, 数据量比较大,这个时候会出现内存溢出的错误;

如何解决

目前想到两种方法:

调整php.ini文件中memory_limit配置项; 或者在调用方法中调整内存大小ini_set('memory_limit', "").
使用Laravel的Lazy Collection.

考虑到修改配置文件的影响范围过大, 以及对导出的实时性要求不是很高, 所以我们选择了第二种方法.

Lazy Collection

如何使用Lazy Collection? 很简单, 将查询构建器链末尾的get()更改为cursor()就好了 !

cursor ( )

cursor的原理

cursor的实现使用了 yield 关键字, yield关键字是生成器函数的核心, 它的调用形式跟return很像, 不同之处在于return会返回值并且终止函数执行, 而yield会返回值给循环调用生成器的代码并且只是暂停生成器函数.

cursor()的代码如下

				?

									/** 

									 * 

									 Get a generator for the given query. 

									 * 

									 * @return Generator

									 */

									public function cursor() {

									 foreach ($this->applyScopes()->query->cursor() as $record) { 

									   yield $this->newModelInstance()->newFromBuilder($record);

									 } 

									}