php多进程处理
往往我們會碰到一個情況,需要寫一個腳本,這個腳本要處理的數據量極大,單進程處理腳本非常慢,那么這個時候就會想到使用多進程或者多線程的方式了。
我習慣使用多進程的方式,php中使用多進程的時候需要使用pcntl,pcntl的使用可以看這個PHP的pcntl多進程
但是這里有一個問題,一個主進程把任務分成n個部分,然后把任務分配給多個子進程,但是任務可能是有返回值的,所有的子進程處理完返回值以后需要把返回值返回給主進程。
這個就涉及到了進程間通信了。進程間通信可以使用的方法當然很多了,比如用redis,用數據庫,用文件等。
php中最簡單的要算shmop相關函數了。
- shmop_open
- shmop_read
- shmop_write
- shmop_size
- shmop_delete
那怎么讓一個類很容易有多進程處理的能力呢?可以使用php的trait,創建一個PcntlTrait,所有需要有多進程處理功能的類就use 這個trait就行。
PcntlTrait代碼如下:
namespace App\Console\Commands;trait PcntlTrait {private $workers = 1;public function worker($count){$this->workers = $count;}public function pcntl_call($all, \Closure $callback){$perNum = ceil(count($all) / $this->workers);$pids = [];for($i = 0; $i < $this->workers; $i++){$pids[$i] = pcntl_fork();switch ($pids[$i]) {case -1:echo "fork error : {$i} \r\n";exit;case 0:$data = [];try {$data = $callback(array_slice($all, $i * $perNum, $perNum));} catch(\Exception $e) {echo ($e->getMessage());}$shm_key = ftok(__FILE__, 't') . getmypid();$data = json_encode($data);$shm_id = shmop_open($shm_key, "c", 0777, strlen($data) + 10);shmop_write($shm_id, $data, 0);shmop_close($shm_id);exit;default:break;}}// only master process will go into here$ret = [];foreach ($pids as $i => $pid) {if($pid) {pcntl_waitpid($pid, $status);$shm_key = ftok(__FILE__, 't') . $pid;$shm_id = shmop_open($shm_key, "w", 0, 0);$data = trim(shmop_read($shm_id, 0, shmop_size($shm_id)));$data = json_decode($data, true);$ret = array_merge($ret, $data);@shmop_close($shm_id);@shmop_delete($shm_id);}}return $ret;} }它有兩個參數,第一個參數為傳入數組,第二個參數為數組處理函數。
它的具體使用通過下面這個測試用例可以看出:
use App\Console\Commands\PcntlTrait;class PcntlImp {use PcntlTrait; }class TestPcntlTrait extends \TestCase {public function setup(){$this->createApplication();}public function testPcntlCall(){$arr = [1,2,3,4,5,6,7,8,9,10];$imp = new \PcntlImp();$imp->worker(2);$data = $imp->pcntl_call($arr, function($info){if (empty($info)){return [];}$ret = [];foreach ($info as $item) {$ret[] = $item * $item;}return $ret;});$this->assertEquals(10, count($data));$this->assertEquals(25, $data[4]);} }非常方便~~
來源:https://www.cnblogs.com/yjf512/p/4688451.html
總結
- 上一篇: 刘芳(说一说刘芳的简介)
- 下一篇: 海岸线最长的国家是哪个国家(海岸线最长的