色尼玛亚洲综合影院,亚洲3atv精品一区二区三区,麻豆freexxxx性91精品,欧美在线91

基于curl數(shù)據(jù)采集之正則處理函數(shù)get_matches的使用

根據(jù)前兩篇的博文:

基于curl數(shù)據(jù)采集之單頁面采集函數(shù)get_html的使用

基于curl數(shù)據(jù)采集之單頁面并行采集函數(shù)get_htmls的使用

已經(jīng)可以得到了我們需要的html文件,現(xiàn)在需要處理得到的文件獲取到我們需要的采集的數(shù)據(jù)。

對于html文檔的解析,沒有像XML那樣的解析類,因?yàn)镠TML文檔有很多不成對的標(biāo)簽,很不嚴(yán)格。這個時(shí)候就需要采用其他的一些輔助類了,simplehtmldom是一個類似于JQuery方式操作HTML文檔的解析類??梢院芊奖愕牡玫较胍臄?shù)據(jù),可惜速度慢。這里不是我們這里討論的重點(diǎn),我主要使用正則來匹配我所需要的采集的數(shù)據(jù),可以很快速的得到我需要采集的信息。

考慮到get_html可以判斷返回的數(shù)據(jù),但是get_htmls沒有辦法判斷,為了方便調(diào)式和調(diào)用寫了如下兩個函數(shù):
復(fù)制代碼 代碼如下:
function get_matches($pattern,$html,$err_msg,$multi=false,$flags=0,$offset=0){
     if(!$multi){
         if(!preg_match($pattern,$html,$matches,$flags,$offset)){
             echo $err_msg."! 錯誤信息: ".get_preg_err_msg()."/n";
             return false;
         }
     }else{
         if(!preg_match_all($pattern,$html,$matches,$flags,$offset)){
             echo $err_msg."! 錯誤信息: ".get_preg_err_msg()."/n";
             return false;
         }
     }
     return $matches;
 }
 function get_preg_err_msg(){
     $error_code = preg_last_error();
     switch($error_code){
         case PREG_NO_ERROR :
             $err_msg = 'PREG_NO_ERROR';
             break;
         case PREG_INTERNAL_ERROR:
             $err_msg = 'PREG_INTERNAL_ERROR';
             break;
         case PREG_BACKTRACK_LIMIT_ERROR:
             $err_msg = 'PREG_BACKTRACK_LIMIT_ERROR';
             break;
         case PREG_RECURSION_LIMIT_ERROR:
             $err_msg = 'PREG_RECURSION_LIMIT_ERROR';
             break;
         case PREG_BAD_UTF8_ERROR:
             $err_msg = 'PREG_BAD_UTF8_ERROR';
             break;
         case PREG_BAD_UTF8_OFFSET_ERROR:
             $err_msg = 'PREG_BAD_UTF8_OFFSET_ERROR';
             break;
         default:
             return '未知錯誤!';
     }
     return $err_msg.': '.$error_code;
 }

可以這樣調(diào)用:
復(fù)制代碼 代碼如下:
$url = 'http://www.baidu.com';
 $html = get_html($url);
 $matches = get_matches('!<a[^<]+</a>!',$html,'沒有找到鏈接',true);
 if($matches){
     var_dump($matches);
 }

或者這樣調(diào)用:
復(fù)制代碼 代碼如下:
$urls = array('http://www.baidu.com','http://www.hao123.com');
 $htmls = get_htmls($urls);
 foreach($htmls as $html){
     $matches = get_matches('!<a[^<]+</a>!',$html,'沒有找到鏈接',true);
     if($matches){
         var_dump($matches);
     }
 }

就可以得到所需的信息,無論單頁面采集還是多頁面采集,最終php還是只能處理一個頁面,由于使用get_matches了,可以對返回的值進(jìn)行判斷真假,得到正確的數(shù)據(jù),由于使用正則的時(shí)候遇到了超過正則回溯的問題,增加get_preg_err_msg來提示正則信息。

由于采集數(shù)據(jù)的時(shí)候,經(jīng)常是采集列表頁,根據(jù)列表頁得到的內(nèi)容頁鏈接再采集內(nèi)容頁,或者更多的層次,那么循環(huán)嵌套會很多,對于代碼的控制會感覺力不從心。那我們是否可以把采集列表頁的代碼和采集內(nèi)容頁的代碼,或者更多的層次的采集代碼分離開,甚至循環(huán)都簡化呢?

php技術(shù)基于curl數(shù)據(jù)采集之正則處理函數(shù)get_matches的使用,轉(zhuǎn)載需保留來源!

鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請第一時(shí)間聯(lián)系我們修改或刪除,多謝。

主站蜘蛛池模板: 安溪县| 临沭县| 鹤岗市| 赤水市| 武冈市| 兖州市| 呼玛县| 贺兰县| 绥德县| 富宁县| 五华县| 托克托县| 勃利县| 乌拉特后旗| 科技| 澄城县| 北流市| 大同县| 宜良县| 印江| 娄底市| 保亭| 香河县| 诸城市| 盐边县| 吉木萨尔县| 建始县| 玉门市| 广河县| 凌海市| 丰镇市| 大同市| 鄂温| 通州区| 松潘县| 茶陵县| 云霄县| 申扎县| 新建县| 永胜县| 闻喜县|