[PHP-서기] PHP 51 - 웹사이트크롤링 (= 사이트파싱) ★★★ (= 타사이트 특정부위 가져오기)

Simple HTML DOM

 

소개
jQuery 문법으로 HTML 데이터 제어하는 라이브러리 .

 

다운로드 

https://sourceforge.net/projects/simplehtmldom/files/

 

매뉴얼

https://simplehtmldom.sourceforge.io/manual.htm

 

---

 

<?php

// PHP정보

//phpinfo();

// 파일정보 가져오기 허용설정

ini_set("allow_url_fopen",1);

// DAUM 사이트 가져오기

include "simple_html_dom.php";

$data = file_get_html("https://daum.net");

// DAUM 사이트 보여주기

//echo $data;

// 특정부분만 가져오기

$a = $data->find("ul.list_txt");

//echo $a; // Array

/*

// 텍스트만 가져오기 (실패)

foreach($a as $b) {

   echo $b->plaintext;

   echo "<br>";

}

*/

// 텍스트만 가져오기 (성공)

foreach($a as $ul) {

    $c = $ul->find("li");

    foreach($c as $li) {

        echo $li->plaintext;

        echo "<br>";

    }

}

 

관련글 (121120) https://sir.kr/pg_tip/12474 

Snoopy (스누피)

 

다운로드

https://sourceforge.net/projects/snoopy/

 

---

 

<?php

include "simple_html_dom.php";

include "Snoopy.class.php";

$snoopy = new Snoopy;

$snoopy->referer = 'https://naver.com'; // 가짜 리퍼러

$snoopy->fetch('https://naver.com'); // 크롤링할 사이트

$data = str_get_html($snoopy->results);

echo $data->plaintext; 

?>

 

※ str_get_html() 함수는 Simple HTML DOM 정의 함수.

---

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

$url = "https://naver.com";

$snoopy->fetch($url);

$list_result = $snoopy->results;

echo $list_result;

 

서기 님