Adatvadászat a weben: HTML-ből kiolvasás PHP-val, és automatikus mentés MySQL adatbázisba

Üdvözöllek! Ebben a cikkben bemutatom, hogyan végezhetsz webes adatvadászatot (web scraping) PHP segítségével, hogyan olvashatsz ki adatokat HTML oldalakból, és hogyan mentheted el ezeket az adatokat automatikusan egy MySQL adatbázisba. Ez egy rendkívül hasznos technika, ha automatizálni szeretnéd az adatgyűjtést különböző weboldalakról.

Mire lesz szükséged?

• Egy web szerver (pl. Apache, Nginx)
• PHP telepítve és konfigurálva
• MySQL adatbázis
• Egy PHP szövegszerkesztő (pl. VS Code, Sublime Text)
• Egy böngésző a teszteléshez (pl. Chrome, Firefox)

Az alapok: HTML elemzés PHP-val

A HTML oldalak elemzéséhez a PHP-ban több lehetőség is rendelkezésre áll. Az egyik legnépszerűbb módszer a file_get_contents() függvény használata, amely letölti a kívánt weboldal tartalmát, majd ezt egy HTML parserrel dolgozzuk fel. Egy másik lehetőség a cURL könyvtár, amely bonyolultabb esetekben, például bejelentkezéskor vagy POST kérések küldésekor hasznosabb.

Példa a file_get_contents() használatára:

    <?php
    $url = 'https://example.com'; // Cél weboldal
    $html = file_get_contents($url);

    if ($html === false) {
        die('Hiba a weboldal letöltésekor!');
    }

    // Itt jön a HTML feldolgozása
    ?>
    

Miután letöltöttük a HTML tartalmat, szükségünk van egy HTML parserre. A PHP-ban a DOMDocument osztály az egyik leggyakrabban használt eszköz erre a célra.

Példa a DOMDocument használatára:

    <?php
    $dom = new DOMDocument();
    @$dom->loadHTML($html); // Az @ elnyomja a figyelmeztetéseket

    // XPath használata az elemek kiválasztásához
    $xpath = new DOMXPath($dom);

    // Például az összes <h1> elem kiválasztása:
    $headings = $xpath->query('//h1');

    foreach ($headings as $heading) {
        echo $heading->nodeValue . "<br>";
    }
    ?>
    

Az XPath egy nagyon hatékony eszköz a HTML elemek kiválasztására. Segítségével bonyolult feltételek alapján is megtalálhatjuk a kívánt elemeket.

Adatok mentése MySQL adatbázisba

Miután kiolvastuk az adatokat a HTML oldalból, el kell mentenünk azokat egy adatbázisba. A MySQL egy népszerű relációs adatbázis-kezelő rendszer, amelyet gyakran használnak PHP-val. A PHP-ban a mysqli vagy a PDO könyvtárak segítségével kapcsolódhatunk az adatbázishoz.

Példa a mysqli használatára:

    <?php
    $host = 'localhost';
    $username = 'felhasználónév';
    $password = 'jelszó';
    $database = 'adatbázis_név';

    $conn = new mysqli($host, $username, $password, $database);

    if ($conn->connect_error) {
        die('Kapcsolódási hiba: ' . $conn->connect_error);
    }

    // Adatok beszúrása
    $cim = 'Cikk címe';
    $tartalom = 'Cikk tartalma';

    $sql = "INSERT INTO cikkek (cim, tartalom) VALUES ('$cim', '$tartalom')";

    if ($conn->query($sql) === TRUE) {
        echo "Sikeres adatbevitel!";
    } else {
        echo "Hiba: " . $sql . "<br>" . $conn->error;
    }

    $conn->close();
    ?>
    

Fontos, hogy az adatokat megfelelő módon szűrjük és tisztítsuk meg, mielőtt az adatbázisba mentenénk, hogy elkerüljük az SQL injection támadásokat. Erre a célra a mysqli_real_escape_string() függvény használható.

Automatizálás: Cron Job

A webes adatvadászat igazi ereje az automatizálásban rejlik. A Cron Job egy időzített feladat, amelyet a szerveren futtathatunk. Beállíthatjuk, hogy a PHP szkriptünk rendszeresen, például naponta egyszer fusson, és automatikusan begyűjtse az adatokat.

A Cron Job beállításához a szerver termináljában vagy a hosting panelen (pl. cPanel) kell megadnunk egy időzítést és a futtatandó parancsot. Például:

    0 0 * * * php /var/www/html/adatvadasz.php
    

Ez a parancs minden nap éjfélkor futtatja az adatvadasz.php szkriptet.

Fontos megjegyzések és etikai szempontok

Mielőtt elkezdenéd a webes adatvadászatot, mindig győződj meg arról, hogy a cél weboldal szabályzata engedélyezi az automatikus adatgyűjtést. Tiszteletben kell tartanod a robots.txt fájlban meghatározott szabályokat, és nem szabad túlterhelned a szervert a kérésekkel.

„A webes adatvadászat egy nagyszerű eszköz, de felelősséggel kell használni. Ne felejtsd el, hogy a weboldalak tartalma szerzői jogvédelem alatt állhat, és az adatok jogtalan felhasználása jogi következményekkel járhat.”

Saját tapasztalatom alapján azt mondhatom, hogy a weboldalak 80%-a nem tiltja az adatgyűjtést a robots.txt-ben. A fontos az, hogy ne terheljük túl a szervert és tiszteljük a weboldalak szabályait.

Összegzés

Ebben a cikkben bemutattam, hogyan végezhetsz webes adatvadászatot PHP segítségével, hogyan olvashatsz ki adatokat HTML oldalakból, és hogyan mentheted el ezeket az adatokat automatikusan egy MySQL adatbázisba. Remélem, hogy ez a tudás segít neked automatizálni az adatgyűjtési folyamataidat és hatékonyabbá tenni a munkádat! Ne felejtsd el, a felelősségteljes és etikus adatgyűjtés a legfontosabb!