Eine Schritt-für-Schritt-Anleitung: Wie Sie Daten von den Gelben Seiten scrapen können

Web Scraping, insbesondere das Scrapen von Daten von den Gelben Seiten, kann ein unglaublich wertvolles Werkzeug für Unternehmen und Einzelpersonen sein. Ob Sie Leads generieren, Marktforschung betreiben oder einfach nur Ihre Konkurrenz analysieren möchten, die Gelben Seiten bieten eine Fülle von Informationen. Diese Anleitung führt Sie Schritt für Schritt durch den Prozess des Scrapens von Daten von den Gelben Seiten, von der Vorbereitung bis zur ethischen Umsetzung.

Was ist Web Scraping und warum die Gelben Seiten?

Web Scraping ist der automatisierte Prozess des Extrahierens von Daten von Websites. Statt Informationen manuell zu kopieren und einzufügen, verwenden Sie ein Programm oder ein Tool, um die Daten systematisch zu sammeln und in einem strukturierten Format zu speichern.

Die Gelben Seiten sind aus mehreren Gründen ein attraktives Ziel für Web Scraping: Sie enthalten eine riesige Datenbank von Unternehmensinformationen, einschließlich Namen, Adressen, Telefonnummern, E-Mail-Adressen (sofern verfügbar) und Unternehmensbeschreibungen. Diese Daten sind oft öffentlich zugänglich und relativ einfach zu scrapen, vorausgesetzt, Sie befolgen die richtigen Schritte und respektieren die Nutzungsbedingungen der Website.

Schritt 1: Die richtige Vorbereitung – Tools und Technik

Bevor Sie mit dem Scrapen beginnen, benötigen Sie die richtigen Werkzeuge und eine solide technische Grundlage. Hier sind die wichtigsten Punkte:

• Programmiersprache: Python ist die beliebteste Wahl für Web Scraping. Es ist einfach zu erlernen, verfügt über eine große Community und bietet hervorragende Bibliotheken für das Scrapen.
• Bibliotheken:
  • Requests: Für das Abrufen des HTML-Codes der Webseiten. Installieren Sie es mit pip install requests.
  • Beautiful Soup: Für das Parsen des HTML-Codes und das Extrahieren der gewünschten Daten. Installieren Sie es mit pip install beautifulsoup4.
  • Selenium: Nützlich für Websites, die dynamisch Inhalte mit JavaScript laden. Installieren Sie es mit pip install selenium. (Mehr dazu später).
  • Pandas: Für die Datenverarbeitung und -speicherung in einem strukturierten Format wie CSV oder Excel. Installieren Sie es mit pip install pandas.
• Code-Editor: Wählen Sie einen Code-Editor wie VS Code, PyCharm oder Sublime Text.
• Proxies (Optional aber empfohlen): Um Ihre IP-Adresse zu maskieren und zu vermeiden, von der Website blockiert zu werden. Es gibt kostenlose und kostenpflichtige Proxy-Dienste. Die Verwendung von Proxies ist insbesondere bei großen Scraping-Vorhaben wichtig.

Schritt 2: Die Gelben Seiten Webseite inspizieren

Bevor Sie Code schreiben, müssen Sie die Struktur der Gelben Seiten Webseite verstehen. Öffnen Sie die Webseite, die Sie scrapen möchten, und verwenden Sie die Entwicklertools Ihres Browsers (normalerweise durch Drücken von F12). Untersuchen Sie den HTML-Code, um die Elemente zu identifizieren, die die Daten enthalten, die Sie extrahieren möchten. Achten Sie besonders auf:

• HTML-Tags: Welche Tags werden für Unternehmensnamen, Adressen, Telefonnummern usw. verwendet (z.B. <h3>, <p>, <a>)?
• CSS-Klassen und IDs: Diese Attribute werden verwendet, um bestimmte Elemente zu identifizieren und zu formatieren. Sie sind oft der Schlüssel zum Auffinden der gewünschten Daten im HTML-Code.
• URL-Struktur: Wie sind die URLs aufgebaut, und wie können Sie die URL-Parameter verwenden, um durch die Suchergebnisse zu navigieren (z.B. Seitenzahlen, Suchbegriffe)?

Ein gutes Verständnis der HTML-Struktur erleichtert das Schreiben Ihres Scraping-Codes erheblich.

Schritt 3: Der Scraping-Code (Beispiel mit Requests und Beautiful Soup)

Hier ist ein grundlegendes Beispiel, wie Sie Daten von den Gelben Seiten mit Python, Requests und Beautiful Soup scrapen können. Beachten Sie, dass die spezifische HTML-Struktur der Gelben Seiten sich im Laufe der Zeit ändern kann, sodass Sie den Code möglicherweise anpassen müssen.

„`python
import requests
from bs4 import BeautifulSoup
import pandas as pd

# Suchbegriff und Ort
suchbegriff = „Restaurant”
ort = „Berlin”
basis_url = „https://www.gelbeseiten.de”
url = f”{basis_url/suche}?q={suchbegriff}&where={ort}” #URL anpassen, falls sich die URL Struktur ändert

# HTTP-Anfrage senden
response = requests.get(url)

# Überprüfen, ob die Anfrage erfolgreich war
if response.status_code == 200:
# HTML-Code parsen
soup = BeautifulSoup(response.content, ‘html.parser’)

# Unternehmensdaten extrahieren (Beispiel: Unternehmensnamen, Adressen, Telefonnummern)
unternehmen_liste = []
#Hier muss der Selektor angepasst werden, je nach Struktur der Webseite
for eintrag in soup.find_all(‘div’, class_=’mod-adress-result’):
try:
name = eintrag.find(‘h2′, class_=’mod-adress-title’).text.strip()
adresse = eintrag.find(‘p’, class_=’street’).text.strip()
telefon = eintrag.find(‘li’, class_=’icon-phone’).text.strip()

unternehmen_liste.append({‘Name’: name, ‘Adresse’: adresse, ‘Telefon’: telefon})
except:
pass #Handling, wenn ein Eintrag nicht vollständig ist.

# Daten in einen Pandas DataFrame umwandeln
df = pd.DataFrame(unternehmen_liste)

# DataFrame in eine CSV-Datei speichern
df.to_csv(‘gelbe_seiten_restaurants_berlin.csv’, index=False, encoding=’utf-8′)

print(f”Daten erfolgreich in ‘gelbe_seiten_restaurants_berlin.csv’ gespeichert.”)

else:
print(f”Fehler beim Abrufen der Seite: Statuscode {response.status_code}”)

„`

Wichtige Hinweise zum Code:

• URL-Struktur: Die Variable `url` muss exakt der URL entsprechen, die Sie scrapen möchten. Achten Sie darauf, dass die Suchbegriffe und Orte korrekt kodiert sind.
• Selektoren: Die `.find_all()`- und `.find()`-Methoden verwenden CSS-Klassen und HTML-Tags, um die gewünschten Elemente zu finden. Diese Selektoren müssen möglicherweise an die aktuelle Struktur der Gelben Seiten angepasst werden. Die Entwicklertools des Browsers sind hier sehr hilfreich.
• Fehlerbehandlung: Der `try…except`-Block dient dazu, Fehler abzufangen, wenn ein Eintrag unvollständige Daten enthält. Dies verhindert, dass das Skript abstürzt.
• Datenverarbeitung: Die extrahierten Daten werden in einem Pandas DataFrame gespeichert, was die Weiterverarbeitung und -analyse erleichtert.
• Encoding: Stellen Sie sicher, dass Sie die CSV-Datei mit der korrekten Kodierung (z.B. UTF-8) speichern, um Probleme mit Sonderzeichen zu vermeiden.

Schritt 4: Dynamische Inhalte mit Selenium scrapen

Einige Websites, einschließlich der Gelben Seiten, verwenden JavaScript, um Inhalte dynamisch zu laden, nachdem die Seite geladen wurde. In diesen Fällen können Sie Selenium verwenden, um einen Browser zu steuern und JavaScript auszuführen, um die Daten abzurufen.

Hier ist ein Beispiel, wie Sie Selenium verwenden können:

„`python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import pandas as pd
import time

# Chrome-Optionen konfigurieren
chrome_options = Options()
chrome_options.add_argument(„–headless”) # Führt den Browser im Hintergrund aus
#Stellen Sie sicher, dass der ChromeDriver Pfad korrekt ist!
driver = webdriver.Chrome(executable_path=’/path/to/chromedriver’, options=chrome_options)

# URL der Gelben Seiten
url = „https://www.gelbeseiten.de/suche?q=Restaurant&where=Berlin”

# Seite laden
driver.get(url)

# Warten, bis der Inhalt geladen ist (Optional, aber oft notwendig)
time.sleep(5)

# HTML-Code extrahieren
html = driver.page_source
soup = BeautifulSoup(html, ‘html.parser’)

# Daten extrahieren (wie im vorherigen Beispiel)
unternehmen_liste = []
for eintrag in soup.find_all(‘div’, class_=’mod-adress-result’):
try:
name = eintrag.find(‘h2′, class_=’mod-adress-title’).text.strip()
adresse = eintrag.find(‘p’, class_=’street’).text.strip()
telefon = eintrag.find(‘li’, class_=’icon-phone’).text.strip()

unternehmen_liste.append({‘Name’: name, ‘Adresse’: adresse, ‘Telefon’: telefon})
except:
pass

# Browser schließen
driver.quit()

# Daten in einen Pandas DataFrame umwandeln und speichern
df = pd.DataFrame(unternehmen_liste)
df.to_csv(‘gelbe_seiten_restaurants_berlin_selenium.csv’, index=False, encoding=’utf-8′)

print(f”Daten erfolgreich in ‘gelbe_seiten_restaurants_berlin_selenium.csv’ gespeichert.”)
„`

Wichtige Hinweise zu Selenium:

• ChromeDriver: Sie benötigen den ChromeDriver, der mit Ihrer Chrome-Version kompatibel ist. Laden Sie ihn von der offiziellen ChromeDriver-Website herunter und geben Sie den Pfad in Ihrem Code an.
• Headless-Modus: Der `–headless`-Modus ermöglicht das Ausführen des Browsers im Hintergrund, ohne eine grafische Benutzeroberfläche anzuzeigen.
• Wartezeiten: Die `time.sleep()`-Funktion ist wichtig, um sicherzustellen, dass der Inhalt vollständig geladen ist, bevor Sie ihn scrapen. Passen Sie die Wartezeit an die Ladezeit der Website an.
• Selektoren: Selenium bietet verschiedene Möglichkeiten, Elemente auf der Seite zu finden, z. B. über CSS-Selektoren, XPath oder IDs.

Schritt 5: Ethisches Scraping und Anti-Blockierungsmaßnahmen

Ethisches Web Scraping ist von entscheidender Bedeutung. Respektieren Sie die Nutzungsbedingungen der Website und vermeiden Sie es, die Server zu überlasten. Hier sind einige wichtige Punkte:

• robots.txt: Überprüfen Sie die `robots.txt`-Datei der Website, um zu sehen, welche Bereiche nicht gescraped werden dürfen.
• Request Rate Limitierung: Senden Sie nicht zu viele Anfragen in kurzer Zeit. Fügen Sie Verzögerungen zwischen den Anfragen ein (z. B. mit `time.sleep()`), um die Server nicht zu überlasten.
• User-Agent: Legen Sie einen realistischen User-Agent-Header fest, um sich als normaler Browser auszugeben.
• Proxies: Verwenden Sie Proxies, um Ihre IP-Adresse zu maskieren und zu vermeiden, dass Sie blockiert werden. Rotieren Sie die Proxies regelmäßig, um das Risiko der Blockierung zu verringern.
• Datenschutz: Achten Sie auf den Datenschutz und sammeln Sie nur die Daten, die Sie wirklich benötigen. Löschen Sie die Daten, wenn sie nicht mehr benötigt werden.

Schritt 6: Daten speichern und analysieren

Die gesammelten Daten können in verschiedenen Formaten gespeichert werden, z. B. in CSV-Dateien, Excel-Dateien oder Datenbanken. Pandas bietet hervorragende Möglichkeiten, die Daten zu verarbeiten, zu bereinigen und zu analysieren. Sie können die Daten auch in andere Tools wie Tableau oder Power BI importieren, um interaktive Visualisierungen zu erstellen.

Fazit

Das Scrapen von Daten von den Gelben Seiten kann ein leistungsstarkes Werkzeug sein, wenn es ethisch und verantwortungsvoll durchgeführt wird. Mit den richtigen Werkzeugen und Techniken können Sie wertvolle Informationen extrahieren, die Ihnen helfen, Ihre Geschäftsziele zu erreichen. Denken Sie daran, immer die Nutzungsbedingungen der Website zu respektieren und Anti-Blockierungsmaßnahmen zu implementieren, um das Scraping-Erlebnis für alle zu verbessern.