Web Scraping wird zu einem immer größeren Problem – und dies sind die Websites, die heute am häufigsten gescrapt werden
Neue Forschungsergebnisse haben das Ausmaß des wachsenden Problems des Web Scraping auf einigen der größten Websites der Welt offenbart.
Laut dem Smartproxy-Bericht über die am häufigsten gescrapten Websites des Jahres 2024 machen Social-Media-Seiten mehr als ein Viertel (27 %) der am häufigsten gescrapten Websites aus.
Im Jahr 2023 und in den ersten drei Monaten des Jahres 2024 interessierten sich Bots am meisten für Suchmaschinen wie Google (42 %), jedoch machten Social-Media-Konten und Community-Foren insgesamt ein Drittel (34 %) der beobachteten Scraping-Fälle aus.
Google ist die am häufigsten gescrapte Website
Obwohl dies besorgniserregend ist, sind viele der am häufigsten gescrapten Websites glücklicherweise kein Ziel des persönlichen Data-Mining. Hier sind vor allem Suchmaschinen und der E-Commerce-Bereich betroffen.
„Dieser Trend zeigt den dringenden Bedarf an Echtzeit-Suchdaten in verschiedenen Sektoren, einschließlich des ständig wachsenden KI-Bereichs, in dem Daten eine entscheidende Rolle beim Training von KI-Modellen spielen“, sagte Vytautas Savickas, CEO von Smartproxy.
„Darüber hinaus machen E-Commerce-Plattformen einen großen Teil der meisten Scraped-Ziele aus, was den Drang der Branche nach Wettbewerbsinformationen widerspiegelt, die für dynamische Preisstrategien erforderlich sind.“
E-Commerce-Sites, die rund ein Fünftel (18 %) der Scraping-Anfragen ausmachen, stellen ein wachsendes Segment dar. Smartproxy stellte fest, dass sich Einkaufstrends herausbilden und dass Echtzeitdaten immer wichtiger werden, da die Verbraucher nach wettbewerbsfähigeren Preisen suchen.
Der Bericht führt außerdem die Spitzenwerte im E-Commerce auf, wobei Einkaufsperioden wie der Black Friday (+64 %), Weihnachten (+46 %) und der Amazon Prime Day (+22 %) allesamt erhebliche Spitzenwerte verzeichneten.
„Unternehmen intensivieren in diesen Zeiten ihre Scraping-Bemühungen, um den Wert der Daten zu erfassen, die durch den Ansturm der Online-Käufer auf der Suche nach Rabatten und Sonderangeboten generiert werden“, fügte Savickas hinzu.
