Phenquestions
Vor kurzem habe ich das Tool in die Hand genommen und war beeindruckt, wie viele Dinge Octoparse den Benutzern ermöglicht. In diesem Artikel erfahren Sie, worum es bei Octoparse geht, eine Einführung in den eingebauten Schaber und wie Sie Ihren eigenen Schaber von Grund auf neu bauen können.
Octoparse ist ein Tool zum Scraping von Daten von Websites from. Es ist eine einfach zu verwendende Web-Crawler-Anwendung, um Daten abzurufen, ohne eine zusätzliche Codezeile schreiben zu müssen.
Octoparse ist nicht kompliziert zu bedienen und in nur drei Schritten können Sie mit diesem leistungsstarken Web-Crawling-Tool großartige Dinge tun. Alles, was Sie benötigen, ist die URL, aus der Sie Daten extrahieren müssen, und ein paar Klicks.
Es gibt keine Einschränkung hinsichtlich der Art von Website, von der Daten abgekratzt werden können. Außerdem wird der Datenexport in Form einer CSV-Datei oder einer API erleichtert.
Sie können die Octoparse-Funktionen nutzen. Einige von ihnen sind:
- Damit können Sie Webcrawler schnell erstellen, ohne eine Codezeile schreiben zu müssen
- Es bietet einen Cloud-Service für die geplante Datenextraktion und IP-Rotation
- Es bietet unbegrenzten Speicherplatz
- Es ermöglicht Ihnen, professionelle Daten-Scraping-Experten von Octoparse zu beauftragen, die die Arbeit für Sie erledigen
Damit haben Sie ein solides Konzept, was Octoparse ist, seinen Zweck und wie Sie damit beginnen können.
Erste Schritte mit Octoparse
Bevor wir unseren ersten Webcrawler erstellen, richten wir unsere Umgebung für die Entwicklung ein. Wir beginnen damit, Octoparse von ihrer offiziellen Website herunterzuladen. Ich empfehle Ihnen, die Octoparse 7 . herunterzuladen.1 Version.
Warum Octoparse 7.1?
Octoparse 7.1 enthält Funktionen, die Sie in älteren Versionen des Tools nicht finden:
- Aufgabenvorlagen, die mit vordefinierten Vorlagen beim Scraping von Daten von Websites wie Amazon oder eBay helfen.
- Das Dashboard hat ein strukturiertes neues Aussehen, das dem Benutzer mehr Informationen bietet.
- Möglichkeit zum Scrapen von Daten von mehreren URLs durch Importieren aus einer Excel-, CSV- oder Textdatei.
- Eine Anti-Blocking-Funktion zur Umgehung von Schutzmaßnahmen, die Benutzer daran hindern, Daten von einer Website abzukratzen.
Sie können die Octoparse-Version 7 herunterladen.1 ausführbare Datei. Es funktioniert nur auf Windows-Betriebssystemen, daher benötigen Sie die VirtualBox, um auf Ihrem Linux-Rechner ausgeführt zu werden. Octoparse bietet eine Anleitung zur Verwendung des Tools für Benutzer von Linux-Rechnern.
Einführung in die Aufgabenvorlage
Die Aufgabenvorlage ist eine Funktion, die in die neueste Version von Octoparse eingeführt wurde und entwickelt wurde, um das Web-Scraping für alle unabhängig von technischen Kenntnissen zu erleichtern.
So verwenden Sie die Aufgabenvorlage
Um Ihnen Zeit zu sparen, gibt es wirklich keinen langwierigen Prozess zur Verwendung von Aufgabenvorlagen. Es sind jedoch einige Daten erforderlich, darunter die Ziel-URL, zu suchende Schlüsselwörter und viele weitere Parameter, die Sie benötigen, um die erforderlichen Daten Ihrer Wahl von der Website zu extrahieren.
Octoparse verfügt bereits über einige integrierte Vorlagen, wenn Sie Daten aus ihnen herauskratzen müssen, von denen die meisten unter anderem Google, Amazon, eBay und Walmart umfassen. Versuchen wir, eine der integrierten Aufgabenvorlagen zu verwenden.
Sie beginnen mit der Auswahl einer Vorlage Ihrer Wahl, in diesem Fall verwenden wir die eBay-Aufgabenvorlage. Nach Auswahl der Vorlage werden Sie aufgefordert, Ihre Parameter basierend auf den benötigten Daten einzugeben. Diese Parameter sind die Ziel-URL oder ein Schlüsselwort, nach dem gesucht werden soll.
Geben Sie in unser Parameterfeld "Nike Schuhe" ein” als Stichwort. Damit erledigt Octoparse den Rest der Aufgabe, indem es alle Daten basierend auf Ihren Parametern abruft, in diesem Fall alle Nike-Schuhe. Diese Daten können für jeden Zweck verwendet werden, den Sie im Sinn haben.
Navigieren Sie zur weiteren Analyse Ihrer erfassten Daten zum Datenfeld-Tab Ihrer Aufgabenvorlage, um zusätzliche Informationen zu allen Inhalten der Webseite anzuzeigen, einschließlich Nike-Schuhbilder, Verkäufername, Preis und Anzahl des Inventars number.
Sie können auch zum Tab „Beispielausgabe“ navigieren, um Informationen zu den Daten wie Produktname, Produkt-URL und viele weitere Daten anzuzeigen, die sich virtuell auf alle Nike-Schuhe bei eBay beziehen.
Sie haben gesehen, wie einfach es ist, Daten mit einer Aufgabenvorlage zu erfassen. Spielen Sie mit der Aufgabenvorlage herum und kratzen Sie Daten von eBay. Testen Sie andere integrierte Aufgabenvorlagen wie Walmart oder Google mit Octoparse.
Erstellen eines Web-Crawlers mit Octoparse
Sie sind so weit gekommen, um mit Octoparse einen Webcrawler zu erstellen. Sie verfügen über ein grundlegendes Wissen und alles, was Sie wissen müssen, wenn Sie Daten von einer Website mithilfe einer Aufgabenvorlage abkratzen. Sie können jedoch selbst einen Webcrawler erstellen.
Beim Erstellen eines Webcrawlers mit Octoparse gibt es zwei Ansätze. Sie sind:
- Zauberer Modus
- Fortgeschrittener Modus
Erstellen eines Web-Crawlers mit dem Octoparse Wizard-Modus
Der Wizard-Modus-Ansatz ist eigentlich eine einfachere und schnellere Methode, um Daten von einer Website abzukratzen. Mit einer reibungslosen Schritt-für-Schritt-Benutzeroberfläche können Sie Ihren Webcrawler in kürzester Zeit zum Laufen bringen. Es wird jedoch empfohlen, den erweiterten Modus für komplexeres Daten-Scraping zu verwenden.
Mit dem Assistentenmodus können Sie Daten aus Tabellen, Links oder Elementen in Seiten herauskratzen. Auf den Umfang dieses Tutorials beschränkt, lernen Sie, einen Webcrawler für eine einzelne Webseite zu erstellen.
Starten Sie zunächst Ihre Octoparse-Anwendung und erstellen Sie eine neue Aufgabe im Assistentenmodus und geben Sie die URL ein, von der Sie Daten abkratzen möchten. Sie können das Gruppeneingabefeld in einen beliebigen Namen umbenennen, der Ihnen cool erscheint, und auf die Schaltfläche Weiter klicken.
Sie werden zu einer neuen Seite navigiert, um den Extraktionstyp auszuwählen, und da Sie daran arbeiten, Daten von einer einzelnen Webseite abzukratzen, erhalten Sie die einzige Seite. Da Ihr Extraktionsdatentyp sehr stark definiert ist, können Sie jetzt unsere Felder definieren.
Um Ihre Felder zu definieren, wählen Sie die Zieldaten von der einzelnen Webseite aus und wenn Sie dies getan haben, werden die Daten automatisch in die Felder eingetragen. Jetzt können Sie die Feldeigenschaft nach Belieben bearbeiten und weitere Daten hinzufügen, indem Sie auf klicken die Schaltfläche Weitere Felder hinzufügen.
Wenn Sie diese Schritte befolgen, können Sie in weniger als fünf Minuten Daten von einer einzelnen Webseite extrahieren.
Erstellen eines Web-Crawlers mit dem erweiterten Octoparse-Modus
Der Wizard-Modus kann zum Scraping einfacher Websites mit einfacher Struktur verwendet werden, aber Websites mit komplexeren Strukturen sind eine schwierigere Aufgabe. Der erweiterte Modus ist das Tool, mit dem Sie solche Websites durchsuchen.
Starten Sie Ihre Octoparse-Anwendung, erstellen Sie im erweiterten Modus eine neue Aufgabe und geben Sie die URL ein, von der Sie Daten abkratzen möchten, und klicken Sie auf die Schaltfläche Speichern save. Dadurch gelangen Sie zum Workflow zur Aufgabenkonfiguration.
Die Workflow-Schnittstelle zur Aufgabenkonfiguration bietet Ihnen mehr Flexibilität bei der Art und Weise, wie Sie Daten extrahieren möchten. Die Funktion zum Vordefinieren von Workflows ist standardmäßig deaktiviert, also schalten Sie sie ein, um damit zu beginnen.
Wenn Sie im erweiterten Modus Daten auf der Webseite auswählen, erhalten Sie Aktionstipps für die ausgewählten Daten.
Wenn Sie auf der Webseite, von der Sie Daten crawlen möchten, auf ein Element klicken, werden die Aktionstipps unten rechts auf der Seite angezeigt. Mit den Aktionstipps können Sie auswählen, was Sie tun möchten, z. B. Daten extrahieren.
Mit dem erweiterten Modus können Sie die meiste Zeit damit verbringen, Ihren Workflow zu erstellen, um Daten zu extrahieren, und sobald Sie diese Phase hinter sich haben, ist Ihr Aufgaben-Workflow einsatzbereit. Klicken Sie einfach auf die Schaltfläche Extraktion starten, damit Octoparse gemäß Ihrem Workflow arbeitet.
Die Arbeit mit dem erweiterten Modus mag für Anfänger etwas schwer verständlich erscheinen, aber Sie werden sich mit der Zeit damit vertrauter machen.
Fazit
Sie können Websites durch das Schreiben von Code für Web-Scraper schaben, aber das kann zeitaufwändig sein. Octoparse liefert Ihnen großartige Ergebnisse, ohne dass Sie Code schreiben oder Zeit damit verbringen müssen, an der Scraper-Logik zu arbeiten.
In diesem Artikel haben Sie gesehen, worum es bei Octoparse geht und wie es Ihnen Zeit und Mühe spart. Sie haben auch gesehen, wie Sie die integrierten Aufgabenvorlagen verwenden können, um Daten von bestimmten Websites abzukratzen und auch Ihre eigenen leistungsstarken Web-Scraper zu erstellen.
Octoparse ist derzeit nur als ausführbare Windows-Datei verfügbar, daher benötigen Sie die VirtualBox, um sie auf Ihrem Linux-Rechner zu verwenden.
Sie können die offizielle Website von Octoparse besuchen, um mehr über den erweiterten Modus und den Assistentenmodus zu erfahren.
