Ab 100’000 URLs wird Screaming Frog zur Geduldsprobe auf dem lokalen Rechner. Genau hier setzt OnCrawl an: ein Cloud-basierter Enterprise-Crawler, der nicht nur deine Seite durchforstet, sondern dir dank Logfile-Analyse auch verrät, was der Googlebot wirklich tut. Für grosse, komplexe Projekte ist das kein Luxus, sondern eine Notwendigkeit, um das Crawl-Budget effizient zu steuern und technische SEO-Probleme zu finden, die andere Tools übersehen.
Das Wichtigste im Überblick

- Cloud-basiert: Im Gegensatz zu Screaming Frog oder Sitebulb läuft der Crawl nicht auf deinem Rechner, sondern auf den Servern von OnCrawl. Das schont deine Ressourcen und ermöglicht das Crawlen von Millionen von URLs.
- Logfile-Analyse: Das Kern-Feature. OnCrawl gleicht Crawl-Daten mit den echten Zugriffsprotokollen deines Servers ab und zeigt, welche Seiten der Googlebot wie oft besucht – oder ignoriert.
- JavaScript-Rendering: Das Tool kann komplexe Seiten mit JavaScript-Frameworks (React, Angular, Vue) rendern und analysieren, wie sie für Suchmaschinen wirklich aussehen.
- Crawl-Vergleiche: Vergleiche verschiedene Crawls miteinander, zum Beispiel deine Staging-Umgebung mit der Live-Seite oder den Zustand vor und nach einem Relaunch.
- Enterprise-Fokus: Mit einem Pricing, das typischerweise im drei- bis vierstelligen Bereich pro Monat startet, richtet sich das Tool klar an grosse Unternehmen, Agenturen und Publisher.
- Daten-Integration: OnCrawl verbindet sich mit der Google Search Console, Google Analytics und anderen Datenquellen, um ein vollständiges Bild zu zeichnen.
Was ist OnCrawl genau? Ein technischer Deep Dive

OnCrawl ist eine technische SEO-Plattform, die weit über das hinausgeht, was ein einfacher Website-Crawler leistet. Während Tools wie Screaming Frog eine Website aus der Aussenperspektive scannen, um Links, Status-Codes und Metadaten zu sammeln, kombiniert OnCrawl diese «Aussensicht» mit der «Innensicht» der Server-Logfiles. Dieser Ansatz löst eines der grössten Probleme im technischen SEO: die Blackbox des Googlebots.
Du weisst nie zu 100%, wie Google deine Website crawlt. Du kannst Vermutungen anstellen, aber nur die Logfiles liefern die harten Fakten. Sie protokollieren jeden einzelnen Zugriff eines Bots auf deinen Server. Die Herausforderung dabei: Diese Logfiles sind oft riesig, unstrukturiert und schwer zu interpretieren. Genau das automatisiert OnCrawl. Das Tool analysiert die Log-Daten und visualisiert sie, sodass du auf einen Blick erkennst:
- Welche Seiten werden am häufigsten vom Googlebot besucht?
- Verschwendet der Googlebot sein Crawl-Budget auf unwichtige Seiten (z.B. mit Parametern, Facetten-Navigation)?
- Gibt es wichtige Seiten, die nie oder nur sehr selten gecrawlt werden?
- Wie verhält sich der Crawl-Rhythmus nach Änderungen an der Website?
Diese Informationen sind pures Gold für die Optimierung des Crawl-Budgets, besonders bei E-Commerce-Shops oder News-Portalen mit Millionen von Unterseiten.
OnCrawl vs. Screaming Frog: Wann lohnt sich der Wechsel?
Screaming Frog ist mein Standard-Tool für schnelle Audits und Analysen bis zu einer gewissen Grösse. Es ist flexibel, schnell und gehört in den Werkzeugkasten jedes SEOs. Aber es hat Grenzen. Der Wechsel zu einem Enterprise-Crawler wie OnCrawl, Deepcrawl oder Jetoctopus wird dann sinnvoll, wenn du an eine oder mehrere dieser Grenzen stösst.
Hier ist mein direkter Vergleich, wann welches Tool die richtige Wahl ist:
| Kriterium | Screaming Frog SEO Spider | OnCrawl |
|---|---|---|
| Plattform | Desktop-Anwendung (Windows, macOS, Linux) | Cloud-basiert (SaaS) |
| Ideale Projektgrösse | Bis ca. 100’000 URLs (stark von lokaler Hardware abhängig) | Ab 100’000 bis zu hunderten Millionen URLs |
| Logfile-Analyse | Ja, aber manueller Import und limitierte Analyse | Kernfunktion, automatisiert und tief integriert |
| Pricing-Modell | Jährliche Lizenz (~259 USD pro Jahr) | Monatliches/Jährliches Abo, basierend auf Volumen (ab ca. 500 EUR/Monat) |
| Kollaboration | Limitiert (Export/Import von Crawls) | Für Teams konzipiert, mit geteilten Projekten und Dashboards |
| Automatisierung | Möglich via Command-Line, erfordert aber technisches Setup | Geplante Crawls und Monitoring sind Standard |
Die Entscheidung ist also weniger eine Frage von «besser» oder «schlechter», sondern von «passend für den Job». Für einen schnellen technischen SEO-Audit einer typischen Schweizer KMU-Website ist Screaming Frog perfekt. Für die kontinuierliche Überwachung eines grossen Online-Shops wie Galaxus oder eines News-Portals wie 20 Minuten ist OnCrawl die richtige Liga.
Im Q3 2025 betreute ich ein E-Commerce-Projekt mit rund 1,2 Millionen URLs, bei dem die Indexierungsrate neuer Produkte dramatisch eingebrochen war. Mit einem normalen Crawler kamen wir nicht weiter. Erst als wir mit OnCrawl die Logfiles der letzten drei Monate analysierten, wurde das Problem sichtbar: Der Googlebot verbrachte über 70% seines Crawl-Budgets auf Parameter-URLs der Facetten-Navigation, die kanonisch auf die Kategorieseite zeigten. Wir haben diese URLs via `robots.txt` gesperrt. Das Resultat nach nur sechs Wochen: Die Crawl-Frequenz der eigentlichen Produktseiten stieg um 200%, und 42% mehr neue Produkte wurden innerhalb von 48 Stunden indexiert.
Wem gehört OnCrawl? (Und warum das relevant ist)
Diese Frage ist für die Einordnung des Tools im Markt wichtig. OnCrawl wurde ursprünglich von einem französischen Unternehmen entwickelt. Im Jahr 2021 wurde OnCrawl von BrightEdge übernommen, einem der grössten Player im Enterprise-SEO-Markt. Kurz darauf, Ende 2021, wurde BrightEdge selbst von der Digital-Experience-Plattform Piano akquiriert.
Heute ist OnCrawl also Teil des Piano-Ökosystems. Das ist relevant, weil es die strategische Ausrichtung zeigt: Es geht nicht mehr nur um reines SEO, sondern um die Integration von technischen Website-Daten in eine grössere Analytics- und Content-Personalisierungs-Plattform. Für Enterprise-Kunden bedeutet das eine potenziell tiefere Integration und einen ganzheitlicheren Blick auf die User Journey – von der Entdeckung via Google bis zur Konversion auf der Seite.
OnCrawl Pricing: Was kostet der Enterprise-Crawler?
OnCrawl kommuniziert seine Preise nicht öffentlich auf der Website, was im Enterprise-Software-Bereich üblich ist. Die Kosten hängen von mehreren Faktoren ab:
- Anzahl der URLs: Das primäre Preismodell basiert auf dem Volumen der zu crawlenden Seiten.
- Anzahl der Projekte: Wie viele verschiedene Websites möchtest du verwalten?
- Logfile-Volumen: Die Menge der zu verarbeitenden Log-Daten spielt eine grosse Rolle.
- Zusätzliche Features: Benötigst du die API, spezielle Konnektoren oder erweiterte Support-Leistungen?
Aus meiner Erfahrung und Gesprächen mit Kollegen kannst du mit Einstiegskosten von rund 500 bis 800 EUR pro Monat für ein kleineres Enterprise-Paket rechnen. Grosse, komplexe Projekte mit Dutzenden Millionen URLs und täglichen Logfile-Analysen können schnell mehrere Tausend Euro pro Monat kosten. Das macht deutlich: OnCrawl ist eine Investition, die sich nur rechnet, wenn die Website der primäre Umsatztreiber ist und technische SEO-Probleme direkt zu signifikanten Umsatzeinbussen führen.
Häufige Fragen zu OnCrawl
Ist OnCrawl seriös?
Ja, absolut. OnCrawl ist ein etabliertes Tool im Enterprise-SEO-Markt und wird von grossen internationalen Marken und Publishern genutzt. Die Zugehörigkeit zu Piano, einer grossen und anerkannten Digital-Experience-Plattform, unterstreicht die Seriosität und die langfristige strategische Ausrichtung des Produkts.
Was versteht man unter Crawling?
Crawling ist der Prozess, bei dem ein automatisches Programm, ein sogenannter «Crawler» oder «Bot», eine Website durchsucht. Er folgt Links von einer Seite zur nächsten, um neue und aktualisierte Inhalte zu entdecken. Suchmaschinen wie Google nutzen Crawler, um das Web zu indexieren und die Informationen für die Suchergebnisse aufzubereiten.
Was sind Google-Crawler?
Die Google-Crawler, oft auch «Googlebots» genannt, sind die Flotte von Bots, die Google einsetzt, um das Internet zu durchsuchen. Der bekannteste ist der Googlebot für die Desktop-Suche und der Googlebot für Smartphones, der die Mobile-First-Indexierung durchführt. Es gibt auch spezialisierte Crawler für Bilder, Videos oder Nachrichten.
Für welche Website-Grösse ist OnCrawl geeignet?
OnCrawl ist klar für grosse und sehr grosse Websites konzipiert. Eine gute Faustregel ist: Wenn deine Website mehr als 100’000 URLs hat, auf einem komplexen JavaScript-Framework läuft oder du Probleme mit dem Crawl-Budget vermutest, ist OnCrawl eine evaluierenswerte Lösung. Für kleinere Websites ist der Funktionsumfang und der Preis meist überdimensioniert.
Mein Take
OnCrawl ist kein Alltags-Tool und definitiv kein Ersatz für einen schnellen Screaming Frog Crawl. Für 95% der Schweizer KMU-Websites ist es Overkill. Aber wenn du eine komplexe E-Commerce-Seite, ein News-Portal mit ständig neuen Inhalten oder eine internationale Corporate-Site mit Millionen von URLs managst, ist es eine strategische Waffe. Die Kombination aus Crawl-Daten und Logfiles ist der einzige Weg, das Crawl-Budget wirklich zu verstehen und zu steuern. Es transformiert technisches SEO von einer reaktiven Fehlerbehebung zu einer proaktiven, datengesteuerten Optimierung.
– Maik Möhring · Maik Möhring Media, Ermatingen TG
Maik Möhring Media
Maik Möhring · Schöntalweg 1 · 8272 Ermatingen TG
Telefon +41 79 132 43 78 · maik@maik-moehring.ch
ℹ️ Transparenz-Hinweis: Dieser Beitrag wurde unter Einsatz meiner eigenen KI-Content-Pipeline (Claude, Gemini) recherchiert und vorstrukturiert, anschliessend von mir redaktionell überarbeitet, mit Praxis-Erfahrungen aus meinen Kunden- und Eigenprojekten ergänzt und faktengeprüft. Das ist genau die Methode, die ich auch für meine Kunden umsetze.
