Un crawler pensé pour le SEO technique

Tout ce dont vous avez besoin pour auditer un site, sans licence ni abonnement

Crawl en profondeur

Crawl multi-niveaux configurable avec gestion de la profondeur, du nombre de requêtes parallèles et respect du robots.txt.

Rendu JavaScript

Support du rendu JS via Chromedp pour crawler les SPA et les sites utilisant du contenu chargé dynamiquement.

Détection de doublons

Algorithme Simhash pour détecter le contenu dupliqué et near-duplicate à l'échelle de milliers de pages.

PageRank interne

Calcul du PageRank interne pour visualiser la distribution de popularité et identifier les pages sous-linkées.

Extraction XPath & Regex

Extracteurs personnalisables en XPath et Regex pour récupérer n'importe quelle donnée depuis le code source des pages.

Catégorisation YAML

Système de catégorisation par règles YAML avec interface drag-and-drop et mode test pour classer vos URLs automatiquement.

Filtrez et exportez vos données en quelques clics

Scouter embarque une interface web complète avec un moteur de filtres puissant. Combinez les critères pour isoler exactement les URLs qui vous intéressent, puis exportez le résultat en CSV.

Dashboard - Vue d'ensemble avec les KPIs essentiels : status codes, temps de réponse, titres, balises
Explorer - Tableau filtrable de toutes les URLs crawlées avec tri et recherche avancée
Filtres combinés - Filtrez par status code, profondeur, indexabilité, contenu dupliqué et bien plus
Export CSV - Exportez la sélection filtrée en un clic pour l'exploiter dans vos outils

Documentation complète

Analyse SEO page par page

Chaque URL crawlée est analysée en profondeur sur tous les critères SEO essentiels

Balises On-page

Title, meta description, H1, structure des headings (H1-H6), canonical et balises Open Graph.

Performances

Codes HTTP, temps de réponse, chaînes de redirections et détection des erreurs serveur.

Analyse des liens

Liens entrants, sortants, internes et externes avec calcul du PageRank interne de chaque page.

Données structurées

Détection et identification des schémas JSON-LD présents sur chaque page crawlée.

Stack technique robuste et moderne

Scouter repose sur une architecture Docker distribuée avec des workers asynchrones pour des crawls performants, même sur les gros sites.

PHP 8.1+

PostgreSQL

Docker

Go + Chromedp

Pest PHP

Vanilla JS

Architecture


              Crawler → Orchestrateur principal

              DepthCrawler → Crawl multi-niveaux

              PageCrawler → Analyse unitaire

              HtmlParser → Extraction XPath/Regex

              JsRenderer → Rendu JavaScript

Commandes Docker


              ./start.sh → Démarrer Scouter

              docker-compose down → Arrêter

              docker-compose logs -f app → Logs

              ./vendor/bin/pest → Tests

Questions fréquentes

Tout ce que vous devez savoir sur Scouter

Scouter est-il vraiment gratuit ?

Oui, Scouter est 100% open-source sous licence MIT. Vous pouvez l'utiliser, le modifier et le redistribuer librement, y compris pour un usage commercial. Aucun abonnement, aucune limite artificielle.

Quels sont les prérequis pour installer Scouter ?

Vous avez besoin d'un environnement Linux (ou WSL sur Windows) avec Docker installé. C'est tout. Le script start.sh s'occupe de construire les containers, configurer PostgreSQL et lancer l'application automatiquement.

Scouter peut-il crawler des sites en JavaScript (SPA) ?

Oui. Scouter intègre un moteur de rendu JavaScript basé sur Go et Chromedp (Puppeteer-like). Activez l'option de rendu JS dans la configuration du crawl pour analyser les SPA, les sites React, Vue.js, Angular, etc.

Combien de pages Scouter peut-il crawler ?

Scouter utilise une architecture distribuée avec des workers Docker asynchrones. Il n'y a pas de limite logicielle au nombre de pages. Les performances dépendent des ressources de votre machine (CPU, RAM) et de la concurrence configurée.

Comment contribuer au projet ?

Scouter est développé sur GitHub. Vous pouvez contribuer en ouvrant des issues, en proposant des pull requests ou en améliorant la documentation. Le projet utilise Pest PHP pour les tests : lancez ./vendor/bin/pest avant de soumettre vos modifications.

Scouter, le crawler SEO open-source

Prêt en 30 secondes

Scouter en action