Statistiques du site et votre petit référentiel

L'utilitaire Webalizer et l'outil Google Analytics m'ont aidé pendant de nombreuses années à me faire une idée de ce qui se passe sur les sites Web. Je comprends maintenant qu'ils fournissent très peu d'informations utiles. Avoir accès à votre fichier access.log, gérer les statistiques est très simple et pour l'implémentation d'outils assez basiques tels que sqlite, html, sql et tout langage de programmation de script.

La source de données pour Webalizer est le fichier access.log du serveur. Voici à quoi ressemblent ses colonnes et ses chiffres, dont seule la quantité totale de trafic est claire:



Des outils tels que Google Analytics collectent seuls les données de la page chargée. Ils nous montrent quelques schémas et lignes, sur la base desquels il est souvent difficile de tirer les bonnes conclusions. Peut-être que plus d'efforts étaient nécessaires? Je ne sais pas.

Alors, que voulais-je voir dans les statistiques de visites sur site?

Trafic d'utilisateurs et de robots

Souvent, le trafic du site a une limite et vous devez voir combien de trafic utile est utilisé. Par exemple, comme ceci:




Sur le graphique, vous pouvez voir l'activité constante des bots. Il serait intéressant d'étudier en détail les représentants les plus actifs.

Bots ennuyeux

Nous classons les bots en fonction des informations de l'agent utilisateur. Statistiques supplémentaires sur le trafic quotidien, le nombre de demandes réussies et infructueuses donne une bonne idée de l'activité des bots.




Dans ce cas, l'analyse a abouti à une décision de restreindre l'accès au site en ajoutant robots.txt au fichier

User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: bingbot
Crawl-delay: 5
Les deux premiers robots ont disparu de la table et les robots MS sont descendus des premières lignes.

Jour et heure de la plupart des activités

Le trafic se montre. Afin de les étudier en détail, il est nécessaire d'identifier l'heure de leur occurrence, alors qu'il n'est pas nécessaire d'afficher toutes les heures et les jours de mesure du temps. Il sera donc plus facile de trouver des requêtes individuelles dans le fichier journal si vous avez besoin d'une analyse détaillée.




Nous observons les heures les plus actives 11, 14 et 20 du premier jour sur le graphique. Mais le lendemain à 13 heures, les bots étaient actifs.

Activité quotidienne moyenne hebdomadaire des utilisateurs

Avec l'activité et le trafic un peu compris. La question suivante était l'activité des utilisateurs eux-mêmes. Pour de telles statistiques, de grandes périodes d'agrégation, par exemple une semaine, sont souhaitables.




Les statistiques de la semaine montrent qu'en moyenne, un utilisateur ouvre 1,6 page par jour. Le nombre de fichiers demandés par utilisateur dans ce cas dépend de l'ajout de nouveaux fichiers sur le site.

Toutes les demandes et leurs statuts

Webalizer a toujours montré des codes de page spécifiques et a toujours voulu voir le nombre de demandes et d'erreurs réussies.




Le rapport affiche les demandes, pas les clics (hits), contrairement à LINE_CNT, la métrique REQUEST_CNT est considérée comme COUNT (DISTINCT STG.REQUEST_NK). L'objectif est de montrer des événements efficaces, par exemple, des bots MS interrogeant des centaines de fois par jour un fichier robots.txt et, dans ce cas, ces sondages seront comptés une fois. Cela vous permet de lisser les sauts sur le graphique.

Sur le graphique, vous pouvez voir de nombreuses erreurs - ce sont des pages inexistantes. Le résultat de l'analyse a été l'ajout de redirections à partir de pages distantes.

Demandes erronées

Pour un examen détaillé des demandes, vous pouvez afficher des statistiques détaillées.




Cette liste contiendra tous les numéroteurs, par exemple une demande à /wp-login.php. En ajustant les règles de réécriture des demandes par le serveur, vous pouvez ajuster la réponse du serveur à ces demandes et les envoyer à la page de démarrage.

Ainsi, quelques rapports simples basés sur le fichier journal du serveur donnent une image assez complète de ce qui se passe sur le site.

Comment obtenir des informations?

La base de données sqlite est tout à fait suffisante. Créons des tables: auxiliaire pour la journalisation des processus ETL.



Table de scène, où nous allons écrire des fichiers journaux en PHP. Deux tableaux agrégés. Créez un tableau quotidien avec des statistiques sur les agents utilisateurs et les statuts des demandes. Toutes les heures avec des statistiques sur les demandes, les groupes de statut et les agents. Quatre tableaux de mesures pertinentes.

Le résultat est le modèle relationnel suivant:


Script pour créer un objet dans la base de données sqlite:

Stage

Dans le cas du fichier access.log, vous devez lire, analyser et écrire toutes les demandes dans la base de données. Cela peut être fait soit directement à l'aide du langage de script, soit à l'aide de sqlite.

Format du fichier journal:

 //67.221.59.195 - - [28/Dec/2012:01:47:47 +0100] "GET /files/default.css HTTP/1.1" 200 1512 "https://project.edu/" "Mozilla/4.0" //host ident auth time method request_nk protocol status bytes ref browser $log_pattern = '/^([^ ]+) ([^ ]+) ([^ ]+) (\[[^\]]+\]) "(.*) (.*) (.*)" ([0-9\-]+) ([0-9\-]+) "(.*)" "(.*)"$/'; 

Propagande clé

Lorsque les données brutes sont dans la base de données, vous devez enregistrer des clés qui ne se trouvent pas dans les tables de mesure. Il sera alors possible de construire une référence aux mesures. Par exemple, dans la table DIM_REFERRER, la clé est une combinaison de trois champs.


La propagation vers la table de l'agent utilisateur peut contenir une logique bot, par exemple, un extrait sql:

 CASE WHEN INSTR(LOWER(CLS.BROWSER),'yandex.com')>0 THEN 'yandex' WHEN INSTR(LOWER(CLS.BROWSER),'googlebot')>0 THEN 'google' WHEN INSTR(LOWER(CLS.BROWSER),'bingbot')>0 THEN 'microsoft' WHEN INSTR(LOWER(CLS.BROWSER),'ahrefsbot')>0 THEN 'ahrefs' WHEN INSTR(LOWER(CLS.BROWSER),'mj12bot')>0 THEN 'majestic-12' WHEN INSTR(LOWER(CLS.BROWSER),'compatible')>0 OR INSTR(LOWER(CLS.BROWSER),'http')>0 OR INSTR(LOWER(CLS.BROWSER),'libwww')>0 OR INSTR(LOWER(CLS.BROWSER),'spider')>0 OR INSTR(LOWER(CLS.BROWSER),'java')>0 OR INSTR(LOWER(CLS.BROWSER),'python')>0 OR INSTR(LOWER(CLS.BROWSER),'robot')>0 OR INSTR(LOWER(CLS.BROWSER),'curl')>0 OR INSTR(LOWER(CLS.BROWSER),'wget')>0 THEN 'other' ELSE 'na' END AS AGENT_BOT 

Tables unitaires

Enfin, nous chargerons des tables agrégées, par exemple, une table quotidienne peut être chargée comme suit:


La base de données sqlite vous permet d'écrire des requêtes complexes. WITH contient la préparation des données et des clés. La requête principale recueille toutes les références aux dimensions.

La condition ne permettra plus de charger le récit: CAST (STG.EVENT_DT AS INTEGER)> $ param_epoch_from, où le paramètre est le résultat de la requête
'SELECT COALESCE (MAX (EVENT_DT), \' 3600 \ ') AS LAST_EVENT_EPOCH FROM FCT_ACCESS_USER_AGENT_DD'

La condition ne se charge que le jour complet: CAST (STG.EVENT_DT AS INTEGER) <strftime ('% s', date ('now', 'start of day'))

Le comptage des pages ou des fichiers se fait de manière primitive, en recherchant un point.

Rapports

Dans les systèmes de visualisation complexes, il est possible de créer un méta-modèle basé sur des objets de base de données, de gérer dynamiquement des filtres et des règles d'agrégation. En fin de compte, tous les outils décents génèrent une requête SQL.

Dans cet exemple, nous allons créer des requêtes SQL prêtes à l'emploi et les enregistrer en tant que vue dans la base de données - ce sont les rapports.

Visualisation

Bluff: de beaux graphiques en JavaScript ont été utilisés comme outil de visualisation.

Pour cela, il a fallu utiliser PHP pour parcourir tous les rapports et générer un fichier html avec des tableaux.

 $sqls = array( 'SELECT * FROM RPT_ACCESS_USER_VS_BOT', 'SELECT * FROM RPT_ACCESS_ANNOYING_BOT', 'SELECT * FROM RPT_ACCESS_TOP_HOUR_HIT', 'SELECT * FROM RPT_ACCESS_USER_ACTIVE', 'SELECT * FROM RPT_ACCESS_REQUEST_STATUS', 'SELECT * FROM RPT_ACCESS_TOP_REQUEST_PAGE', 'SELECT * FROM RPT_ACCESS_TOP_REQUEST_REFERRER', 'SELECT * FROM RPT_ACCESS_NEW_REQUEST', 'SELECT * FROM RPT_ACCESS_TOP_REQUEST_SUCCESS', 'SELECT * FROM RPT_ACCESS_TOP_REQUEST_ERROR' ); 

L'outil visualise simplement les tableaux de résultats.

Conclusion

En utilisant l'analyse Web comme exemple, l'article décrit les mécanismes nécessaires à la construction d'entrepôts de données. Comme le montrent les résultats, les outils les plus simples sont suffisants pour une analyse approfondie et une visualisation des données.

À l'avenir, en utilisant l'exemple de ce stockage, nous essaierons de mettre en œuvre des structures telles que les mesures à changement lent , les données de base, les niveaux d'agrégation et l'intégration de données provenant de différentes sources.

En outre, nous allons examiner de plus près l' outil de gestion de processus ETL le plus simple basé sur une seule table.

Revenons au sujet de la mesure de la qualité des données et de l'automatisation de ce processus.

Nous étudierons les problèmes de l'environnement technique et de la maintenance des entrepôts de données, pour lesquels nous mettons en œuvre un serveur de stockage avec des ressources minimales, par exemple, basé sur le Raspberry Pi.