Bonjour à tous! Dans cet article, je voudrais parler de deux choses: quelles difficultés j'ai rencontrées pendant le travail sur les archives des prix et ce qui en est ressorti. Je vais construire mon histoire, peut-être pas tout à fait habituelle. Je ne répondrai guère aux questions qui se sont posées. Je ne ferai qu'exprimer les questions et les problèmes qui se sont posés et qui se posent, qui ont été résolus ou qui sont en voie de l'être. Un initié à l'eau pure, pourrait-on dire.
Comme on dit - tout de la terre, de première main. Je suppose que vous vous fatiguerez simplement de lire ce qui devait être fait.
Honnêtement, s'ils me montraient une liste similaire de problèmes qui devraient être résolus et disaient quelles difficultés je rencontrerais, je laisserais peut-être cette idée et ne développerais pas Price Archive à partir de zéro. Mais j'ai décidé de me tester, ou quelque chose.
Si vous êtes intéressé par des informations sur les prix des produits AliExpress.com, alors je demande immédiatement à la deuxième partie. Là, je vais vous dire toutes les choses les plus intéressantes que j'ai remarquées. À qui s'adresse cet article?Probablement pour plus d'étudiants ou de personnes rassemblant des idées sur l'ouverture de leur projet. Un tel article ne me ferait pas de mal il y a un an.
Il y a un an?Oui, c'est le 11/11/2016 que j'ai décidé de faire quelque chose d'utile pour les gens. Je comprends que pour certains, cela s'est avéré utile, pour d'autres ce n'est pas très bon, tandis que d'autres auront généralement leur propre point de vue. Mais le but était ça. Et maintenant, je vous invite toujours à trouver quelque chose
utile, sinon votre travail est voué à l'échec. Mais faites immédiatement une réservation - même quelque chose d'utile peut facilement échouer.
Une partie de ceci est faite, quelque chose n'est pas là, quelque chose que j'ai oublié et ce n'est pas écrit ici. Mais j'ai essayé d'écrire sur tout ce qui était.
Désolé pour la vinaigrette, j'insère ici, entre autres, des morceaux de ma feuille à faire, que j'ai passé un moment. En général, comme c'était en fait, donc ici et là, il est inséré.
Voici donc une liste de choses à faire.1. Trouvez un problème qui inquiète beaucoup de gens.
2. Explorez le sujet. Trouvez des services et des concurrents similaires.
3. Convainquez-vous que les gens ont besoin du projet et qu'il a une chance de décoller.
4. Pour vous convaincre qu'il y a suffisamment d'argent, de force et de désir de tout faire avant le début de l'autosuffisance.
5. Faites une liste des outils de service qui devraient être mis en œuvre à l'avenir.
6. Réfléchissez à la conception du site, quelles fonctionnalités il aura. Le choix initial a été fait en faveur du site et non de l'application.
7. Élaborez une spécification de conception détaillée. Commandez et suivez le développement. C'est la seule chose que j'ai commandée. La conception est très difficile, même avec de bons concepteurs et concepteurs de mise en page. Tout doit être vérifié et revérifié mille fois si vous souhaitez obtenir une conception et une mise en page décentes.
8. Actualisez ou apprenez de façon centralisée certaines commandes Linux.
Ils avaient l'habitude d'étudier à l'université, mais c'était il y a longtemps et ce n'était pas vrai. Monter / démonter un disque, ntpdate, tune2fs, screen, man, mkfs, df -i, lsof, ps aux, top, du -sh *, date, blkid / dev / sda1, fdisk -l et plus comme deux ou trois douzaines.
9. Étudier la théorie de la vitesse d'écriture et de lecture des données sur les disques. Tests de disques de différents fabricants, modèles, etc.
10. Apprenez la théorie des systèmes de fichiers. ext-famille, xfs, reiser, brtfs, zfs, autres.
Saisissez tout cela, à condition qu'il existe des informations vraiment complètes que je ne trouverais pas pour mon cas. Tout a dû être revérifié et, par conséquent, pour certaines choses, Google n'a montré que 3 pages avec une discussion sur des points vraiment importants, qui se sont avérés être la pierre angulaire. Adoptez un système de fichiers capable de gérer facilement des dizaines de millions de fichiers tout en étant très facilement évolutif. Pour étudier divers aspects de l'optimisation des systèmes de fichiers, tels que la désactivation de l'index de répertoire et la vérification des vitesses de lecture et d'écriture, la directive noatime et quelques autres.
11. Écrivez des scripts pour des tests de disque sur la vitesse d'écriture, de lecture, de réécriture: tout est cohérent et tout est en désordre. Initialement, des dizaines de tests ont été effectués sur des disques ordinaires avec toutes les tailles de blocs possibles et le nombre d'inodes. Il était nécessaire de développer des tests adaptés afin qu'ils simulent toutes les situations possibles, y compris une très forte fragmentation.
12. Il s'est avéré que les disques ordinaires par défaut ne supportent pas le temps avec beaucoup de données. Il fallait chercher une issue. Il a été trouvé dans de bons disques SSD. Oui, ils sont plus chers, mais sans eux, cela n'a rien donné.
13. Effectuez à nouveau tous les tests du disque sur la vitesse d'écriture, de lecture, de réécriture: tout est cohérent et tout est incohérent.
14. Sélectionnez la taille de bloc du système de fichiers, le nombre d'inodes afin que le pourcentage de leur utilisation augmente de manière synchrone pour les données attendues. Sinon, il y aura une asymétrie en place ou en nombre d'inodes, ce qui entraînera une utilisation plus rapide de la capacité du disque en capacité. Et c'est de l'argent supplémentaire en raison de l'architecture incomplète au début. Je ne voulais pas vraiment.
15. Pour étudier la technologie de virtualisation du RAID de données ou proposer votre propre option en cas de panne de disques.
16. Développer votre propre schéma pour l'avenir concernant l'extension du service N fois et le stockage des données en cas de force majeure.
17. Choisissez un hôte fiable avec un support technique plus ou moins sensé. Calculez la taille de la RAM nécessaire, le nombre et la taille des disques, afin de ne pas surpayer trop longtemps. Attendez l'arrivée des lecteurs et les paramètres du serveur. Le problème était que les disques SSD étaient rares. Mais chanceux, il n'a pas attendu longtemps. Commandez un serveur avec la possibilité d'augmenter à la fois la mémoire et les disques.
18. À la réception du serveur pour effectuer tous les tests possibles et nécessaires - tout fonctionne, tout est configuré correctement. Vérifiez les lecteurs pour les erreurs, il y avait un cas, même avec un nouveau lecteur. Changez le port ssh en votre propre. Configurez un grand nombre de connexions ouvertes simultanément.
Augmentez la limite de fichiers ouverts pour les utilisateurs admin et apache. Vérifiez les dernières versions de bash, etc. - vous devez supporter les correctifs d'attaques déjà connues, telles que les saignements. maxclients dans apache - il faut passer de 256 à (je ne dirai pas). Définissez directamin-y simple_disk_usage = 1. Vérifiez que les deux adresses IP du serveur sont connectées et ne tombent pas lors du redémarrage car elles ne sont stockées qu'en mémoire. Vérifiez la connexion du mastic. Supprimez le serveur FTP. Fermez tous les ports inutiles. Dans iptables, entrez les règles d'autorisations pour les ports: * Tous les autres sont interdits. Trouvez des commandes utiles pour le serveur et comprenez leur syntaxe: iptables -I INPUT -s 1.1.1.1 -j DROP, iptables -nvL INPUT.
Installez ntpdate. Réglez l'heure UTC pour tout: pour le serveur, pour php. hwclock est également UTC. Le fuseau horaire pour hwclock et php doit être modifié en Europe / Londres. Installez l'écran, l'homme et d'autres choses nécessaires. Supprimez phpmyadmin.
19. Beaucoup de temps a été perdu lors de l'utilisation de CentOS 6.
N'installez pas CentOS 6 - il a parfois des problèmes avec une carte réseau, si beaucoup de trafic y passe - environ 15-20 Go par heure.
20. Trouvez - comment résoudre les problèmes d'évolutivité, de hautes performances et de fiabilité maintenant. Trouvé Cassandra. Examinez Cassandra et son applicabilité dans votre situation.
21. Décidez comment les données seront stockées sur la base des tests effectués et des informations disponibles sur les bases de données.
22. Mettez tous les en-têtes nécessaires pour la sécurité et le PDG du site, supprimez les éléments inutiles qui révèlent exactement ce qui est installé sur le serveur. Variez User-Agent, X-Accel-Version, X-Frame-Options et autres.
23. Procéder au développement du site. Décidez de ce qui sera développé et pourquoi. Développer une architecture qui permet d'ajouter sans douleur des choses inexpliquées.
Ce serait à la fois facile, rapidement accessible et extrêmement clair à la fois dans le code, et dans ce qui se trouve sur le serveur et pourquoi ici.
24. Décidez du nombre de langues dans lesquelles le site sera traduit en fonction des capacités financières et des prix des traductions. Trouvez des traducteurs pour chaque langue ou agence de traduction où ils feront leur travail afin de ne pas avoir à vérifier à chaque fois. Puis je suis tombé sur différents cas. Certaines personnes sont si particulières qu'elles ne pouvaient pas accepter un e-mail avec une tâche de traduction - elles avaient besoin d'une visite personnelle et d'une explication sur leurs doigts. Et tout a été présenté de telle manière qu'ils me rendent service. J'écris ici sur les questions sociales, afin de ne pas m'étendre davantage sur elles. Et ils l'étaient. Je n'ai compris qu'une seule chose. S'il n'y a pas de personnes déjà vérifiées dans un domaine, trouver celles avec lesquelles vous pouvez travailler est une tâche assez rapide.
25. Apprenez à fond les règles de travail avec AliExpress.com en tant qu'affilié.
26. Explorez l'API AliExpress. Comprendre que ce n'est pas très instructif. Cherchez une issue. Passez des heures à parler avec le support et toutes les parties qui peuvent aider AliExpress à améliorer l'API.
27. Collectez tous les noms des catégories et sous-catégories dans le catalogue AliExpress en anglais. Enregistrez avec des notes quelle sous-section se réfère à quelle section. Écrivez un script pour cela.
28. Écrivez un script pour collecter la base de données pour la langue anglaise. Sur la base des données obtenues, effectuer des tests en place, le nombre de blocs occupés, les inodes.
Estimation - pour combien de temps durera le disque. Que faire alors, lorsque le disque est plein?
29. Développer la bonne structure de stockage de données pour une écriture, une recherche, une lecture et une suppression rapides. Le délai de livraison d'une page complète ne doit pas dépasser 0,8 seconde avec des dizaines de millions d'enregistrements sur disque.
30. Surveillez les produits manquants sur AliExpress. Si les marchandises disparaissent de la vente - est-ce pour un moment ou pour toujours? Il y avait beaucoup plus de fonctionnalités à gérer.
31. Rédiger des scripts pour l'analyse quotidienne de tous les produits. Lors du développement, tenez compte de toutes les statistiques possibles et nécessaires.
32. Recueillir les noms des catégories et sous-catégories pour la langue russe + pour toutes les autres, sauf l'anglais. Il est déjà assemblé.
33. Écrivez un script pour collecter les noms de produits dans toutes les langues et collectez avec lui les produits nécessaires à partir de la base de données constituée lors du premier passage. Tenez compte des limites du nombre de demandes à l'API.
34. Écrivez un code de site. Faites toutes les fonctionnalités, y compris la recherche de produits, l'affichage des catégories, les abonnements, le compte personnel, le blog, l'inscription, le suivi, les alertes par e-mail, etc. etc.
35. Faites une liste de toutes les expressions et mots utilisés pour le site en russe.
36. Contactez les traducteurs et donnez-leur des listes de phrases et de mots à traduire.
37. Traitez les listes reçues dans différentes langues et configurez le code du site pour afficher la langue correspondante.
38. Il s'est avéré que vous devez écrire un script pour la collection initiale. Mais nous devons écrire un autre script pour tous les cycles de collecte ultérieurs de la base de données compilée, car le premier script fonctionnera plus lentement, mais il sera plus rapide.
39. Pendant tout ce temps, il y avait un lien avec les designers. Finalisez la conception résultante, car elle est plus rapide que de demander une correction, même à ce moment.
Ce faisant, il vaut mieux comprendre css.
40. Écrivez un script de collecte pour les navigateurs des utilisateurs. Basé sur eux, regardez la mise en page - fonctionne correctement sous tous les navigateurs populaires ou non. Testez sur tous les navigateurs possibles. Pour ce faire, vous pouvez simplement vous rendre au salon Apple ou Samsung, ils y ont un tas d'appareils avec différentes diagonales. Test - Je ne veux pas + tester via un service qui prend des captures d'écran de dizaines de systèmes d'exploitation. Localisez les fichiers CSS pour chaque langue. Cela s'est avéré être la meilleure option, à condition que, dans différentes langues, les mêmes phrases prennent de la place à l'écran de différentes manières.
41. Pour créer des modèles avec des macros à partir des pages html de la conception modifiée. Réfléchir à la syntaxe des macros, car deux approches de la formation de la page seront utilisées. La deuxième approche est liée aux macros internes lors de la localisation des fichiers de langue.
42. Configurez le domaine sur le bureau d'enregistrement et sur le serveur + tous les sous-domaines.
43. Traitez les graphiques. Comment ils sont formés, comment ils doivent être modifiés. Sélectionnez les graphiques appropriés et personnalisez-les.
44. Lire constamment des nouvelles, des articles, etc. réfléchir à la possibilité de créer de tels articles sur le site, afin que différentes sources médiatiques soient liées au site. C'est un point important, mais il n'a pas assez de force.
45. Élaborer un modèle pour l'analyse des indicateurs statistiques. Traduisez-le dans toutes les langues, donnez-le aux traducteurs.
46. Élaborer une structure pour l'analyse, le stockage des données d'analyse, le stockage des articles, etc.
47. Rédigez des scripts pour collecter les noms de produits dans les langues requises.
48. Mettez des restrictions, par exemple, sur le nombre de marchandises que l'utilisateur peut suivre.
49. Cela ne fonctionne pas correctement sur les téléphones en état d'ébriété - alors découvrez pourquoi et corrigez-le.
50. Comprendre et configurer les enregistrements SPF, DKIM, DMARK. Je ne sais pas pourquoi, mais ce moment a été très difficile. Peut-être en raison du fait que je n'ai pas trouvé de guide explicatif pour la première personne à voir cela.
51. Envisagez de ne pas soumettre des calendriers, mais des tableaux dans certains cas.
52. Explorez les graphiques de haut niveau.
53. Comprendre les certificats et configurer la connexion https.
54. Comprendre et configurer htaccess.
55. Comprendre et configurer les enregistrements ptr.
56. Pour apporter quelques centaines d'améliorations aux fonctionnalités, à la conception et au fonctionnement du site. J'ai maintenant 80 points supplémentaires juste pour améliorer ce qui est enregistré dans un fichier.
Et cette liste est renouvelée chaque jour avec les souhaits des utilisateurs et leurs propres pensées.
57. Travail sur le thème du PDG. Définissez tous les en-têtes nécessaires sur toutes les pages: canonique, dns-prefetch, preconnect, og: *,
produit: *, twitter: *, alternatif, etc. Jusqu'à présent, tout n'est pas mis en place, il en reste quelques-uns importants.
58. Faites des cartes du site et des cartes à jour chaque jour.
59. Postez quelques articles sur les forums, racontant ainsi le service. Ici, je dirai «merci» à certains propriétaires de forums. Non, bien sûr, c'est votre entreprise et vos règles sur vos portails. Mais du fait que mes bons articles ont été supprimés - un site jeune sans lien pessimisait Google. Et il n'y a aucun moyen de le bouger. Au sommet de centaines de sites de porte, la ferraille - tout fleurit et sent dans les premières positions. Et voici le caca des archives de prix, car les liens vers celui-ci ont été supprimés. Ici, je veux dire quelques mots aimables à Yandex. Il ne voit également aucun lien, mais conduit au moins certains utilisateurs vers le site. Bien sûr, ils ont peu d'effet sur le retour sur investissement en principe, car ils sont très peu nombreux. Je parle de l'algorithme du moteur de recherche. Yandex donne une chance, quoique fantomatique aux jeunes projets, et Google, d'autre part, donne un peu au bonus et au revoir d'un débutant. Mais sur le pied de biche et la porte - oui, tout est en haut. Les gars des moteurs de recherche, voici un projet, il est utile aux gens. Je ne veux pas le promouvoir, je veux travailler à l’améliorer. Et vous devez l'attraper pour une chose, puis pour une autre. Je comprends assez bien le PDG et je pourrais, avec un certain risque, tenter de le hisser au sommet avec des méthodes pas très blanches. Mais est-ce ainsi? D'accord, comme c'est. Oh non, je vais ajouter. Je ne le croyais pas, mais dans notre forum CIS, les propriétaires sont prêts à s'étrangler avec une histoire détaillée, même à propos d'un projet non concurrent sur leur site. Tout est nettoyé rapidement. Ils veulent de l'argent pour la publicité.
La chose, comme je l'ai dit, vous appartient bien sûr. Mais immédiatement la différence d'approche des propriétaires de la CEI et des étrangers, peu importe laquelle. Vous pouvez venir vers eux et parler de vous sans jeûner ni karma, et presque tout le monde le prend normalement. Que faire Soyez plus gentil et pas gourmand.
60. Lutter contre la procrastination et l'épuisement professionnel, à condition qu'il y ait suffisamment de cas et hors ligne.
61. Envoyez 100 lettres aux sites d'information et 10 lettres aux meilleurs blogueurs. Avec une offre de parler du service gratuitement et avec une offre de parler du service avec post-paiement sous forme de pourcentage fixe. Savez-vous quelle a été la réponse? Rien. Enfin pas du tout.
Des morceaux des 5 plus grands sites ont répondu en proposant régulièrement de la publicité. Merci pour ça. Pas étonnant qu'ils soient grands. Les autres étaient silencieux.
Je voulais découvrir par moi-même ce qui allait se passer - je l'ai découvert. Et maintenant je peux le partager avec vous. Si vous n’avez pas d’argent pour la publicité, écrire à quelqu'un n’est pas un problème. Il est inutile à beaucoup d'autres d'écrire, même s'il y a de l'argent. Je ne sais pas pourquoi, ce n'est pas mon affaire - ce qui est dans leur esprit. Juste le fait lui-même - c'est tout. En général, une approche différente est nécessaire ici. Écrire dans un e-mail de contact, comme le montre la pratique, est inutile. Peut-être parce que le projet est inconnu.
62. Créer des pages de projet sur les réseaux sociaux. Les délivrer et les conduire.
63. L' erreur que beaucoup font et que j'ai commise - n'a pas calculé le montant d'argent disponible pour la vie, le développement du site et sa promotion. Il n'y a plus d'argent pour le promouvoir. Mais la promotion est, peut-être, une partie encore plus importante,
que tout le travail accompli. Le moment financier doit être très bien pesé.
Quelques points - cela ne fonctionne pas pendant une semaine. Le projet aurait dû être géré par plusieurs personnes, si dans le bon sens. Chacun sa propre entreprise. Mais c'était intéressant pour moi de tout faire moi-même du début à la fin, de plonger dans le travail de chacun. Il reste encore beaucoup à faire pour amener le projet à un état normal selon mes idées.
Il n'y a pas d'autosuffisance maintenant - donc l'histoire ne se termine pas. Quelque chose comme ça.PS.Bien sûr, je ne prétends pas avoir une bonne opinion sur tout ce qui est écrit ou sur moi. Je n'ai pas écrit tout ça pour ça. Je comprends bien que tout le monde a des opinions différentes et très différentes. Pour moi, le but de cet article est de dire ce qu'il en est du travail effectué, de dire aux gens ce que vous pouvez acheter et en même temps de savoir exactement ce que vous achetez au prix le plus bas et pas trop élevé aujourd'hui. Price Archive offre un suivi des prix gratuit et une notification de réduction de prix par e-mail.Et enfin, ma position - les informations doivent être partagées - j'espère qu'elles seront utiles à quelqu'un, peut-être comme une sorte de brouillon initial.Maintenant la deuxième partie.Quel intéressant puis-je dire sur la vente et en général sur les produits sur AliExpress.com.Chaque jour, Price Archive collecte des données sur environ 12 millions de produits. À l'heure actuelle, la quantité de marchandises sur lesquelles il existe des informations dépasse les 37 millions. Environ 5% des produits les plus populaires ne peuvent pas être obtenus. Parce qu'il n'est pas encore sur le site,mais il y a déjà des progrès en la matière.Regardez ici. Nous ne laissons que deux cercles actifs - «Moins cher» et «Hausse des prix». Au 1er novembre, 2,2 millions de produits sur près de 12 millions analysés ont augmenté de prix. Le 2 novembre est tombé à peu près au même prix. Mais le 4 novembre, plus de 4 millions des près de 12 millions de produits analysés étaient plus chers. Et jusqu'à présent, ils ne sont pas devenus si bon marché. D'où la réponse à la question de l'intérêt - la marchandise a augmenté de prix le 4 novembre, une semaine avant la vente, et non avant la vente elle-même le 10. Donc, si vous achetez avant la vente, dans de nombreux cas, cela devait être fait avant le 4 novembre et non le premier novembre.Il y a toujours une page intéressante. Chaque jour, des informations sur les produits sont collectées sur AliExpress.com. Sur cette page, vous pouvez voir les marchandises qui ont été vendues hier sans remise, et aujourd'hui elles sont vendues avec une remise de 5 à 99%. Il existe également des produits à prix réduits, informations dont nous avons reçu aujourd'hui pour la première fois. La page répond à son objectif, mais est pour ainsi dire au premier stade de développement. Plus tard, certains filtres et fonctionnalités seront ajoutés, ce qui fera de cette page un bon outil pour trouver des produits avec de grosses remises.Pourquoi prendre la peine de regarder vos tableaux de prix? Rien de mieux que des exemples. Regardez les graphiques et combien les prix changent. Le temps , deux , trois. Les prix changent très souvent pour tant de produits. Les raisons peuvent être différentes: période de l'année, proximité des ventes, concurrence, etc. Si vous ne voulez pas payer trop cher, alors regardez le tableau de changement de prix et tirez des conclusions: quand est-il préférable d'acheter - aujourd'hui ou ça vaut la peine d'attendre. Selon les graphiques, tout devient immédiatement clair.Je voudrais parler d'une autre fonction du site. Sur la page de chaque produit, il y a un formulaire de notification. Entrez votre e-mail et le prix souhaité, en fonction des informations sur le graphique. Lorsque le prix descend à votre prix spécifié, nous vous enverrons une notification par e-mail à ce sujet dans votre courrier.Vous n'avez pas besoin de chercher moins cher tous les jours ou d'avoir augmenté de prix ou de sauvegarder les données dans un fichier Excel, comme certains le font. Tout est simple et pratique, vous pouvez regarder dans votre bureau, accessible après inscription.Merci de votre attention!