Hola a todos! En este artículo me gustaría hablar sobre dos cosas: qué dificultades encontré durante el trabajo en el Archivo de precios y qué surgió de él. Construiré mi historia, tal vez no del todo habitual. Apenas daré respuestas a las preguntas que han surgido. Solo expresaré las preguntas y problemas que han surgido y están surgiendo, que se han resuelto o que están en proceso de resolución. Insider de agua pura, se podría decir.
Como dicen, todo de la tierra, de primera mano. Supongo que simplemente te cansarás de leer lo que hay que hacer.
Honestamente, si me mostraran una lista similar de problemas que tendrían que resolverse y me dijeran las dificultades que encontraría, tal vez dejaría esta idea y no desarrollaría Price Archive desde cero. Pero decidí ponerme a prueba, o algo así.
Si está interesado en información sobre los precios de los productos de AliExpress, le pido inmediatamente a la segunda parte. Allí les contaré todas las cosas más interesantes que noté. ¿Para quién es este artículo?Probablemente para más estudiantes o personas reuniendo ideas sobre la apertura de su proyecto. Tal artículo no me haría daño hace un año.
Hace un añoSí, fue el 11/11/2016 que decidí hacer algo útil para las personas. Entiendo que para algunos esto resultó ser útil, para otros no es muy bueno, mientras que otros generalmente tendrán su propio punto de vista especial. Pero el objetivo era ese. Y ahora todavía te insto a que se te ocurra algo
útil, de lo contrario su trabajo está condenado al fracaso. Pero haga una reserva de inmediato, incluso algo útil puede fallar fácilmente.
Algo de esto está hecho, algo no está allí, algo que olvidé y esto no está escrito aquí. Pero intenté escribir sobre todo lo que era.
Perdón por la vinagreta, estoy insertando aquí, entre otras cosas, piezas de mi hoja de tareas, que pasé un tiempo. En general, como era de hecho, aquí y allá se inserta.
Entonces, aquí hay una lista de tareas pendientes.1. Encuentra un problema que preocupa a muchas personas.
2. Explore el área temática. Encuentra servicios y competidores similares.
3. Convénzase de que la gente necesita el proyecto y que tiene la oportunidad de despegar.
4. Para convencerse de que hay suficiente dinero, fuerza y deseo de hacer todo antes del inicio de la autosuficiencia.
5. Haga una lista de herramientas de servicio que deberían implementarse en el futuro.
6. Piense en el diseño del sitio, qué funcionalidad tendrá. La elección inicial se hizo a favor del sitio, no de la aplicación.
7. Elaborar una especificación de diseño detallada. Ordene y monitoree el desarrollo. Esto es lo único que pedí. El diseño es muy difícil incluso con buenos diseñadores y diseñadores de diseño. Todo debe verificarse y volver a verificarse mil veces si desea lograr un diseño y un diseño decente.
8. Actualice o aprenda centralmente algunos comandos de Linux.
Solían estudiar en la universidad, pero eso fue hace mucho tiempo y no es cierto. Montar / desmontar un disco, ntpdate, tune2fs, screen, man, mkfs, df -i, lsof, ps aux, top, du -sh *, date, blkid / dev / sda1, fdisk -l y más como dos o tres docenas.
9. Estudiar la teoría sobre la velocidad de escritura y lectura de datos en discos. Pruebas de disco de diferentes fabricantes, modelos, etc.
10. Aprende la teoría de los sistemas de archivos. ext-family, xfs, reiser, brtfs, zfs, otros.
Ingrese todo esto, siempre que haya información realmente completa que no encontraría para mi caso. Todo tuvo que ser revisado dos veces y como resultado, para algunas cosas, Google mostró solo 3 páginas con una discusión de puntos realmente importantes, que resultó ser la piedra angular. Permanezca en un sistema de archivos que pueda manejar fácilmente decenas de millones de archivos y al mismo tiempo sea fácilmente escalable. Para estudiar varios aspectos de los sistemas de archivos de ajuste, como deshabilitar el índice del directorio y verificar las velocidades de lectura y escritura, la directiva noatime y algunos más.
11. Escriba guiones para pruebas de disco en la velocidad de escritura, lectura, reescritura: todo es consistente y todo es desordenado. Inicialmente, se realizaron docenas de pruebas en discos regulares con todos los tamaños de bloque posibles y el número de inodes. Era necesario desarrollar pruebas adecuadas para simular todas las situaciones posibles, incluida una fragmentación muy fuerte.
12. Resultó que los discos normales por defecto no manejan el tiempo con una gran cantidad de datos. Era necesario buscar una salida. Fue encontrado en buenas unidades SSD. Sí, son más caros, pero sin ellos no resultó nada.
13. Realice de nuevo todas las pruebas del disco a la velocidad de escritura, lectura, reescritura: todo es coherente y todo es incoherente.
14. Seleccione el tamaño de bloque del sistema de archivos, el número de inodos para que el porcentaje de su uso aumente sincrónicamente para los datos esperados. De lo contrario, habrá un sesgo en el lugar o en la cantidad de inodos, lo que conducirá a un uso más rápido de la capacidad del disco. Y esto es dinero extra debido a la arquitectura incompleta al principio. Realmente no quería hacerlo.
15. Estudiar la tecnología de virtualización de datos RAID o idear su propia opción en caso de fallo de los discos.
16. Desarrolle su propio esquema para el futuro con respecto a la expansión del servicio N veces y el almacenamiento de datos en fuerza mayor.
17. Elija un host confiable con soporte técnico más o menos sensato. Calcule el tamaño de la RAM necesaria, el número y el tamaño de los discos, para no pagar en exceso durante mucho tiempo. Espere a que lleguen las unidades y la configuración del servidor. El problema era que los SSD escaseaban. Pero por suerte, no esperó mucho. Solicite un servidor con la capacidad de aumentar tanto la memoria como los discos.
18. Al recibir el servidor para realizar todas las pruebas posibles y necesarias: todo funciona, todo está configurado correctamente. Compruebe las unidades en busca de errores, hubo un caso incluso con una nueva unidad. Cambie el puerto ssh al suyo. Configure una gran cantidad de conexiones abiertas simultáneamente.
Aumente el límite de archivos abiertos para usuarios de administración y apache. Verifique las últimas versiones de bash, etc. - necesita pararse con parches de ataques que ya se conocen, como heartbleed. maxclients en apache: es necesario subir de 256 a (no lo diré). Establezca directamin-y simple_disk_usage = 1. Verifique que ambas direcciones IP del servidor estén conectadas y no se caigan durante el reinicio debido al hecho de que se almacenan solo en la memoria. Verifique la conexión de masilla. Eliminar servidor FTP. Cierre todos los puertos innecesarios. En iptables, ingrese las reglas de permisos para los puertos: * Todos los demás están prohibidos. Encuentre comandos útiles para el servidor y comprenda su sintaxis: iptables -I INPUT -s 1.1.1.1 -j DROP, iptables -nvL INPUT.
Instala ntpdate. Establezca la hora UTC para todo: para el servidor, para php. hwclock también es UTC. La zona horaria para hwclock y php debe cambiarse a Europa / Londres. Instalar pantalla, hombre y otras cosas necesarias. Eliminar phpmyadmin.
19. Se perdió mucho tiempo al trabajar con CentOS 6.
No instale CentOS 6: a veces tiene problemas con una tarjeta de red, si pasa mucho tráfico por ella, alrededor de 15-20 Gb por hora.
20. Encuentre: cómo resolver problemas con escalabilidad, alto rendimiento y confiabilidad ahora. Encontramos a Cassandra. Examine Cassandra y la aplicabilidad en su situación.
21. Decida cómo se almacenarán los datos sobre la base de las pruebas realizadas y la información disponible en las bases de datos.
22. Coloque todos los encabezados necesarios para la seguridad y el CEO del sitio, elimine lo innecesario y revelador: qué está exactamente instalado en el servidor. Varíe el Agente de usuario, X-Accel-Version, X-Frame-Options y otros.
23. Proceda al desarrollo del sitio. Decida qué se desarrollará y por qué. Desarrolle una arquitectura que permita agregar sin dolor cosas que no se tienen en cuenta.
Eso sería al mismo tiempo fácil, rápidamente accesible y extremadamente claro tanto en el código como en lo que se encuentra en el servidor y por qué aquí.
24. Decida la cantidad de idiomas a los que se traducirá el sitio en función de las capacidades financieras y los precios de las traducciones. Encuentre traductores para cada idioma o agencia de traducción donde harán su trabajo para que no haya necesidad de verificar cada vez. Luego me encontré con diferentes casos. Algunas personas son tan peculiares que no podían aceptar un correo electrónico con una tarea de traducción: necesitaban una visita personal y una explicación en sus dedos. Y todo fue presentado de tal manera que me hicieron un favor. Estoy escribiendo aquí sobre temas sociales, para no detenerme más en ellos. Y lo fueron. Solo entendí una cosa. Si no hay personas ya verificadas en ningún campo, encontrar a aquellos con quienes puede trabajar es una tarea bastante rápida.
25. Aprende a fondo las reglas de trabajar con AliExpress como afiliado.
26. Explora la API de AliExpress. Comprender que no es muy informativo. Busca una salida. Pase horas hablando con el soporte y con todas las partes que pueden ayudar a AliExpress a mejorar la API.
27. Reúna todos los nombres de categorías y subcategorías en el catálogo de AliExpress en inglés. Guarde con notas qué subsección se refiere a qué sección. Escribe un guión para esto.
28. Escriba un guión para recopilar la base de datos para el idioma inglés. Con base en los datos obtenidos, realice pruebas en el lugar, el número de bloques ocupados, inodes.
Estimación: durante cuánto tiempo durará el disco. ¿Qué hacer entonces, cuando el disco está lleno?
29. Desarrolle la estructura de almacenamiento de datos adecuada para escribir, buscar, leer y eliminar rápidamente. El tiempo de entrega de la página completa no debe ser superior a 0,8 segundos con decenas de millones de registros en el disco.
30. Monitoree los productos que faltan en AliExpress. Si los productos desaparecen de la venta, ¿es por un tiempo o para siempre? Había muchas más características con las que lidiar.
31. Escriba guiones para el análisis diario de todos los productos. Al desarrollar, tenga en cuenta todas las estadísticas posibles y necesarias.
32. Recopile los nombres de categorías y subcategorías para el idioma ruso + para todos los demás excepto el inglés. Ya está ensamblado.
33. Escriba un script para recopilar nombres de productos en todos los idiomas y recopile con él los productos necesarios de la base de datos formada durante el primer paso. Tenga en cuenta los límites en la cantidad de solicitudes a la API.
34. Escribe un código de sitio. Realice todas las funciones, incluida la búsqueda de productos, visualización de categorías, suscripciones, cuenta personal, blog, registro, seguimiento, alertas por correo electrónico, etc. etc.
35. Haga una lista de todas las frases y palabras que se usan para el sitio en ruso.
36. Póngase en contacto con los traductores y entrégueles listas de frases y palabras para traducir.
37. Procese las listas recibidas en diferentes idiomas y configure el código del sitio para mostrar el idioma correspondiente.
38. Resultó que necesitas escribir un script para la colección inicial. Pero necesitamos escribir otro script para todas las rondas de recopilación posteriores de la base de datos compilada, porque el primer script funcionará más lentamente, pero será más rápido.
39. Todo este tiempo hubo una conexión con los diseñadores. Finalice el diseño resultante, porque es más rápido que pedir una solución incluso en ese momento.
Al hacerlo, es mejor entender css.
40. Escriba un script de colección para los navegadores de usuarios. Con base en ellos, mire el diseño: funciona correctamente en todos los navegadores populares o no. Prueba en todos los navegadores posibles. Para hacer esto, simplemente puede ir al salón de Apple o Samsung, tienen un montón de dispositivos con diferentes diagonales allí. Prueba: no quiero + probar a través de un servicio que toma capturas de pantalla de docenas de sistemas operativos. Localice archivos css para cada idioma. Resultó ser la mejor opción, siempre que en diferentes idiomas las mismas frases ocupen espacio en la pantalla de diferentes maneras.
41. Hacer plantillas con macros a partir de las páginas html del diseño modificado. Pensar sobre la sintaxis de las macros, porque se utilizarán dos enfoques para la formación de la página. El segundo enfoque está relacionado con las macros internas al localizar archivos de idioma.
42. Configure el dominio en el registrador y en el servidor + todos los subdominios.
43. Tratar con los gráficos. Cómo se forman, cómo se deben cambiar. Seleccione los gráficos apropiados y personalícelos.
44. Leyendo constantemente noticias, artículos, etc. piense en la posibilidad de crear dichos artículos en el sitio, de modo que varias fuentes de medios se vinculen al sitio. Este es un punto importante, pero no tiene suficiente fuerza.
45. Desarrollar una plantilla para el análisis de indicadores estadísticos. Traduce a todos los idiomas y dáselo a los traductores.
46. Desarrollar una estructura para el análisis, almacenamiento de datos de análisis, almacenamiento de artículos, etc.
47. Escriba scripts para recopilar nombres de productos en los idiomas requeridos.
48. Ponga restricciones, por ejemplo, en la cantidad de bienes que el usuario puede rastrear.
49. No funciona correctamente en teléfonos con borracheras, luego averigua por qué y arréglalo.
50. Comprender y configurar registros SPF, DKIM, DMARK. No sé por qué, pero este momento fue muy difícil. Quizás debido al hecho de que no encontré una guía explicativa para la primera persona en ver esto.
51. Considere no enviar horarios, sino tablas en algunos casos.
52. Explore gráficos de gráficos altos.
53. Comprender los certificados y configurar la conexión https.
54. Comprender y configurar htaccess.
55. Comprender y configurar registros ptr.
56. Hacer solo un par de cientos de mejoras en la funcionalidad, diseño y operación del sitio. Ahora tengo 80 puntos más solo para mejorar lo que se guarda en un archivo.
Y esta lista se repone todos los días con los deseos de los usuarios y sus propios pensamientos.
57. Trabajar sobre el tema del CEO. Establezca todos los encabezados necesarios en todas las páginas: canónico, dns-prefetch, preconnect, og: *,
producto: *, twitter: *, alternativo, etc. Hasta ahora, no todo está configurado, quedan algunos importantes.
58. Haga mapas del sitio actualizados y mapas de mapas todos los días.
59. Publique algunos artículos en los foros, informando sobre el servicio. Aquí diré "gracias" a algunos propietarios de foros. No, por supuesto, es su negocio y sus reglas en sus portales. Pero debido al hecho de que mis buenos artículos fueron eliminados, un sitio joven sin un enlace pesimó a Google. Y no hay forma de moverlo. En la parte superior de cientos de sitios de entrada, chatarra: todo florece y huele en las primeras posiciones. Y aquí está la caca del Archivo de precios, porque se eliminaron los enlaces. Aquí quiero decir algunas palabras amables a Yandex. Tampoco ve ningún enlace, pero al menos lleva a algunos usuarios al sitio. Por supuesto, tienen poco efecto en la recuperación de la inversión en principio, porque hay muy pocos de ellos. Estoy hablando del algoritmo del motor de búsqueda. Yandex da una oportunidad, aunque sea fantasmal a proyectos jóvenes, y Google, por otro lado, da un poco de bonificación para los principiantes y adiós. Pero en la palanca y la puerta, sí, todo está en la parte superior. Chicos de los motores de búsqueda, aquí hay un proyecto, es útil para las personas. No quiero promocionarlo, quiero trabajar para mejorarlo. Y tienes que agarrarlo por una cosa, luego por otra. Entiendo bastante bien en el CEO y podría, con cierto riesgo, tratar de elevarlo a la cima con métodos no muy blancos. ¿Pero es así como debería ser? De acuerdo, tal como es. Oh no, agregaré. No lo creía, pero en nuestro foro de CIS los propietarios están listos para estrangularse a sí mismos a una historia detallada incluso sobre un proyecto no competitivo en su sitio. Todo se limpia rápidamente. Quieren dinero para publicidad.
La cosa, como dije, es tuya, por supuesto. Pero de inmediato la diferencia en el enfoque de los propietarios de la CEI y extranjeros, no importa cuál. Puedes acercarte a ellos y hablar de ti sin ayunar y sin karma, y casi todos lo toman normalmente. Que hacer Sé más amable y no codicioso.
60. Combatir la procrastinación y el agotamiento, siempre que haya suficientes casos y fuera de línea.
61. Envíe 100 cartas a sitios de noticias y 10 cartas a los mejores bloggers. Con una oferta para hablar sobre el servicio de forma gratuita y con una oferta para hablar sobre el servicio con pago posterior en forma de porcentaje fijo. ¿Sabes cuál fue la respuesta? Nada Bueno, para nada.
Las piezas de los 5 sitios más grandes respondieron ofreciendo publicidad regular. Gracias por eso No es de extrañar que sean grandes. El resto guardó silencio.
Quería descubrir por mí mismo lo que sucedería, lo descubrí. Y ahora puedo compartirlo contigo. Si no tiene dinero para publicidad, escribirle a alguien es un asunto vacío. Para muchos más es inútil escribir, incluso si hay dinero. No sé por qué, no es asunto mío, lo que tienen en mente. Solo el hecho en sí mismo: esto es todo. En general, se necesita un enfoque diferente aquí. Escribir en un correo electrónico de contacto, como muestra la práctica, es inútil. Quizás porque el proyecto es desconocido.
62. Crear páginas de proyectos en redes sociales. Para emitirlos y conducir.
63. El error que muchos cometieron, y que cometí, no calculó la cantidad de dinero disponible para la vida, el desarrollo del sitio y su promoción. No queda dinero para promocionarlo. Pero la promoción es, quizás, una parte aún más importante,
que todo el trabajo realizado. El momento financiero debe estar muy bien pesado.
Algunos puntos: esto no funciona durante una semana. El proyecto debería haber sido manejado por varias personas, si es en el buen sentido. Cada uno es su propio negocio. Pero fue interesante para mí hacer todo de principio a fin, sumergirme en el trabajo de todos. Se necesita hacer mucho más para llevar el proyecto a un estado normal de acuerdo con mis ideas. Ahora no hay autosuficiencia, por lo que la historia no termina. Algo como esto
PS. Por supuesto, no pretendo tener una buena opinión sobre todo lo escrito o sobre mí. No escribí todo esto para esto. Entiendo bien que todos tienen opiniones diferentes y muy diferentes. Para mí, el propósito de este artículo es decir cómo se trata el trabajo realizado, decirle a la gente lo que puede comprar y, al mismo tiempo, saber exactamente lo que está comprando al precio más bajo y no demasiado alto hoy. Price Archive proporciona seguimiento de precios gratuito y notificación de reducción de precios por correo electrónico.
Y, por último, mi posición, la información debe compartirse, espero que sea útil para alguien, tal vez como una especie de borrador inicial.Ahora la segunda parte.Qué interesante puedo decir sobre la venta y en general sobre los productos en AliExpress.com.Todos los días, Price Archive recopila datos sobre aproximadamente 12 millones de productos. Por el momento, la cantidad de bienes sobre los que hay información supera los 37 millones. Aproximadamente el 5% de los productos más populares no se pueden obtener. Porque todavía no está en el sitio,pero ya hay avances en este asunto.Mira aqui. Solo dejamos dos círculos activos: "Más barato" y "Aumento de precio". El 1 de noviembre, 2,2 millones de productos de casi 12 millones analizados aumentaron en precio. El 2 de noviembre cayó casi el mismo precio. Pero el 4 de noviembre, más de 4 millones de los casi 12 millones de productos analizados eran más caros. Y hasta ahora no se han vuelto tan baratos. De ahí la respuesta a la pregunta de interés: los productos subieron de precio el 4 de noviembre, una semana antes de la venta, y no antes de la venta en sí el 10. Entonces, si compra antes de la venta, en muchos casos debe hacerse antes del 4 de noviembre y no antes del primero de noviembre.Todavía hay una página tan interesante. Todos los días, la información del producto se recopila en AliExpress.com. En esta página puede ver los productos que se vendieron ayer sin descuento, y hoy se venden con un descuento del 5 al 99%. También hay productos con descuento, información sobre la cual recibimos hoy por primera vez. La página hace frente a su propósito, pero se encuentra en la primera etapa de desarrollo, por así decirlo. Más tarde, se agregarán algunos filtros y funcionalidades, lo que hará de esta página una buena herramienta para encontrar productos con grandes descuentos.¿Por qué molestarse en mirar sus gráficos de precios? Nada puede ser mejor que los ejemplos. Mire las tablas y cuánto cambian los precios. Tiempo , dos , tres. Los precios cambian muy a menudo para tantos productos. Las razones pueden ser diferentes: época del año, proximidad a las ventas, competencia, etc. Si no desea pagar de más, simplemente mire la tabla de cambios de precios y saque conclusiones: cuándo es mejor comprar, hoy o vale la pena esperar. Según los gráficos, todo se aclara de inmediato.Me gustaría hablar sobre una función más del sitio. En la página de cada producto hay un formulario para notificaciones. Ingrese su correo electrónico y el precio deseado, de acuerdo con la información en la tabla. Cuando el precio baje a su precio especificado, le enviaremos una notificación por correo electrónico al respecto.No es necesario que parezca más barato todos los días o que haya subido de precio o guarde los datos en un archivo de Excel, como hacen algunos. Todo es simple y conveniente, puede verlo en su oficina, a la que puede acceder después del registro.Gracias por su atencion!