Klicken Sie auf Ruhm oder wie Sie einen Roboter und ... andere erregen

NB: -         ? 

GURU : - «» . . . , ...

 NB: -      ,     ? 

GURU : - google yandex , . . , .

 NB: -       ? 

GURU : - ?… ...

• Nicht alle Adressen auf seiner Liste funktionieren.
• Nicht alle Proxies sind gleich gut.
• Das manuelle „Ankleben“ einer Site durch einen Proxy ist eine Aufgabe, die erheblichen Willen erfordert.
• Ein "falscher" Proxy schadet der Situation, weil Die Site kann durch Skripte von Riesen im Wrap vermutet werden.

• Klicken Sie ganz automatisch auf die Zielwebsite, ohne Kompromisse einzugehen.
• Benutzerverhalten vollständig emulieren;
• Organisieren Sie alle Besuche nach einem Zeitplan (Szenario).
• Führen Sie alle oben genannten Schritte so oft aus, bis Sie vorankommen.

Für "sofort verwenden" lohnt es sich nicht, all dies nachdenklich zu lesen. Der Code ist sicher.

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #        # " root-"    git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #      process-   , #     -  php- git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

Crushing und Planung

Ausreden und Misserfolge

Der gesamte Paketcode besteht aus drei Teilen.
Einer von ihnen gehört nicht mir (ich stelle fest, dass dies ein ordentlicher und schöner Code ist). Die Quelle für diesen Code ist packagist.org .

Ich selbst habe einen anderen geschrieben, ich habe versucht, ihn verständlich zu machen und habe ungefähr eine Woche diesem Teil des Codes gewidmet.

Der Rest ist ein „schwieriges historisches Erbe“. Dieser Teil des Codes wurde über einen längeren Zeitraum erstellt. Einschließlich zu einer Zeit, als ich nicht viel Programmierkenntnisse hatte.

Dies ist genau der Grund für die Position von Repositorys auf meinem GitLab und Paketen auf meinem Satis . Um auf GitHub.com und packagist.org zu veröffentlichen, muss dieser Code verarbeitet und ausführlicher dokumentiert werden.

Alle Teile des Codes können unbegrenzt verwendet werden. Repositories und Pakete sind für immer verfügbar.

Bei der erneuten Veröffentlichung des Codes bin ich jedoch dankbar, dass ich einen Link zu mir oder zu diesem Artikel veröffentlicht habe.

Ein bisschen über Architektur

• Das Dienstprogramm kann unabhängig von den anderen über die Befehlszeile mit Parametern gestartet werden, die die Aufgabe enthalten.
• Das Dienstprogramm kann das Ergebnis der Ausführung an stdout zurückgeben (nachdem es auf eine bestimmte Weise konfiguriert wurde).

Messaging-Warteschlange. MQ und ESB

 class esbTask //   ,     { // immutable-; // "" (   ESB-),  payload //    //     "" .... } 

• Über den Pfad (Abfolge von Schritten) des Prozesses, zu jedem Zeitpunkt des Prozesses
  niemand weiß es außer dem zu sendenden Umschlag;
  
• Jeder Umschlag hat drei mögliche Ergebnisrichtungen:
  
  • der nächste Schritt des Prozesses (normale Fortsetzung);
  • Stoppschritt (Stoppziel - wird im nächsten Schritt ausgewählt, wenn es keinen Sinn macht, die Prozess- / Stoppsituation fortzusetzen);
    
  • Fehlerschritt (Notfallbeendigungsziel - wird im Falle eines Arbeitsfehlers im nächsten Schritt ausgewählt).
    
  
  

 // json- esbTask { //    (   esbTask) "_type":"App\\\\rebean\\\\payloads\\\\ESBtaskQueue", //  "task":"task:queue@XXX.XXX.XXX.XXX:11300", //    () "replyto":[ "othertask1:nextqueue1@yyy.XXX.XXX.XXX:11300", "othertask2:nextqueue2", "othertask3:nextqueue3", ], //    () "onerror":[ "error:errorsstep@zzz.XXX.XXX.XXX:11300", "error:errorsstep1", "error:errorsstep2", "error:errorsstep3" ], //     () "onstop":[ "stop:stopstep@kkk.XXX.XXX.XXX:11300", "stop:stopstep1", "stop:stopstep2", "stop:stopstep3" ], //   "payload":{ .... }, //   ... () "till":[ .... ], //     ... () //        // -  (LINUX-TimeStamp) "since":[ 1540073089.8833, ], // -     "points":1, //  .     "groupid":"" } 

 class nextStepWorker extends workerConstructor { //       //     esbTask //    () //    MQ- (beanstalkd) //     (Memcached) //     (MySQL) // : -  (  - ); -    stop-; -      (log, event, mq) .... } 

1. Holen Sie sich esbTask und führen Sie den Worker aus.
2. Implementieren Sie die Logik, indem Sie die Ergebnisse in der Nutzlast speichern.
3. Schließen Sie die Hinrichtung des Arbeiters ab (Notfall oder normal - es spielt keine Rolle).

Mach es einmal. Verfügbarkeit prüfen

 // app/src/Process/worker/curlChecker.php .... class curlChecker extends nextStepWorker { const PROXY_INFO = 'https://api.ipfy.me?format=json&geo=true'; const PROXY_TIMEOUT = '40'; const COMMAND = "curl -m %s -Lx http://%s:%s '%s'"; public function logic() { //    .  ..   payload extract($this->context()); //  defaults    payload  $curltimeout = $curltimeout ?? self::PROXY_TIMEOUT; $curlchecker = $curlchecker ?? self::PROXY_INFO; //     $line = sprintf( static::COMMAND, $curltimeout, $host, $port, $curlchecker ); exec($line, $info); //      // ( ,  stop-) $info = arrays::valid_json(implode('', info)); if (empty($info)) throw new \Exception("Bad proxy: $host:$port!", static::STATUS_STOP); //    payload $this->enrich(['info']) ->sets(compact('info')); } } 

Zeitzone definieren. TimeZoneDB und wofür es ist ...

// app / src / Process / worker / timeZone.php

Ein bisschen über Infrastruktur

• Memcached - zum Zwischenspeichern von Aufgaben;
• Selenium Server - Es ist praktisch, den Selenium Web Driver in einem separaten Container auszuführen, und Sie können den Prozess über VNC überwachen.
• Dashboards zur Überwachung von Beanstald , Memcached und VNC .

 sudo apt-get -y update sudo apt-get -y install docker-compose 

 #   ,    docker- #     (   ) #    sudo -s git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git \ panels cd panels docker-compose up --build -d #   . 

- XXX.XXX.XXX.XXX:11300 - Beanstalkd
- XXX.XXX.XXX.XXX:11211 - Memcached
- XXX.XXX.XXX.XXX-00-00444 - Selenium Server
- XXX.XXX.XXX.XXX:5930 - VNC- Server zur Steuerung der Vorgänge in Chrome
- XXX.XXX.XXX.XXX:8081 - Webpanel für die Kommunikation mit Memcached (admin: pass)
- XXX.XXX.XXX.XXX:8082 - Webpanel für die Kommunikation mit Beanstalkd
- XXX.XXX.XXX.XXX:8083 - Webpanel für die Kommunikation mit VNC (Passwort: geheim)
- XXX.XXX.XXX.XXX:8080 - Allgemeines Webpanel

 #   ,    docker-, #    ..../panels/ #    docker-compose ps # Name Command State Ports # ------------------------------------------------------------------------------------------------------------------------ # beanstalkd /usr/bin/beanstalkd Up 0.0.0.0:11300->11300/tcp # chrome start-cron Up 0.0.0.0:4444->4444/tcp, 0.0.0.0:5930->5900/tcp # memcached docker-entrypoint.sh memcached Up 0.0.0.0:11211->11211/tcp # nginx docker-php-entrypoint /sta ... Up 0.0.0.0:8443->443/tcp, 0.0.0.0:8080->80/tcp, # 0.0.0.0:8082->8082/tcp, 0.0.0.0:8083->8083/tcp, 9000/tcp # vnc /usr/bin/supervisord -c /e ... Up 0.0.0.0:8081->8081/tcp #       chrome docker exec -ti chrome /bin/bash #       docker-compose stop && docker rm $(docker ps -a -q) 

Aufgaben 4,5,6 - zu einem Dienstprogramm zusammenfassen

// app / src / Process / worker / whoerChecker.php

Nehmen Sie Einstellungen für Chrome vor. Plugins

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker{ .... // $name -  - // $files - [ ... '   -' => '', ...] protected function buildPlugin(string $name, array $files) { $this->last = "$this->cache/$name"; if (!file_exists("$this->last")) { $zip = new \ZipArchive(); $zip->open("$this->last", \ZipArchive::CREATE | \ZipArchive::OVERWRITE); foreach ($files as $n => $data) { $zip->addFromString(basename($n), $data); } $zip->close(); } $this->all[] = $this->last; $this->all = array_unique($this->all); return $this; } .... } 

Fensterzeitänderung

 // app/chromePlugins/timeShift/content.js //     var s = document.createElement('script'); //        s.src = chrome.extension.getURL('timeshift.js'); //      (document.head || document.documentElement).appendChild(s); 

Proxy-Einstellungen

 // app/chromePlugins/proxy/background.js var config = { mode: "fixed_servers", rules: { singleProxy: { scheme: "%scheme", host: "%proxy_host", port: parseInt(%proxy_port) }, bypassList: ["foobar.com"] } }; chrome.proxy.settings.set({value: config, scope: "regular"}, function () { }); function callbackFn(details) { return { authCredentials: { username: "%username", password: "%password" } }; } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: ["&gtall_urls&lt"]}, ['blocking'] ); 

Pfad der Chrome-Plugins

 // app/src/Chrome/sshDocker.php //    (DOCKER_HOST, DOCKER_USER, DOCKER_PASS) //   : app/settings.php //      .... class sshDocker { .... //  .     docker //    .         // : app/techs.php const EXEC_DOCKER = DOCKER_BIN_PATH . "/docker exec -i %s %s"; .... //     sudo    (  ),  DOCKER_USER -  protected function sudo(string $command, string $expect = '.*'){...} //     Docker-,      //       -    self::EXEC_DOCKER protected function execDocker(string $command, string $expect){...} .... } 

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker { .... public static function new(string $docker, $plugins) { return (new self($docker, $plugins)) ->setupPlugins(); } .... } 

Starten Sie Chome mit Einstellungen

 composer require facebook/webdriver 

 // URL- $url = "https://example.com/books/196/empire-v-povest-o-nastoyashem-sverhcheloveke"; // URL,     (Selenium Server) $server = 'http://' . DOCKER_HOST . '/wd/hub'; //   ,      $options = new ChromeOptions(); $options->addArguments(array( '--disable-notifications' )); //    - $capabilities = DesiredCapabilities::chrome(); $capabilities->setCapability(ChromeOptions::CAPABILITY, $options); //        5000     URL $driver = RemoteWebDriver::create($server, $capabilities, 5000); $page = $driver->get($url); 

 // app/src/Process/worker/whoerChecker.php .... class whoerChecker extends nextStepWorker { //    : app/settings.php // URL Selenium Server const SELENIUM_SERVER = CHVM; //  - const DOCKER_NAME = DOCKER_NAME; .... public function config() .... //        : // $driver = RemoteWebDriver::create($server, $capabilities, 5000); $chrome = Chrome::driver( static::SELENIUM_SERVER, Chrome::capabilities(static::DOCKER_NAME, $plugins), 5000 ); .... } .... 

 // app/plugs.php const PLUGS = [ 'timeshift' => [ 'path' => PROJECTPATH . '/app/chromePlugins/timeShift', 'files' => ['manifest.json', 'timeshift.js', 'content.js'], 'fields' => ['%addsminutes' => 'timeshift'] ], 'proxy' => [ 'path' => PROJECTPATH . '/app/chromePlugins/proxy', 'files' => ['manifest.json', 'background.js'], 'fields' => [ '%proxy_host' => 'host', '%proxy_port' => 'port', '%scheme' => 'scheme', '%username' => 'user', '%password' => 'pass' ] ] ]; 

 .... $url = 'https://__/_-_'; $page = $chrome->get($url); .... //   xPath-   $xpath = '/html[1]/body[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/div[1]/div[1]/strong[1]'; $element = page->findElement(WebDriverBy::xpath($xpath)); .... //   $text = $element->getText(); // HTML- $html = $element->>getAttribute('innerHTML'); .... 

// app / src / Process / worker / whoerChecker.php

WebRTC

 iptables -t raw -I PREROUTING -p udp -m multiport --dports 3478,19302 -j DROP 

Der Rest der Arbeiter

Wie man alles zusammensetzt

• Dienstprogramme, die "als Eingabe" (als Befehlszeilenargument) esbTask in json-string-Form akzeptieren und eine Logik ausführen und die Ergebnisse an beanstalkd senden können ;
• Message Queuing ( MQ ), basierend auf Beanstalkd ;
• Linux-Maschine (Prozessmaschine);

Das Datum der Veröffentlichung hängt mit Ihrem Interesse zusammen, lieber Leser.

. , ,… . , , , , , .

habr , . , , .

. , " server ", README.md .

 // app/src/Process/noserver/singleProcess.php //   ,    //   include __DIR__ . '/../../../settings.php'; use App\ESB\pipeNcacheService; use App\arrayNstring\queueDSN; use App\arrayNstring\timeSpent; use App\arrayNstring\progressString; //    $path = __DIR__ . '/../worker'; //   $queues = array_keys(WORKERS); $queue = $argv[1] ?? end($queues); $queue = strtolower($queue); if (!in_array($queue, $queues)) die("php $argv[0] <queue_name>" . PHP_EOL); //  - $progress = new progressString("Listenning... Idle: ", 40, 20); // ,      $stopwatch = timeSpent::start(); //    beanstalkd- list($worker, $task) = WORKERS[$queue]; $procid = ['procid' => posix_getpid()]; //   beanstalkd  Memcached, //     ( ) $dsn = new queueDSN($task, $queue, ...QUEUE_SERVER); //     ESB- $pnc = new pipeNcacheService($dsn); $pipe = $pnc->getPipe(); echo "Start listener for queue: $queue." . PHP_EOL; echo "Press Ctrl-C to stop listener." . PHP_EOL; //      //       while (true) { try { $job = $pipe->watch($queue) ->reserve(1); $now = new DateTime(); $opts = json_encode($pipe->getPayload($job) + $procid); $pipe->delete($job); echo PHP_EOL . "Task recived at: " . $now->format('H:i:s') . " Starting worker: $worker. "; $stopwatch = timeSpent::start(); exec("php $path/$worker $opts", $out); echo "Finished. Time spent: $stopwatch" . PHP_EOL; $stopwatch = timeSpent::start(); } catch (Throwable $exception) { echo $progress($stopwatch('%I:%S', null, $now)); } } 

Ein paar Worte zur Konfiguration und Bereitstellung

Konfigurationskonstanten

- app / queues.php enthält die Namen von Warteschlangen und Jobs
- app / plugs.php enthält eine Beschreibung der Chrome- Plugins
- app / techs.php enthält berechnete Konstanten

Dienstprogramme

 backup.php - speichert Warteschlangen in einer Datei
    clear.php - bereinigt Warteschlangen
    exporter.php - Exportiert aus einer Datei mit einer gespeicherten Warteschlange 
                     Paaradresse: Port
    givethejob.php - stellt Aufgaben in den Prozess 
                     (Quelladresse: Port-Kombinationsfeld).
                     kann einige Adressen von der Liste ausschließen
    restore.php - Stellt eine gespeicherte Warteschlange wieder her 

Feinabstimmung der Arbeiter

 // app/src/Process/worker/curlChecker.php .... $worker = new curlChecker( [ //    curlChecker::WORKER => 'curlchecker', //  beanstalkd curlChecker::PIPE_HOSTPORT => implode(':', QUEUE_SERVER), //  Memcached curlChecker::CACHE_HOSTPORT => implode(':', MEMCACHED), // ,    . //    -   curlChecker::DB_SCRIPT => __DIR__ . '/../../../confdb.php', // ,       // (        -) curlChecker::INFO_START => CURL_START, // ,        // (        -) curlChecker::INFO_END => CURL_END, //  ,     //    //        curlChecker::INFO_ADDS_END => ['host', 'port'] ], ['setupworker', 'config', 'logic'] ); .... 

Bereitstellung

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #   . sudo -s apt -y update apt -y install git snap snap install docker apt -y install docker-compose # C       # " root-"    cd ~ git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #   . sudo apt -y update sudo apt -y install git php-common php-cli php-curl php-zip php-memcached composer # C     process-   , #     -  php- cd /var/www git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

Und zum Schluss