انقر على الشهرة ، أو كيفية إثارة الروبوت و ... الآخرين

NB: -         ? 

GURU : - «» . . . , ...

 NB: -      ,     ? 

GURU : - google yandex , . . , .

 NB: -       ? 

GURU : - ?… ...

• ليست كل العناوين في قائمته تعمل ؛
• ليست جميع الوكلاء جيدة على قدم المساواة.
• "التمسك" بموقع عبر وكيل يدويًا هي مهمة تتطلب إرادة كبيرة ؛
• وكيل "خاطئ" سيضر الوضع ، لأنه قد يتم الاشتباه في الموقع من خلال مخطوطات العمالقة في الغلاف.

• "انقر" - في (زيارة) الموقع المستهدف تلقائيًا بالكامل ، دون خوف من التسوية ؛
• محاكاة سلوك المستخدم بالكامل ؛
• تنظيم جميع الزيارات وفقًا لجدول (سيناريو) ؛
• تفعل كل ما سبق في عدد المرات اللازمة للتقدم.

بالنسبة إلى "الاستخدام الفوري" ، فإن قراءة كل هذا بعناية لا يستحق كل هذا العناء. الكود هو بالتأكيد.

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #        # " root-"    git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #      process-   , #     -  php- git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

التكسير والتخطيط

الأعذار والفشل

يتكون كل رمز الحزمة من ثلاثة أجزاء.
واحد منهم ليس لي (لاحظت أن هذا رمز أنيق وجميل). مصدر هذا الرمز هو packagist.org .

أنا شخصياً كتبت أخرى ، وحاولت جعلها مفهومة ومكرسة لحوالي أسبوع لهذا الجزء من الكود.

الباقي هو "إرث تاريخي صعب". تم إنشاء هذا الجزء من الكود على مدار فترة زمنية طويلة. بما في ذلك في وقت لم يكن لدي الكثير من المهارة في البرمجة.

هذا هو بالتحديد سبب موقع المستودعات على GitLab الخاص بي وحزم على Satis الخاص بي. للنشر على GitHub.com و packagist.org ، سيتطلب هذا الرمز معالجة ووثائق أكثر دقة.

جميع أجزاء الكود مفتوحة للاستخدام غير المحدود. المستودعات والحزم ستكون متاحة إلى الأبد.

ومع ذلك ، عند إعادة نشر الشفرة ، سأكون ممتنًا لك لنشر رابط لي أو لهذه المقالة.

قليلا عن العمارة

• يمكن تشغيل الأداة بشكل مستقل عن الآخرين من سطر الأوامر مع المعلمات التي تحتوي على المهمة ؛
• يمكن للأداة المساعدة إرجاع نتيجة التنفيذ إلى stdout (بعد تكوينها بطريقة معينة).

قائمة انتظار الرسائل. MQ و ESB

 class esbTask //   ,     { // immutable-; // "" (   ESB-),  payload //    //     "" .... } 

• حول المسار (تسلسل الخطوات) للعملية ، في كل نقطة زمنية من العملية ،
  لا أحد يعرف إلا المغلف الذي سينتقل ؛
  
• يحتوي كل مغلف على ثلاثة اتجاهات محتملة للنتائج:
  
  • الخطوة التالية من العملية (استمرار طبيعي) ؛
  • خطوة الإيقاف (هدف الإيقاف - يتم تحديدها بواسطة الخطوة التالية ، إذا لم يكن هناك أي نقطة في مواصلة وضع العملية / الإيقاف) ؛
    
  • يتم تحديد الخطوة الخطأ (هدف إنهاء الطوارئ - بواسطة الخطوة التالية ، في حالة وجود خطأ عامل).
    
  
  

 // json- esbTask { //    (   esbTask) "_type":"App\\\\rebean\\\\payloads\\\\ESBtaskQueue", //  "task":"task:queue@XXX.XXX.XXX.XXX:11300", //    () "replyto":[ "othertask1:nextqueue1@yyy.XXX.XXX.XXX:11300", "othertask2:nextqueue2", "othertask3:nextqueue3", ], //    () "onerror":[ "error:errorsstep@zzz.XXX.XXX.XXX:11300", "error:errorsstep1", "error:errorsstep2", "error:errorsstep3" ], //     () "onstop":[ "stop:stopstep@kkk.XXX.XXX.XXX:11300", "stop:stopstep1", "stop:stopstep2", "stop:stopstep3" ], //   "payload":{ .... }, //   ... () "till":[ .... ], //     ... () //        // -  (LINUX-TimeStamp) "since":[ 1540073089.8833, ], // -     "points":1, //  .     "groupid":"" } 

 class nextStepWorker extends workerConstructor { //       //     esbTask //    () //    MQ- (beanstalkd) //     (Memcached) //     (MySQL) // : -  (  - ); -    stop-; -      (log, event, mq) .... } 

1. الحصول على esbTask وتشغيل العامل.
2. تنفيذ المنطق عن طريق تخزين النتائج في الحمولة ؛
3. أكمل تنفيذ العامل (طارئ أو عادي - لا يهم).

افعلها مرة واحدة. التحقق من توافر

 // app/src/Process/worker/curlChecker.php .... class curlChecker extends nextStepWorker { const PROXY_INFO = 'https://api.ipfy.me?format=json&geo=true'; const PROXY_TIMEOUT = '40'; const COMMAND = "curl -m %s -Lx http://%s:%s '%s'"; public function logic() { //    .  ..   payload extract($this->context()); //  defaults    payload  $curltimeout = $curltimeout ?? self::PROXY_TIMEOUT; $curlchecker = $curlchecker ?? self::PROXY_INFO; //     $line = sprintf( static::COMMAND, $curltimeout, $host, $port, $curlchecker ); exec($line, $info); //      // ( ,  stop-) $info = arrays::valid_json(implode('', info)); if (empty($info)) throw new \Exception("Bad proxy: $host:$port!", static::STATUS_STOP); //    payload $this->enrich(['info']) ->sets(compact('info')); } } 

تحديد المنطقة الزمنية. TimeZoneDB وما هو ...

// app / src / Process / worker / timeZone.php

قليلا عن البنية التحتية

• Memcached - لمهام التخزين المؤقت ؛
• خادم سيلينيوم - مناسب لتشغيل برنامج سيلينيوم ويب درايف في حاوية منفصلة ويمكنك مراقبة العملية عبر VNC ؛
• لوحات معلومات لمراقبة beanstald ، memcached ، و VNC .

 sudo apt-get -y update sudo apt-get -y install docker-compose 

 #   ,    docker- #     (   ) #    sudo -s git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git \ panels cd panels docker-compose up --build -d #   . 

- XXX.XXX.XXX.XXX:11300 - شجرة الفاصولياء
- XXX.XXX.XXX.XXX:11211 - Memcached
- XXX.XXX.XXX.XXX-00-00444 - خادم السيلينيوم
- XXX.XXX.XXX.XXX:5930 - خادم VNC للتحكم في ما يحدث في Chrome
- XXX.XXX.XXX.XXX:8081 - لوحة ويب للتواصل مع Memcached (admin: pass)
- XXX.XXX.XXX.XXX:8082 - لوحة ويب للتواصل مع beanstalkd
- XXX.XXX.XXX.XXX:8083 - لوحة ويب للتواصل مع VNC (كلمة المرور: سر)
- XXX.XXX.XXX.XXX:8080 - لوحة الويب العامة

 #   ,    docker-, #    ..../panels/ #    docker-compose ps # Name Command State Ports # ------------------------------------------------------------------------------------------------------------------------ # beanstalkd /usr/bin/beanstalkd Up 0.0.0.0:11300->11300/tcp # chrome start-cron Up 0.0.0.0:4444->4444/tcp, 0.0.0.0:5930->5900/tcp # memcached docker-entrypoint.sh memcached Up 0.0.0.0:11211->11211/tcp # nginx docker-php-entrypoint /sta ... Up 0.0.0.0:8443->443/tcp, 0.0.0.0:8080->80/tcp, # 0.0.0.0:8082->8082/tcp, 0.0.0.0:8083->8083/tcp, 9000/tcp # vnc /usr/bin/supervisord -c /e ... Up 0.0.0.0:8081->8081/tcp #       chrome docker exec -ti chrome /bin/bash #       docker-compose stop && docker rm $(docker ps -a -q) 

المهام 4،5،6 - الجمع بين في فائدة واحدة

// app / src / Process / worker / whoerChecker.php

قم بعمل إعدادات لمتصفح Chrome. الإضافات

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker{ .... // $name -  - // $files - [ ... '   -' => '', ...] protected function buildPlugin(string $name, array $files) { $this->last = "$this->cache/$name"; if (!file_exists("$this->last")) { $zip = new \ZipArchive(); $zip->open("$this->last", \ZipArchive::CREATE | \ZipArchive::OVERWRITE); foreach ($files as $n => $data) { $zip->addFromString(basename($n), $data); } $zip->close(); } $this->all[] = $this->last; $this->all = array_unique($this->all); return $this; } .... } 

نافذة تغيير الوقت

 // app/chromePlugins/timeShift/content.js //     var s = document.createElement('script'); //        s.src = chrome.extension.getURL('timeshift.js'); //      (document.head || document.documentElement).appendChild(s); 

إعدادات الوكيل

 // app/chromePlugins/proxy/background.js var config = { mode: "fixed_servers", rules: { singleProxy: { scheme: "%scheme", host: "%proxy_host", port: parseInt(%proxy_port) }, bypassList: ["foobar.com"] } }; chrome.proxy.settings.set({value: config, scope: "regular"}, function () { }); function callbackFn(details) { return { authCredentials: { username: "%username", password: "%password" } }; } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: ["&gtall_urls&lt"]}, ['blocking'] ); 

مسار الإضافات كروم

 // app/src/Chrome/sshDocker.php //    (DOCKER_HOST, DOCKER_USER, DOCKER_PASS) //   : app/settings.php //      .... class sshDocker { .... //  .     docker //    .         // : app/techs.php const EXEC_DOCKER = DOCKER_BIN_PATH . "/docker exec -i %s %s"; .... //     sudo    (  ),  DOCKER_USER -  protected function sudo(string $command, string $expect = '.*'){...} //     Docker-,      //       -    self::EXEC_DOCKER protected function execDocker(string $command, string $expect){...} .... } 

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker { .... public static function new(string $docker, $plugins) { return (new self($docker, $plugins)) ->setupPlugins(); } .... } 

إطلاق Chome مع الإعدادات

 composer require facebook/webdriver 

 // URL- $url = "https://example.com/books/196/empire-v-povest-o-nastoyashem-sverhcheloveke"; // URL,     (Selenium Server) $server = 'http://' . DOCKER_HOST . '/wd/hub'; //   ,      $options = new ChromeOptions(); $options->addArguments(array( '--disable-notifications' )); //    - $capabilities = DesiredCapabilities::chrome(); $capabilities->setCapability(ChromeOptions::CAPABILITY, $options); //        5000     URL $driver = RemoteWebDriver::create($server, $capabilities, 5000); $page = $driver->get($url); 

 // app/src/Process/worker/whoerChecker.php .... class whoerChecker extends nextStepWorker { //    : app/settings.php // URL Selenium Server const SELENIUM_SERVER = CHVM; //  - const DOCKER_NAME = DOCKER_NAME; .... public function config() .... //        : // $driver = RemoteWebDriver::create($server, $capabilities, 5000); $chrome = Chrome::driver( static::SELENIUM_SERVER, Chrome::capabilities(static::DOCKER_NAME, $plugins), 5000 ); .... } .... 

 // app/plugs.php const PLUGS = [ 'timeshift' => [ 'path' => PROJECTPATH . '/app/chromePlugins/timeShift', 'files' => ['manifest.json', 'timeshift.js', 'content.js'], 'fields' => ['%addsminutes' => 'timeshift'] ], 'proxy' => [ 'path' => PROJECTPATH . '/app/chromePlugins/proxy', 'files' => ['manifest.json', 'background.js'], 'fields' => [ '%proxy_host' => 'host', '%proxy_port' => 'port', '%scheme' => 'scheme', '%username' => 'user', '%password' => 'pass' ] ] ]; 

 .... $url = 'https://__/_-_'; $page = $chrome->get($url); .... //   xPath-   $xpath = '/html[1]/body[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/div[1]/div[1]/strong[1]'; $element = page->findElement(WebDriverBy::xpath($xpath)); .... //   $text = $element->getText(); // HTML- $html = $element->>getAttribute('innerHTML'); .... 

// app / src / Process / worker / whoerChecker.php

WebRTC

 iptables -t raw -I PREROUTING -p udp -m multiport --dports 3478,19302 -j DROP 

بقية العمال

كيفية وضع كل شيء معا

• الأدوات المساعدة التي تكون قادرة على قبول "كمدخل" (كوسيطة سطر أوامر) esbTask في شكل سلسلة json وتنفيذ بعض المنطق ، وإرسال النتائج إلى beanstalkd ؛
• وضع الرسائل في قائمة انتظار ( MQ ) ، استنادًا إلى beanstalkd ؛
• آلة لينكس (آلة عملية) ؛

يرتبط تاريخ نشره باهتمامك ، عزيزي القارئ.

. , ,… . , , , , , .

habr , . , , .

. , " server ", README.md .

 // app/src/Process/noserver/singleProcess.php //   ,    //   include __DIR__ . '/../../../settings.php'; use App\ESB\pipeNcacheService; use App\arrayNstring\queueDSN; use App\arrayNstring\timeSpent; use App\arrayNstring\progressString; //    $path = __DIR__ . '/../worker'; //   $queues = array_keys(WORKERS); $queue = $argv[1] ?? end($queues); $queue = strtolower($queue); if (!in_array($queue, $queues)) die("php $argv[0] <queue_name>" . PHP_EOL); //  - $progress = new progressString("Listenning... Idle: ", 40, 20); // ,      $stopwatch = timeSpent::start(); //    beanstalkd- list($worker, $task) = WORKERS[$queue]; $procid = ['procid' => posix_getpid()]; //   beanstalkd  Memcached, //     ( ) $dsn = new queueDSN($task, $queue, ...QUEUE_SERVER); //     ESB- $pnc = new pipeNcacheService($dsn); $pipe = $pnc->getPipe(); echo "Start listener for queue: $queue." . PHP_EOL; echo "Press Ctrl-C to stop listener." . PHP_EOL; //      //       while (true) { try { $job = $pipe->watch($queue) ->reserve(1); $now = new DateTime(); $opts = json_encode($pipe->getPayload($job) + $procid); $pipe->delete($job); echo PHP_EOL . "Task recived at: " . $now->format('H:i:s') . " Starting worker: $worker. "; $stopwatch = timeSpent::start(); exec("php $path/$worker $opts", $out); echo "Finished. Time spent: $stopwatch" . PHP_EOL; $stopwatch = timeSpent::start(); } catch (Throwable $exception) { echo $progress($stopwatch('%I:%S', null, $now)); } } 

بضع كلمات عن التكوين والنشر

ثوابت التكوين

- يحتوي التطبيق / queues.php على أسماء قوائم الانتظار والوظائف
- يحتوي التطبيق / plugs.php على وصف لمكونات Chrome الإضافية
- يحتوي التطبيق / techs.php على ثوابت محسوبة

المرافق

 backup.php - يحفظ قوائم الانتظار إلى ملف
    clear.php - ينظف الطوابير
    export.php - يتم تصديره من ملف به قائمة انتظار محفوظة 
                     أزواج العنوان: ميناء
    Givethejob.php - وظائف المهام لهذه العملية 
                     (المصدر - العنوان: مربع التحرير والسرد المنفذ).
                     يمكن استبعاد بعض العناوين من القائمة
    restore.php - استعادة قائمة انتظار محفوظة 

صقل العمال

 // app/src/Process/worker/curlChecker.php .... $worker = new curlChecker( [ //    curlChecker::WORKER => 'curlchecker', //  beanstalkd curlChecker::PIPE_HOSTPORT => implode(':', QUEUE_SERVER), //  Memcached curlChecker::CACHE_HOSTPORT => implode(':', MEMCACHED), // ,    . //    -   curlChecker::DB_SCRIPT => __DIR__ . '/../../../confdb.php', // ,       // (        -) curlChecker::INFO_START => CURL_START, // ,        // (        -) curlChecker::INFO_END => CURL_END, //  ,     //    //        curlChecker::INFO_ADDS_END => ['host', 'port'] ], ['setupworker', 'config', 'logic'] ); .... 

النشر

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #   . sudo -s apt -y update apt -y install git snap snap install docker apt -y install docker-compose # C       # " root-"    cd ~ git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #   . sudo apt -y update sudo apt -y install git php-common php-cli php-curl php-zip php-memcached composer # C     process-   , #     -  php- cd /var/www git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

وفي الختام