प्रसिद्धि पर क्लिक करें, या एक रोबोट और ... दूसरों को कैसे उत्तेजित करें

NB: -         ? 

GURU : - «» . . . , ...

 NB: -      ,     ? 

GURU : - google yandex , . . , .

 NB: -       ? 

GURU : - ?… ...

• उसकी सूची के सभी पते काम नहीं कर रहे हैं;
• सभी परदे के पीछे समान रूप से अच्छे नहीं हैं;
• "चिपके हुए" एक साइट मैन्युअल रूप से एक प्रॉक्सी के माध्यम से एक कार्य है जिसमें काफी इच्छाशक्ति की आवश्यकता होती है;
• एक "गलत" प्रॉक्सी स्थिति को नुकसान पहुंचाएगा, क्योंकि साइट को लपेट में दिग्गजों की लिपियों से संदेह हो सकता है।

• "क्लिक करें -ट (यात्रा) लक्ष्य साइट पूरी तरह से स्वचालित रूप से, बिना किसी डर के;
• पूरी तरह से उपयोगकर्ता के व्यवहार का अनुकरण;
• एक कार्यक्रम (परिदृश्य) के अनुसार सभी यात्राओं को व्यवस्थित करें;
• अग्रिम करने के लिए आवश्यक समय की संख्या में उपरोक्त सभी करते हैं।

"तुरंत उपयोग करें" के लिए, विचारपूर्वक यह सब पढ़ना इसके लायक नहीं है। कोड सुनिश्चित करने के लिए है।

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #        # " root-"    git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #      process-   , #     -  php- git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

कुचलना और योजना बनाना

बहाने और असफलता

सभी पैकेज कोड में तीन भाग होते हैं।
उनमें से एक मेरा नहीं है (मैं ध्यान देता हूं कि यह एक साफ और सुंदर कोड है)। इस कोड का स्रोत packagist.org है ।

मैंने खुद एक और लिखा है, मैंने इसे समझने की कोशिश की और कोड के इस हिस्से में लगभग एक सप्ताह समर्पित किया।

बाकी एक "मुश्किल ऐतिहासिक विरासत" है। कोड का यह हिस्सा काफी लंबे समय से बनाया गया था। उस समय भी शामिल है जब मेरे पास प्रोग्रामिंग में बहुत कौशल नहीं था।

यह ठीक मेरे GitLab पर रिपॉजिटरी के स्थान और मेरे Satis पर संकुल का कारण है। GitHub.com और packagist.org पर प्रकाशित करने के लिए , इस कोड को प्रसंस्करण और अधिक गहन प्रलेखन की आवश्यकता होगी।

असीमित उपयोग के लिए कोड के सभी भाग खुले हैं। भंडार और पैकेज हमेशा के लिए उपलब्ध होंगे।

हालाँकि, कोड को पुन: प्रकाशित करते समय, मुझे या इस लेख का लिंक पोस्ट करने के लिए मैं आपका आभारी रहूंगा।

वास्तुकला के बारे में थोड़ा

• उपयोगिता को कमांड लाइन से दूसरों के स्वतंत्र रूप से लॉन्च किया जा सकता है जिसमें कार्य शामिल हैं;
• उपयोगिता निष्पादन के परिणाम को स्टडआउट (एक निश्चित तरीके से कॉन्फ़िगर किए जाने के बाद) में वापस कर सकती है।

मैसेजिंग कतार। एमक्यू और ईएसबी

 class esbTask //   ,     { // immutable-; // "" (   ESB-),  payload //    //     "" .... } 

• प्रक्रिया के पथ (चरणों का क्रम) के बारे में, प्रक्रिया के प्रत्येक समय बिंदु पर,
  लिफाफे को प्रेषित करने के अलावा कोई नहीं जानता;
  
• प्रत्येक लिफाफे में तीन संभावित परिणाम दिशाएँ होती हैं:
  
  • प्रक्रिया का अगला चरण (सामान्य निरंतरता);
  • स्टॉप स्टेप (स्टॉप टारगेट - अगले चरण के द्वारा चुना जाता है, यदि प्रक्रिया / स्टॉप स्थिति को जारी रखने का कोई मतलब नहीं है);
    
  • त्रुटि चरण (आपातकालीन समाप्ति लक्ष्य - कार्यकर्ता त्रुटि के मामले में, अगले चरण द्वारा चुना जाता है)।
    
  
  

 // json- esbTask { //    (   esbTask) "_type":"App\\\\rebean\\\\payloads\\\\ESBtaskQueue", //  "task":"task:queue@XXX.XXX.XXX.XXX:11300", //    () "replyto":[ "othertask1:nextqueue1@yyy.XXX.XXX.XXX:11300", "othertask2:nextqueue2", "othertask3:nextqueue3", ], //    () "onerror":[ "error:errorsstep@zzz.XXX.XXX.XXX:11300", "error:errorsstep1", "error:errorsstep2", "error:errorsstep3" ], //     () "onstop":[ "stop:stopstep@kkk.XXX.XXX.XXX:11300", "stop:stopstep1", "stop:stopstep2", "stop:stopstep3" ], //   "payload":{ .... }, //   ... () "till":[ .... ], //     ... () //        // -  (LINUX-TimeStamp) "since":[ 1540073089.8833, ], // -     "points":1, //  .     "groupid":"" } 

 class nextStepWorker extends workerConstructor { //       //     esbTask //    () //    MQ- (beanstalkd) //     (Memcached) //     (MySQL) // : -  (  - ); -    stop-; -      (log, event, mq) .... } 

1. एस्कटस्क प्राप्त करें और कार्यकर्ता को चलाएं;
2. पेलोड में परिणामों को संग्रहीत करके तर्क को लागू करें;
3. कार्यकर्ता के निष्पादन को पूरा करें (आपातकालीन या सामान्य - इससे कोई फर्क नहीं पड़ता)।

एक बार करो। उपलब्धता की जाँच करें

 // app/src/Process/worker/curlChecker.php .... class curlChecker extends nextStepWorker { const PROXY_INFO = 'https://api.ipfy.me?format=json&geo=true'; const PROXY_TIMEOUT = '40'; const COMMAND = "curl -m %s -Lx http://%s:%s '%s'"; public function logic() { //    .  ..   payload extract($this->context()); //  defaults    payload  $curltimeout = $curltimeout ?? self::PROXY_TIMEOUT; $curlchecker = $curlchecker ?? self::PROXY_INFO; //     $line = sprintf( static::COMMAND, $curltimeout, $host, $port, $curlchecker ); exec($line, $info); //      // ( ,  stop-) $info = arrays::valid_json(implode('', info)); if (empty($info)) throw new \Exception("Bad proxy: $host:$port!", static::STATUS_STOP); //    payload $this->enrich(['info']) ->sets(compact('info')); } } 

टाइमजोन को परिभाषित करें। TimeZoneDB और इसके लिए क्या है ...

// ऐप / src / प्रक्रिया / कार्यकर्ता / timeZone.php

थोड़ी अवसंरचना के बारे में

• मेमकाटेड - कैशिंग कार्यों के लिए;
• सेलेनियम सर्वर - एक अलग कंटेनर में सेलेनियम वेब चालक को चलाना सुविधाजनक है और आप वीएनसी के माध्यम से प्रक्रिया की निगरानी कर सकते हैं;
• बीनस्टाल , मेमकेड और वीएनसी की निगरानी के लिए डैशबोर्ड।

 sudo apt-get -y update sudo apt-get -y install docker-compose 

 #   ,    docker- #     (   ) #    sudo -s git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git \ panels cd panels docker-compose up --build -d #   . 

- XXX.XXX.XXX.XXX:11300 - beanstalkd
- XXX.XXX.XXX.XXX:11211 - Memcached
- XXX.XXX.XXX.XXX-00-00444 - सेलेनियम सर्वर
- XXX.XXX.XXX.XXX:5930 - क्रोम में क्या होता है इसे नियंत्रित करने के लिए VNC सर्वर
- XXX.XXX.XXX.XXX:8081 - मेम्केड के साथ संचार के लिए वेब पैनल (व्यवस्थापक: पास)
- XXX.XXX.XXX.XXX:8082 - बीनस्टॉक के साथ संवाद करने के लिए वेब पैनल
- XXX.XXX.XXX.XXX:8083 - वीएनसी के साथ संचार के लिए वेब पैनल (पासवर्ड: रहस्य)
- XXX.XXX.XXX.XXX:8080 - सामान्य वेब पैनल

 #   ,    docker-, #    ..../panels/ #    docker-compose ps # Name Command State Ports # ------------------------------------------------------------------------------------------------------------------------ # beanstalkd /usr/bin/beanstalkd Up 0.0.0.0:11300->11300/tcp # chrome start-cron Up 0.0.0.0:4444->4444/tcp, 0.0.0.0:5930->5900/tcp # memcached docker-entrypoint.sh memcached Up 0.0.0.0:11211->11211/tcp # nginx docker-php-entrypoint /sta ... Up 0.0.0.0:8443->443/tcp, 0.0.0.0:8080->80/tcp, # 0.0.0.0:8082->8082/tcp, 0.0.0.0:8083->8083/tcp, 9000/tcp # vnc /usr/bin/supervisord -c /e ... Up 0.0.0.0:8081->8081/tcp #       chrome docker exec -ti chrome /bin/bash #       docker-compose stop && docker rm $(docker ps -a -q) 

कार्य 4,5,6 - एक उपयोगिता में संयोजित करें

// ऐप / src / प्रक्रिया / कार्यकर्ता / whoerChecker.php

क्रोम के लिए सेटिंग करें। प्लग-इन

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker{ .... // $name -  - // $files - [ ... '   -' => '', ...] protected function buildPlugin(string $name, array $files) { $this->last = "$this->cache/$name"; if (!file_exists("$this->last")) { $zip = new \ZipArchive(); $zip->open("$this->last", \ZipArchive::CREATE | \ZipArchive::OVERWRITE); foreach ($files as $n => $data) { $zip->addFromString(basename($n), $data); } $zip->close(); } $this->all[] = $this->last; $this->all = array_unique($this->all); return $this; } .... } 

विंडो समय परिवर्तन

 // app/chromePlugins/timeShift/content.js //     var s = document.createElement('script'); //        s.src = chrome.extension.getURL('timeshift.js'); //      (document.head || document.documentElement).appendChild(s); 

प्रॉक्सी सेटिंग्स

 // app/chromePlugins/proxy/background.js var config = { mode: "fixed_servers", rules: { singleProxy: { scheme: "%scheme", host: "%proxy_host", port: parseInt(%proxy_port) }, bypassList: ["foobar.com"] } }; chrome.proxy.settings.set({value: config, scope: "regular"}, function () { }); function callbackFn(details) { return { authCredentials: { username: "%username", password: "%password" } }; } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: ["&gtall_urls&lt"]}, ['blocking'] ); 

क्रोम प्लगइन्स पथ

 // app/src/Chrome/sshDocker.php //    (DOCKER_HOST, DOCKER_USER, DOCKER_PASS) //   : app/settings.php //      .... class sshDocker { .... //  .     docker //    .         // : app/techs.php const EXEC_DOCKER = DOCKER_BIN_PATH . "/docker exec -i %s %s"; .... //     sudo    (  ),  DOCKER_USER -  protected function sudo(string $command, string $expect = '.*'){...} //     Docker-,      //       -    self::EXEC_DOCKER protected function execDocker(string $command, string $expect){...} .... } 

 // app/src/Chrome/proxyHelper.php .... class proxyHelper extends sshDocker { .... public static function new(string $docker, $plugins) { return (new self($docker, $plugins)) ->setupPlugins(); } .... } 

सेटिंग्स के साथ चोम लॉन्च करें

 composer require facebook/webdriver 

 // URL- $url = "https://example.com/books/196/empire-v-povest-o-nastoyashem-sverhcheloveke"; // URL,     (Selenium Server) $server = 'http://' . DOCKER_HOST . '/wd/hub'; //   ,      $options = new ChromeOptions(); $options->addArguments(array( '--disable-notifications' )); //    - $capabilities = DesiredCapabilities::chrome(); $capabilities->setCapability(ChromeOptions::CAPABILITY, $options); //        5000     URL $driver = RemoteWebDriver::create($server, $capabilities, 5000); $page = $driver->get($url); 

 // app/src/Process/worker/whoerChecker.php .... class whoerChecker extends nextStepWorker { //    : app/settings.php // URL Selenium Server const SELENIUM_SERVER = CHVM; //  - const DOCKER_NAME = DOCKER_NAME; .... public function config() .... //        : // $driver = RemoteWebDriver::create($server, $capabilities, 5000); $chrome = Chrome::driver( static::SELENIUM_SERVER, Chrome::capabilities(static::DOCKER_NAME, $plugins), 5000 ); .... } .... 

 // app/plugs.php const PLUGS = [ 'timeshift' => [ 'path' => PROJECTPATH . '/app/chromePlugins/timeShift', 'files' => ['manifest.json', 'timeshift.js', 'content.js'], 'fields' => ['%addsminutes' => 'timeshift'] ], 'proxy' => [ 'path' => PROJECTPATH . '/app/chromePlugins/proxy', 'files' => ['manifest.json', 'background.js'], 'fields' => [ '%proxy_host' => 'host', '%proxy_port' => 'port', '%scheme' => 'scheme', '%username' => 'user', '%password' => 'pass' ] ] ]; 

 .... $url = 'https://__/_-_'; $page = $chrome->get($url); .... //   xPath-   $xpath = '/html[1]/body[1]/div[1]/div[1]/div[1]/div[2]/div[1]/div[1]/div[1]/div[1]/strong[1]'; $element = page->findElement(WebDriverBy::xpath($xpath)); .... //   $text = $element->getText(); // HTML- $html = $element->>getAttribute('innerHTML'); .... 

// ऐप / src / प्रक्रिया / कार्यकर्ता / whoerChecker.php

WebRTC

 iptables -t raw -I PREROUTING -p udp -m multiport --dports 3478,19302 -j DROP 

बाकी कार्यकर्ता

कैसे सब कुछ एक साथ रखा जाए

• उपयोगिताओं जो "इनपुट के रूप में" (कमांड लाइन तर्क के रूप में) को स्वीकार करने में सक्षम हैं, जोसन -स्ट्रिंग रूप में एस्कटस्क और कुछ तर्क निष्पादित करते हैं, और परिणाम को बीनस्टॉक में भेजते हैं ;
• बीनस्टॉक पर आधारित संदेश कतारबद्ध ( MQ ) ;
• लिनक्स मशीन (प्रोसेस मशीन);

इसके प्रकाशन की तारीख आपकी रुचि से संबंधित है, प्रिय पाठक।

. , ,… . , , , , , .

habr , . , , .

. , " server ", README.md .

 // app/src/Process/noserver/singleProcess.php //   ,    //   include __DIR__ . '/../../../settings.php'; use App\ESB\pipeNcacheService; use App\arrayNstring\queueDSN; use App\arrayNstring\timeSpent; use App\arrayNstring\progressString; //    $path = __DIR__ . '/../worker'; //   $queues = array_keys(WORKERS); $queue = $argv[1] ?? end($queues); $queue = strtolower($queue); if (!in_array($queue, $queues)) die("php $argv[0] <queue_name>" . PHP_EOL); //  - $progress = new progressString("Listenning... Idle: ", 40, 20); // ,      $stopwatch = timeSpent::start(); //    beanstalkd- list($worker, $task) = WORKERS[$queue]; $procid = ['procid' => posix_getpid()]; //   beanstalkd  Memcached, //     ( ) $dsn = new queueDSN($task, $queue, ...QUEUE_SERVER); //     ESB- $pnc = new pipeNcacheService($dsn); $pipe = $pnc->getPipe(); echo "Start listener for queue: $queue." . PHP_EOL; echo "Press Ctrl-C to stop listener." . PHP_EOL; //      //       while (true) { try { $job = $pipe->watch($queue) ->reserve(1); $now = new DateTime(); $opts = json_encode($pipe->getPayload($job) + $procid); $pipe->delete($job); echo PHP_EOL . "Task recived at: " . $now->format('H:i:s') . " Starting worker: $worker. "; $stopwatch = timeSpent::start(); exec("php $path/$worker $opts", $out); echo "Finished. Time spent: $stopwatch" . PHP_EOL; $stopwatch = timeSpent::start(); } catch (Throwable $exception) { echo $progress($stopwatch('%I:%S', null, $now)); } } 

कॉन्फ़िगरेशन और परिनियोजन के बारे में कुछ शब्द

विन्यास स्थिरांक

- app / queues.php में कतारों और नौकरियों के नाम शामिल हैं
- ऐप / प्लगइन्स में क्रोम प्लगइन्स का विवरण है
- ऐप / Techs.php में परिकलित स्थिरांक शामिल हैं

उपयोगिताएँ

 backup.php - एक फ़ाइल के लिए कतार बचाता है
    clear.php - कतारों को साफ करता है
    Export.php - एक सहेजी गई कतार वाली फ़ाइल से निर्यात 
                     जोड़े का पता: बंदरगाह
    givethejob.php - प्रक्रिया को कार्य पोस्ट करता है 
                     (स्रोत - पता: पोर्ट कॉम्बो बॉक्स)।
                     कुछ पतों को सूची से बाहर कर सकते हैं
    rest.php - एक सहेजी गई कतार को पुनर्स्थापित करता है 

कार्यकर्ताओं को फाइन ट्यूनिंग

 // app/src/Process/worker/curlChecker.php .... $worker = new curlChecker( [ //    curlChecker::WORKER => 'curlchecker', //  beanstalkd curlChecker::PIPE_HOSTPORT => implode(':', QUEUE_SERVER), //  Memcached curlChecker::CACHE_HOSTPORT => implode(':', MEMCACHED), // ,    . //    -   curlChecker::DB_SCRIPT => __DIR__ . '/../../../confdb.php', // ,       // (        -) curlChecker::INFO_START => CURL_START, // ,        // (        -) curlChecker::INFO_END => CURL_END, //  ,     //    //        curlChecker::INFO_ADDS_END => ['host', 'port'] ], ['setupworker', 'config', 'logic'] ); .... 

तैनाती

 #    root-. # ,     TCP-: # 11300, 11211, 4444, 5930, 8080, 8081, 8082, 8083 #   . sudo -s apt -y update apt -y install git snap snap install docker apt -y install docker-compose # C       # " root-"    cd ~ git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/esb-infrastructure.git cd esb-infrastructure docker-compose up --build -d #      3     #   . #       web-. 

 #      . #   . sudo apt -y update sudo apt -y install git php-common php-cli php-curl php-zip php-memcached composer # C     process-   , #     -  php- cd /var/www git clone \ https://oauth2:YRGzV8Ktx2ztoZg_oZZL@git.ituse.ru/deploy/clicker-noserver.git cd clicker-noserver composer update #  .       "XXXXXXXX" mv app/settings.php.dist app/settings.php #   . gnome-terminal \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php curl"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php timezone"' \ --tab -e 'bash -c "php app/src/Process/noserver/singleProcess.php whoer"' #  . ,     , #  : - log/list.proxy php app/src/Utils/givethejob.php ./log/list.proxy 

और निष्कर्ष में