ट्वीट्स से वीडियो हथियाने के लिए GO पर माइक्रोसॉर्स्ट

शुभ दोपहर, खाबरवचियन! शुरुआती लोगों के लिए अनुच्छेद, कुछ प्रकार के नए विचार जो आप यहां नहीं देखेंगे। और यह कार्यक्षमता, सबसे अधिक संभावना है, विभिन्न भाषाओं में दर्जनों बार लागू की गई थी। विचार यह है कि यदि आपको ट्विटर पर एक पोस्ट का लिंक मिलता है जिसमें एक वीडियो है, तो इस वीडियो को चुनें और इसे mkv में बदल दें।

व्यापार करने के लिए!

हमें क्या चाहिए:

• GO
• ffmpeg
• docker (हालाँकि यह इसके बिना संभव है। हालाँकि, इन दिनों इसके बिना कहाँ?;)

हमारे पास वीडियो के एक ट्वीट का लिंक है:

https://twitter.com/FunnyVines/status/1101196533830041600 

संपूर्ण लिंक में से, हम केवल संख्याओं से मिलकर आईडी में रुचि रखते हैं, इसलिए हम प्राथमिक नियमितता के साथ पूरे डिजिटल विकल्प को खींचते हैं:

 var reurl = regexp.MustCompile(`\/(\d*)$`) //   -  e.GET("/*video", func(c *fasthttp.RequestCtx) { //      url := reurl.FindSubmatch([]byte(c.UserValue("video").(string))) 

प्राप्त आईडी के साथ, पते पर जाएं:

 resp, err := client.Get("https://twitter.com/i/videos/tweet/" + id) 

हमें वीडियो प्लेयर के जेएस कोड का लिंक कहां मिलेगा:

src="https://abs.twimg.com/web-video-player/TwitterVideoPlayerIframe.f52b5b572446290e.js"
इस जेएस फ़ाइल से, हमें ट्विटर एप में प्राधिकरण के लिए एक बहुत ही महत्वपूर्ण चीज - वाहक की आवश्यकता है।

उसे Regex'pee!

 re, _ := regexp.Compile(`(?m)authorization:\"Bearer (.*)\",\"x-csrf`) 

यह एपीआई तक पहुंचने के लिए पर्याप्त नहीं है, फिर भी आपको guest_token की आवश्यकता है। यह पते पर एक POST अनुरोध लागू करके प्राप्त किया जा सकता है - " https://api.twitter.com/1.1/guest/activate.json ", वहां से गुजर रहा है: कुकी से वैयक्तिकरण_आईडी और guest_id (जो हमें पिछले एक का उपयोग करते समय सर्वर से प्रतिक्रिया में प्राप्त हुआ था) यूआरएल):

  var personalization_id, guest_id string cookies := resp.Cookies() for _, cookie := range cookies { if cookie.Name == "personalization_id" { personalization_id = cookie.Value } if cookie.Name == "guest_id" { guest_id = cookie.Value } } // // Get Activation url, _ := url.Parse("https://api.twitter.com/1.1/guest/activate.json") request := &http.Request{ Method: "POST", URL: url, Header: http.Header{ "user-agent": []string{"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}, "accept-encoding": []string{"gzip", "deflate", "br"}, "authorization": []string{"Bearer " + bearer}, "cookie": []string{"personalization_id=\"" + personalization_id + "\"; guest_id=" + guest_id} }, } resp, err = client.Do(request) 

जवाब गज़ब है, इसे गो में अनपैक किया जा सकता है, कुछ इस तरह:

 res, err := gzip.NewReader(resp.Body) if err != nil { return "", err } defer res.Close() r, err := ioutil.ReadAll(res) 

खैर, यह बात है! अब हमारे पास एपीआई को कॉल करने के लिए आवश्यक सब कुछ है:

  url, _ = url.Parse("https://api.twitter.com/1.1/videos/tweet/config/" + id + ".json") request = &http.Request{ Method: "GET", URL: url, Header: http.Header{ "user-agent": []string{"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36"}, "accept-encoding": []string{"gzip", "deflate", "br"}, "origin": []string{"https://twitter.com"}, "x-guest-token": []string{gt.GuestToken}, "referer": []string{"https://twitter.com/i/videos/tweet/" + id}, "authorization": []string{"Bearer " + bearer}}, } resp, err = client.Do(request) 

एपीआई से प्रतिक्रिया वीडियो के विवरण के साथ जसन होगी, और सबसे महत्वपूर्ण बात, इसे प्राप्त करने के लिए URL (प्लेबैक यूआरएल):

 {"contentType":"media_entity","publisherId":"4888096512","contentId":"1096941371649347584","durationMs":11201,"playbackUrl":"https:\/\/video.twimg.com\/ext_tw_video\/1096941371649347584\/pu\/pl\/xcBvPmwAmKckck-F.m3u8?tag=6","playbackType" 

और अंत में, हमारे पास वीडियो का पता है, हम इसे ffmpeg पर भेजते हैं, जिसमें वीडियो प्रारूप की जांच करते हुए मैंने 2 संभावित प्रारूप देखे, पहला है mp4:

 if strings.Contains(videoURL.Track.PlaybackURL, ".mp4") { convert := exec.Command("ffmpeg", "-i", videoURL.Track.PlaybackURL, "-c", "copy", "./videos/"+id+".mkv") convert.Stdout = os.Stdout convert.Stderr = os.Stderr if convert.Run() != nil { return "", err } return id, nil } 

और दूसरा एक m3u8 प्लेलिस्ट फ़ाइल है, इस विकल्प के लिए एक और कदम की आवश्यकता है - हमें GET मिलता है
उसे, और वांछित रिज़ॉल्यूशन में सामग्री का URL लें:

 #EXT-X-INDEPENDENT-SEGMENTS #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=256000,RESOLUTION=180x316,CODECS="mp4a.40.2,avc1.4d0015" /ext_tw_video/1039516210948333568/pu/pl/180x316/x0HWMgnbSJ9y6NFL.m3u8 #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=832000,RESOLUTION=464x816,CODECS="mp4a.40.2,avc1.4d001f" /ext_tw_video/1039516210948333568/pu/pl/464x816/Z58__ptq1xBk8CIV.m3u8 

और फिर भी - ffmpeg।

और अब, HTTP सर्वर के बारे में थोड़ा

मैंने इस्तेमाल किया:

• fasthttp
• fasthttprouter
• tcplisten

तर्क निम्नानुसार है, हम सर्वर शुरू करते हैं:

 cfg := tcplisten.Config{ ReusePort: true, FastOpen: true, DeferAccept: true, Backlog: 1024, } ln, err := cfg.NewListener("tcp4", ":8080") if err != nil { log.Fatalf("error in reuseport listener: %s\n", err) } serv := fasthttp.Server{Handler: e.Handler, ReduceMemoryUsage: false, Name: "highload", Concurrency: 2 * 1024, DisableHeaderNamesNormalizing: true} if err := serv.Serve(ln); err != nil { log.Fatalf("error in fasthttp Server: %s", err) } 

और हम केवल एक मार्ग / * वीडियो की प्रक्रिया करते हैं:

 //  : //  http://localhost:8080/https://twitter.com/FunnyVines/status/1101196533830041600 //   http://localhost:8080/1101196533830041600 e.GET("/*video", func(c *fasthttp.RequestCtx) { 

यह सब कैसे एकत्र किया जा सकता है?

उदाहरण के लिए, एक साधारण मेकफाइल (निर्माण करें, रन बनाएं ...):

 build: go build -o main docker build -t tvideo . run: go build -o main docker build -t tvideo . docker kill tvideo docker run -d --rm --name tvideo -v /etc/ssl:/etc/ssl:ro -v videos:/opt/videos -p 8080:8080 tvideo docker logs -f tvideo 

ध्वज पर ध्यान दें "-v / etc / ssl: / etc / ssl: ro", आधार छवि ubuntu में कोई मूल प्रमाण पत्र नहीं थे और http क्लाइंट ने ट्विटर https को नहीं पहचाना, इसे होस्ट मशीन से - रोल्यूम (अब, जैसे) के माध्यम से फेंक दिया कैसे, यह उपयोग करने के लिए अधिक सही है --mount )।

Dockerfile

 FROM ubuntu //     docker image COPY main /opt/app RUN apt-get update && \ //   apt-get install -y ffmpeg && \ chmod +x /opt/app EXPOSE 8080 WORKDIR /opt CMD ./app 

निस्संदेह, मैंने इस लेख में अमेरिका की खोज नहीं की थी, लेकिन अचानक यह किसी के काम आएगा।

यहां स्रोत उपलब्ध हैं ।