🚧 💃🏾 😬 DIY DeepFake [भाग 1] 🎟️ 🆘 🧡

इंटरनेट के सभी विलंब के बावजूद, इसके कई नुकसान हैं, और सबसे भयानक लोगों में से एक भ्रामक है। Clickbait, फोटो एडिटिंग, झूठी खबर - ये सभी उपकरण वैश्विक नेटवर्क पर आम उपयोगकर्ताओं को धोखा देने के लिए सक्रिय रूप से उपयोग किए जाते हैं, लेकिन हाल के वर्षों में एक नया संभावित खतरनाक उपकरण जिसे डीपफेक के रूप में जाना जाता है, गति पकड़ रहा है।

मुझे हाल ही में इस तकनीक में दिलचस्पी थी। पहली बार, मैंने "एआई सम्मेलन 2018" में वक्ताओं में से एक की रिपोर्ट के बारे में सीखा। एक वीडियो वहाँ दिखाया गया था, जिसमें ऑडियो रिकॉर्डिंग द्वारा, एल्गोरिथ्म ने बराक ओबामा की अपील के साथ एक वीडियो तैयार किया। इस तकनीक का उपयोग करके बनाए गए वीडियो के चयन से लिंक करें । परिणामों ने मुझे बहुत प्रेरित किया, और मैंने भविष्य में इसका विरोध करने के लिए इस तकनीक को बेहतर ढंग से समझने का फैसला किया। इसके लिए, मैंने C # में डीपफेक लिखने का फैसला किया। नतीजतन, मुझे ऐसा परिणाम मिला।

अच्छा पढ़ लो!

सामान्य सिद्धांत

शुरुआती बिंदु यह परियोजना थी। इससे, मुझे पता चला कि वीडियो के काम में चेहरा बदलने का तरीका कैसा है।

एक तस्वीर लोड हो रही है जिसके साथ हम एक चेहरा लेंगे
चेहरे का अर्क
3 डी मुखौटा निर्माण
वीडियो फ्रेम में विभाजित है
फ्रेम में चेहरे के स्थानीयकरण के क्षेत्र की गणना की जाती है
कोण और चेहरे की अभिव्यक्ति की गणना की जाती है
स्थानांतरण और चेहरे के भावों को एक 3D मॉडल में स्थानांतरित करें
प्रतिपादन
रेंडरिंग के परिणाम के साथ एक वास्तविक व्यक्ति को फ्रेम पर बदलना

FaceSwap परियोजना के काम का प्रदर्शन करने वाला वीडियो:

मैंने काम को 3 भागों में तोड़ने का फैसला किया:

1) 3 डी मास्क का उपयोग किए बिना, एक फोटो में एक चेहरे को दूसरे से चेहरे के साथ बदलना
2) 3 डी मास्क का उपयोग करके प्रतिस्थापन को अंतिम रूप देना
3) वीडियो प्रसंस्करण

फोटो में चेहरा बदलने को निम्न बिंदुओं में विघटित किया जा सकता है:

एक तस्वीर लोड हो रही है जिसके साथ हम एक चेहरा लेंगे
उस छवि को लोड कर रहा है जिस पर हम चेहरा प्रोजेक्ट करेंगे
चेहरे का अर्क
छवि 2 से लिया गया चेहरा स्केलिंग छवि 1 में पहलू अनुपात के लिए
तस्वीर 2 में चेहरे के साथ तस्वीर 1 में चेहरे की जगह

एक छवि को दूसरे में एम्बेड करें

पहली चीज़ जो मैंने शुरू की थी वह एक छवि को दूसरे में एम्बेड कर रही थी। मूल परियोजना में एम्बेडिंग प्रदर्शित करने के लिए zad1.py स्क्रिप्ट का उपयोग किया जाता है।
नतीजतन, फ़ाइल "eyeHandBlend.jpg" बनाई गई है, जहां आंख हाथ में एम्बेडेड है।

इस एल्गोरिथ्म में 2 भाग शामिल हैं, पहले मूल तस्वीर में चेहरे के साथ क्षेत्र से चेहरे पर रंग स्थानांतरित करता है जिसे सम्मिलित करने की आवश्यकता होती है। दूसरा वांछित चेहरे के साथ छवि के किनारों को पारदर्शी बनाता है, पारदर्शिता को कम करता है क्योंकि यह छवि के केंद्र तक पहुंचता है।

मैंने मूल परियोजना से पहले भाग को पूरी तरह से स्थानांतरित कर दिया।

पायथन कोड

def colorTransfer(src, dst, mask): transferredDst = np.copy(dst) #indeksy nie czarnych pikseli maski maskIndices = np.where(mask != 0) #src[maskIndices[0], maskIndices[1]] zwraca piksele w nie czarnym obszarze maski maskedSrc = src[maskIndices[0], maskIndices[1]].astype(np.int32) maskedDst = dst[maskIndices[0], maskIndices[1]].astype(np.int32) meanSrc = np.mean(maskedSrc, axis=0) meanDst = np.mean(maskedDst, axis=0) maskedDst = maskedDst - meanDst maskedDst = maskedDst + meanSrc maskedDst = np.clip(maskedDst, 0, 255) transferredDst[maskIndices[0], maskIndices[1]] = maskedDst return transferredDst

कोड # C पर पोर्ट किया गया

  static public Bitmap NewColor(Bitmap src, Bitmap ins, Rectangle r) { List<Vector> srV = new List<Vector>(); List<Vector> inV = new List<Vector>(); ; for (int i = rX; i < rX + r.Width-2; i+=3) { for (int j = rY; j < rY + r.Height-3; j+=4) { Color color = src.GetPixel(i, j); Color color2 = ins.GetPixel(i, j); srV.Add(new double[] { color.R, color.G, color.B }.ToVector()); inV.Add(new double[] { color2.R, color2.G, color2.B }.ToVector()); } } Vector meanSrc = Vector.Mean(srV.ToArray()) / 255; Vector meanInk = Vector.Mean(inV.ToArray()) / 255; Tensor tensor = ImgConverter.BmpToTensor (ins.Clone(r, PixelFormat.Format32bppArgb)); tensor = tensor.DivD(meanInk); tensor = tensor.PlusD(meanSrc); tensor = tensor.TransformTensor(x => { if (x < 0) x = 0; if (x > 1) x = 1; return x; }); return ImgConverter.TensorToBitmap(tensor); }

अल्फ़ा चैनल की गणना के लिए किनारों को छवि के मध्य भाग से अधिक पारदर्शी बनाने के लिए, निम्न फ़ॉर्म का एक रेडियल आधार फ़ंक्शन पेश किया गया था:

k = 190 n = 3 r = (f r a c i - C_{w} 1.2 c d o t W)^{2} + (f r a c j - C_{h} H) 2_{अ} ल ् फ ा = 255 c d o t ऍ क ् स ् प ({- k c d o t r}^{n})

$\\ k = 190 \\ n = 3 \\ r = (\ frac {i-C_w} {1.2 \ cdot W}) ^ 2 + (\ frac {j-C_h} {H}) 2 \\ \ _ अल्फा = 255 \ cdot ऍक्स्प ({- k \ cdot r} ^ n)$

k और n को आनुभविक रूप से चुना गया था।
i - OX अक्ष के साथ पिक्सेल इंडेक्स
j - ओए अक्ष के साथ पिक्सेल इंडेक्स

C_{w}

$C_w$ - छवि के केंद्र का घटक x

C_{h}

$C_h$ - छवि के केंद्र का घटक y

परिणामस्वरूप, मुझे निम्नलिखित परिणाम मिला:

चेहरे की खोज

फोटो में चेहरे खोजने के लिए, कई एल्गोरिदम हैं:

वायोला-जोन्स एलगोरिदम (Haar Cascades)
हॉग + स्वम
आर-सीएनएन
फास्ट आर-सीएनएन
तेजी से आर-एनएन
Yolo

प्रारंभ में, वायोला-जोन्स एल्गोरिथ्म का उपयोग किया गया था, लेकिन यह काफी सटीक नहीं था, क्योंकि उजागर चेहरे बिल्कुल नहीं। एक व्यक्ति का चयन क्षेत्र दूसरे के चयन क्षेत्र के साथ मेल नहीं खाता था, जिसके कारण प्रतिस्थापन दोषों के साथ हुआ, इस एल्गोरिदम का उपयोग करके चेहरे के चयन का एक उदाहरण नीचे दिखाया गया है। चेहरे विस्थापित हो सकते हैं, अर्थात्। एक छवि में यह दोनों कानों को पकड़ता है, दूसरे पर केवल एक। इस तरह के दोष अंतिम परिणाम को बुरी तरह से प्रभावित करते हैं (फोटो में, डीएलआईबी के साथ काम करते हुए, पिछली लाइब्रेरी को हमेशा चेहरा नहीं मिला, लेकिन दुर्भाग्य से स्क्रीनशॉट को बचाया नहीं गया)।

इसके बाद, मैंने Dlib लाइब्रेरी से लैंडमार्क का उपयोग करने का निर्णय लिया। DlibDotNet मिला, जिस पर .Net कोर लिखा है। .Net फ्रेमवर्क में उपयोग के लिए, .Net मानक 2.0 पर एक मध्यवर्ती परियोजना मुख्य कार्यों, चेहरे की खोज और लैंडमार्क हाइलाइटिंग के साथ बनाई गई थी।

C # कोड

 public int[] Face(byte[] bts, int row, int col, int st) { var img = Dlib.LoadImageData<RgbPixel> (ImagePixelFormat.Bgr, bts, (uint)row, (uint)col, (uint)st ); var face = faceDetector.Operator(img)[0]; int[] rect = { face.Left, face.Top, (int)face.Width, (int)face.Height}; return rect; } public List<int[]> FacePoints(byte[] bts, int row, int col, int st) { List<int[]> points = new List<int[]>(); var img = Dlib.LoadImageData<RgbPixel> (ImagePixelFormat.Bgr, bts, (uint)row, (uint)col, (uint)st); var face = faceDetector.Operator(img)[0]; var shape = shapePredictor.Detect(img, face); for (var i = 0; i < shape.Parts; i++) { var point = shape.GetPart((uint)i); points.Add(new int[] { point.X, point.Y }); } return points; }

फिर उन्होंने .Net फ्रेमवर्क 4.6.1 पर एक पुस्तकालय लिखा, जिसमें उन्होंने सभी तर्क लागू किए।

लैंगमार्क प्राप्त करने का एक उदाहरण:

किसी व्यक्ति को बाएं, दाएं, ऊपरी और निचले बिंदुओं को खोजने और उन पर फ्रेम बनाने से अधिक सटीक रूप से प्रतिष्ठित किया जा सकता है।

फिर चेहरे को निचले दाएं कोने में तस्वीर से काट दिया गया था और डाला गया था, ऊपर वर्णित एल्गोरिदम का उपयोग करते हुए, चित्र में: "कैबलेरो डे ला मनो एन एल पिको"।

निम्नलिखित परिणाम प्राप्त किया गया था।

एल्गोरिदम को प्रदर्शित करने के लिए उपयोग किए जाने वाले व्यक्तियों को इस परियोजना से लिया जाता है।
पुस्तकालयों का इस्तेमाल किया ।
आकृति भविष्यवक्ता (68 अंक) ।
प्रोजेक्ट का लिंक ।

अगले लेख में, मैंने एक तस्वीर से 3 डी मास्क बनाने पर विचार करने की योजना बनाई है।

DIY DeepFake [भाग 1]

More articles: