विभिन्न श्रेणियों, जैसे नग्नता, अश्लील साहित्य और विच्छेदन की छवियों को फ़िल्टर करने के लिए कई एपीआई का पूर्ण परीक्षण।



एक व्यक्ति तुरंत समझता है कि एक निश्चित छवि अनुचित है, अर्थात, NSFW (काम के लिए सुरक्षित नहीं)। लेकिन कृत्रिम बुद्धि के लिए, सब कुछ इतना स्पष्ट नहीं है। कई कंपनियां अब ऐसी सामग्री को स्वचालित रूप से फ़िल्टर करने के लिए प्रभावी उपकरण विकसित करने की कोशिश कर रही हैं।

मैं यह समझना चाहता था कि बाजार की वर्तमान स्थिति क्या है। निम्न श्रेणियों में मौजूदा छवि फ़िल्टरिंग एपीआई की प्रभावशीलता की तुलना करें:

• एकदम नग्नता
• सुझाव देने वाली नग्नता (यानी, एकमुश्त नग्नता का सुझाव - लगभग।)
• पोर्नोग्राफी / संभोग
• नकली / एनिमेटेड पोर्न
• अस्मिता (गोर) / हिंसा

टीएल; डीआर: यदि आप सबसे अच्छे एपीआई का पता लगाना चाहते हैं, तो आप तुरंत लेख के अंत में तुलना पर जा सकते हैं।

प्रयोग की स्थिति

डेटासैट । मूल्यांकन के लिए, मैंने अपने NSFW डेटासेट को प्रत्येक NSFW उपश्रेणी में समान चित्रों के साथ एकत्र किया। डेटा सेट में वर्णित पांच श्रेणियों में से प्रत्येक के लिए 20 सकारात्मक NSFW छवियों और 120 SFW छवियों के साथ 120 चित्र शामिल हैं। मैंने सार्वजनिक रूप से उपलब्ध YACVID 180 का उपयोग नहीं करने का फैसला किया, क्योंकि यह मुख्य रूप से NSFW सामग्री के माप के रूप में नग्नता के उपयोग पर आधारित है।

NSFW चित्रों को एकत्रित करना थकाऊ है, यह एक बहुत लंबा और पूरी तरह से दर्दनाक कार्य है, जो छवियों की छोटी संख्या की व्याख्या करता है।

डेटासेट यहां डाउनलोड के लिए उपलब्ध है । [चेतावनी: इसमें स्पष्ट सामग्री है]

यहां प्रत्येक एपीआई के लिए कच्चे परिणाम और डेटासेट में प्रत्येक छवि के साथ एक तालिका है।

मैट्रिक्स

आमतौर पर स्वीकृत मीट्रिक के अनुसार प्रत्येक क्लासिफायरियर का मूल्यांकन किया जाता है:

सचमुच सकारात्मक: टीपी

यदि क्लासिफायरियर NSFW को कुछ कहता है और यह वास्तव में NSFW है।

सच्चा नकारात्मक: TN

यदि क्लासिफायर ने कुछ SFW को कॉल किया है, और यह वास्तव में SFW है।

मिथ्या सकारात्मक: FP

यदि वर्गीकरणकर्ता को NSFW कुछ कहा जाता है, और यह वास्तव में SFW है।

मिथ्या नकारात्मक: FN

यदि क्लासिफायर ने एसएफडब्ल्यू को कुछ कहा है, लेकिन यह वास्तव में एनएसएफडब्ल्यू था।

एसीसी (सटीकता)

यदि मॉडल पूर्वानुमान लगाता है, तो क्या इस पर भरोसा किया जा सकता है?

अचूकता (सटीक)

यदि मॉडल कहता है कि छवि NSFW है, तो कितनी बार सही पूर्वानुमान लगाया जाता है?

समीक्षा (याद)

यदि सभी नमूने NSFW हैं, तो यह कितना पहचान करता है?

एफ 1 का स्कोर

यह त्रुटि और रिकॉल का मिश्रण है, अक्सर सटीकता के समान है।



सामग्री मॉडरेशन के लिए निम्न APIs का मूल्यांकन किया गया था:

• अमेज़न की मान्यता
• गूगल
• माइक्रोसॉफ्ट
• याहू
• Algorithmia
• Clarifai
• DeepAI
• Imagga
• Nanonets
• Sightengine
• एक्स-संचालक

श्रेणी के द्वारा प्रदर्शन

सबसे पहले, मैंने सभी NSFW श्रेणियों में प्रत्येक API का मूल्यांकन किया।

पोर्नोग्राफी / सेक्स

Google और Sightengine API वास्तव में यहाँ अच्छे हैं। वे अकेले थे जिन्होंने सभी अश्लील चित्रों को सही ढंग से पहचाना। नैनोनेट्स और अल्गोरिथमिया 90% के स्कोर के साथ थोड़ा पीछे हैं। Microsoft और इमेजिगा ने इस श्रेणी में सबसे खराब प्रदर्शन दिखाया है।





जिन छवियों को पहचानना आसान है वे स्पष्ट रूप से अश्लील हैं। सभी एपीआई ने उपरोक्त चित्रों को सही ढंग से पहचाना। उनमें से अधिकांश ने बहुत ही आत्मविश्वास के साथ NSFW की भविष्यवाणी की।



छवियों को पहचानने में कठिनाई आंशिक रूप से बंद या धुंधली वस्तुओं में होती है, जिससे काम करना मुश्किल हो जाता है। सबसे खराब स्थिति में, 12 में से 11 प्रणालियों ने छवि के साथ गलती की। पोर्नोग्राफी को पहचानने में प्रभावशीलता पोर्न की तीव्रता और सामग्री कितनी अच्छी दिखती है, इसके आधार पर बहुत अलग है।

एकदम नग्नता

अधिकांश एपीआई ने इस श्रेणी की कई छवियों के साथ आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, जिसमें 100% का पता लगाया गया। यहां तक ​​कि सबसे कम प्रदर्शन करने वाले एपीआई (क्लेरिफाई और अल्गोरिदमिया) ने 90% दिखाया। नग्नता की परिभाषा हमेशा बहस का विषय रही है। जैसा कि परिणामों से देखा जा सकता है, सिस्टम आमतौर पर संदिग्ध मामलों में विफल हो जाते हैं जब यह संभावना है कि छवि अभी भी एसएफडब्ल्यू है।





सरल छवियों में, स्पष्ट नग्नता स्पष्ट रूप से दिखाई देती है। कोई भी उन्हें बिना किसी सवाल के NSFW कहेगा। एक भी एपीआई ने गलती नहीं की, और औसत स्कोर 0.99 था।



विवादास्पद छवियों पर, एपीआई गलत थे। शायद कारण यह है कि उनमें से प्रत्येक में संवेदनशीलता सेटिंग्स हैं।

सुझाव नग्नता

Google फिर से 100% की पहचान दर के साथ जीता। साइटेंगिन और नैनोनेट ने क्रमशः 95% और 90% के साथ दूसरों की तुलना में बेहतर प्रदर्शन किया। स्वचालित प्रणालियां विचारोत्तेजक नग्नता को लगभग आसानी से स्पष्ट रूप से पहचानती हैं। वे चित्रों में एक गलती करते हैं जो आमतौर पर SFW की तरह दिखते हैं, केवल नग्नता के कुछ संकेतों के साथ।





फिर, कोई भी एपीआई स्पष्ट एनएसएफडब्ल्यू छवियों पर गलत नहीं था।



विचारोत्तेजक नग्नता में, एपीआई ने विचलन किया। के रूप में सरासर नग्नता में, वे सहिष्णुता के विभिन्न थ्रेसहोल्ड थे। मुझे खुद यकीन नहीं है कि इन एसएफडब्ल्यू चित्रों को पहचानना है या नहीं।

नकली / एनिमेटेड पोर्न

सभी API ने यहां असाधारण रूप से अच्छा प्रदर्शन किया और पोर्न की नकल के 100% उदाहरण पाए। एकमात्र अपवाद इमेजगा था, जो एक छवि से चूक गया। मुझे आश्चर्य है कि एपीआई इस कार्य पर इतनी अच्छी तरह से क्यों काम करते हैं? जाहिरा तौर पर, एल्गोरिदम के लिए प्राकृतिक रूप से कृत्रिम रूप से बनाई गई छवियों की पहचान करना आसान है।





सभी एपीआई ने उत्कृष्ट परिणाम और उच्च आत्मविश्वास रेटिंग दिखाए।



एकमात्र छवि जिस पर इमेजिगा को गलत किया गया था, उसे पोर्न के रूप में नहीं समझा जा सकता है, अगर आप इसे लंबे समय तक नहीं देखते हैं।

बहिष्कार

यह सबसे कठिन श्रेणियों में से एक है, क्योंकि एपीआई के माध्यम से औसत पहचान दक्षता 50% से कम थी। क्लेरीफाई और साइटेंगाइन ने इस श्रेणी में 100% छवियों का सही पता लगाकर प्रतियोगिता को बेहतर बना दिया।





एपीआई ने चिकित्सा छवियों को सबसे अच्छी तरह से संभाला, लेकिन 12 में से 4 प्रणालियों ने उनमें से सबसे हल्के पर गलती की।



मुश्किल छवियों में कुछ भी सामान्य नहीं है। हालांकि, लोग इन तस्वीरों को बहुत आसानी से खूनी कहेंगे। इसका शायद यह मतलब है कि कम दक्षता का कारण प्रशिक्षण के लिए उपलब्ध आंकड़ों की कमी है।

सुरक्षित चित्र

NSFW के रूप में पहचानी नहीं जा सकने वाली छवियां सुरक्षित मानी जाती हैं। अपने आप में डेटा संग्रह मुश्किल है, क्योंकि एपीआई की सराहना करने के लिए ये चित्र एनएसएफडब्ल्यू के करीब होने चाहिए। कोई यह तर्क दे सकता है कि ये सभी छवियां एसएफडब्ल्यू हैं या नहीं। यहाँ Sightengine और Google ने सबसे खराब परिणाम दिखाया, जो अन्य श्रेणियों में उनके उत्कृष्ट प्रदर्शन की व्याख्या करता है। वे बस सभी संदिग्ध NSFW चित्रों को कहते हैं। दूसरी ओर, इम्पेगा ने यहां अच्छा काम किया क्योंकि इसमें NSFW का नाम नहीं था। एक्स-मॉडरेटर ने भी बहुत अच्छा प्रदर्शन किया।




मूल चित्रों के लिंक: SFW15 , SFW12 , SFW6 , SFW4

त्वचा के केवल छोटे पैच उन छवियों पर दिखाए जाते हैं जिन्हें पहचानना आसान है, और लोग उन्हें आसानी से एसएफडब्ल्यू के रूप में पहचान सकते हैं। केवल एक या दो प्रणालियों ने उन्हें गलत तरीके से मान्यता दी।


मूल चित्रों के लिंक: SFW17 , SFW18 , SFW10 , SFW3

सभी SFW छवियां जो त्वचा के बड़े क्षेत्रों या एनीमे को दिखाने में मुश्किल होती हैं (सिस्टम एनीमे पोर्नोग्राफी पर विचार करते हैं)। अधिकांश एपीआई ने एसएफडब्ल्यू के रूप में बड़े क्षेत्र की छवियों को गिना। सवाल यह है कि क्या यह एसएफडब्ल्यू है?

सामान्य तुलना

सभी NSFW श्रेणियों में एपीआई की प्रभावशीलता, साथ ही साथ SFW को सही ढंग से पहचानने में उनकी प्रभावशीलता को देखते हुए, हम यह निष्कर्ष निकाल सकते हैं कि सबसे अच्छा F1 परिणाम और नैनोसेट्स सिस्टम की सबसे अच्छी औसत सटीकता: यह सभी श्रेणियों में अच्छी तरह से काम करता है। Google सिस्टम NSFW श्रेणियों में एक असाधारण अच्छा परिणाम दिखाता है, लेकिन अक्सर NSFW के रूप में सुरक्षित छवियों को चिह्नित करता है, इसलिए इसे F1 मीट्रिक पर जुर्माना मिला।

डेवलपर्स द्वारा

मैंने उनके प्रदर्शन में अंतर का मूल्यांकन करने के लिए सटीकता और एफ 1 स्कोर के लिए शीर्ष 5 प्रणालियों की तुलना की। पंखुड़ी आरेख का क्षेत्र जितना बड़ा होगा, उतना बेहतर होगा।

1. नैनोनेट्स

नैनोनेट्स प्रणाली ने किसी भी श्रेणी में पहला स्थान नहीं लिया। हालांकि, यह सबसे संतुलित उपाय है। सबसे कमजोर बिंदु जहां आप अभी भी उस पर काम कर सकते हैं वह एसएफडब्ल्यू की मान्यता सटीकता है। वह शरीर के किसी भी उजागर क्षेत्र के प्रति बहुत संवेदनशील है।

2. गूगल

Google अधिकांश NSFW श्रेणियों में सर्वश्रेष्ठ है, लेकिन SFW का पता लगाने में सबसे खराब है। मैं यह नोट करना चाहता हूं कि मैंने Google के साथ परीक्षण के लिए नमूना लिया था, अर्थात वह इन चित्रों को "जानना चाहिए"। यह अधिकांश श्रेणियों में वास्तव में अच्छे प्रदर्शन का कारण हो सकता है।

3. क्लेरिफाई

क्लेरिफाइ वास्तव में निर्लज्जता का निर्धारण करने में चमकता है, अधिकांश अन्य एपीआई से आगे, प्रणाली भी अच्छी तरह से संतुलित है और अधिकांश श्रेणियों में अच्छी तरह से काम करती है। लेकिन वह विचारोत्तेजक नग्नता और पोर्नोग्राफी की पहचान करने में सटीकता का अभाव है।

4. एक्स-मॉडरेटर

एक्स-मॉडरेटर एक और अच्छी तरह से संतुलित एपीआई है। विच्छेदन के अलावा, वह स्पष्ट रूप से एनएसएफडब्ल्यू के अधिकांश अन्य प्रकारों की पहचान करता है। एसएफडब्ल्यू को निर्धारित करने में 100% सटीकता, जो प्रतियोगियों से इस प्रणाली को अलग करती है।

5. साइटेंगिन

Google की तरह, Sightengine सिस्टम ने NSFW की पहचान करने में लगभग पूर्ण परिणाम दिखाया। हालांकि, उसे विच्छेदन की एक भी छवि नहीं मिली।

कीमतों

एपीआई चुनने में एक और मानदंड मूल्य है। सभी कंपनियों की कीमतों की तुलना नीचे की जाती है। अधिकांश एपीआई सीमित उपयोग के साथ एक नि: शुल्क परीक्षण प्रदान करते हैं। याहू एकमात्र पूरी तरह से मुफ्त एपीआई है, लेकिन इसे अपने दम पर होस्ट करने की आवश्यकता है, यह एपीआई इस तालिका में शामिल नहीं है।



अमेज़ॅन, माइक्रोसॉफ्ट, नैनोनेट्स, और डीपएआई एक मिलियन एपीआई कॉल के लिए प्रति माह 1,000 डॉलर की सबसे कम कीमत की पेशकश करते हैं।

सबसे अच्छी सामग्री मॉडरेशन एपीआई क्या है?

NSFW सामग्री की व्यक्तिपरक प्रकृति विजेता को निर्धारित करना मुश्किल बनाती है।

सामान्य-उद्देश्य वाले सोशल मीडिया के लिए जो सामग्री वितरण पर अधिक केंद्रित है और एक संतुलित क्लासिफायर की आवश्यकता है, मैं क्लासिफायर के लिए एफ 1 की उच्चतम रेटिंग के साथ नैनोनेट्स एपीआई को प्राथमिकता दूंगा।

यदि आवेदन बच्चों के उद्देश्य से है, तो मैं सुरक्षित रहूंगा और कुछ सामान्य सामग्री के नुकसान के साथ ही एनएसएफडब्ल्यू की सभी श्रेणियों में अपनी अनुकरणीय प्रभावशीलता के लिए Google एपीआई का चयन करूंगा।

वास्तव में NSFW क्या है?

इस समस्या पर बहुत समय बिताने के बाद, मुझे एक महत्वपूर्ण बात का एहसास हुआ: वास्तव में, NSFW की परिभाषा बहुत अस्पष्ट है। प्रत्येक व्यक्ति की अपनी परिभाषा होगी। क्या स्वीकार्य माना जाता है - काफी हद तक आपकी सेवा प्रदान करता है पर निर्भर करता है। डेटिंग आवेदन में आंशिक नग्नता स्वीकार्य है, लेकिन एक पालना नहीं। और एक मेडिकल जर्नल में, इसके विपरीत। वास्तव में ग्रे क्षेत्र विचारोत्तेजक नग्नता है, जहां सही उत्तर प्राप्त करना असंभव है।