Google Colaboratory पर Caffe बनाएँ: क्लाउड में फ्री ग्राफिक्स कार्ड

Google Colaboratory मशीन सीखने और गहन सीखने में अनुसंधान को सरल बनाने के उद्देश्य से हाल ही में लॉन्च की गई क्लाउड सेवा है। कॉलेजबोरेटरी का उपयोग करके, आप एक कनेक्टेड वीडियो कार्ड के साथ मशीन तक रिमोट एक्सेस प्राप्त कर सकते हैं, और यह पूरी तरह से मुफ़्त है, जो कि जीवन को सरल बनाता है जब आपको गहरे तंत्रिका नेटवर्क को प्रशिक्षित करना पड़ता है। हम कह सकते हैं कि यह जुपिटर नोटबुक के लिए Google दस्तावेजों का कुछ एनालॉग है।

कोलैबोरेटरी में टेंसोरफ्लो पहले से स्थापित है और लगभग सभी पायथन लाइब्रेरी काम करने के लिए आवश्यक है। यदि कोई पैकेज गायब है, तो इसे pip या apt-get pip माध्यम से आसानी से स्थापित किया जाता है। लेकिन क्या होगा अगर आपको स्रोत से एक प्रोजेक्ट बनाने और GPU से कनेक्ट करने की आवश्यकता है? यह पता चला है कि यह इतना सरल नहीं हो सकता है कि मुझे एसएसडी-कैफ के निर्माण के दौरान पता चला। इस प्रकाशन में मैं कोलैबोरेटरी का संक्षिप्त विवरण दूंगा, जो कठिनाइयों का सामना करना पड़ेगा और उन्हें कैसे हल किया जा सकता है, साथ ही साथ कुछ उपयोगी गुर भी बताएंगे।

सभी कोड मेरे सहयोगी नोटबुक में उपलब्ध है।

संक्षेप में सहयोगात्मक के बारे में

मोटे तौर पर, कोलैबोरेटरी आपको रिमोट मशीन पर जुपिटर नोटबुक चलाने की अनुमति देता है। सहयोगी फाइलें साधारण .ipynb "लैपटॉप" हैं और Google डिस्क पर संग्रहीत हैं। ऐसे फ़ंक्शन का एक सेट भी है जो आपको दूरस्थ मशीन से Google डिस्क पर फ़ाइलों को अपलोड करने की अनुमति देता है और इसके विपरीत। आप इन फ़ाइलों को दूसरों के साथ भी साझा कर सकते हैं, आप उन पर टिप्पणी लिख सकते हैं, जैसे कि Google दस्तावेज़ों में।

Colaboratory में, आप GPU का उपयोग कर सकते हैं, अर्थात् टेस्ला K80। ऐसा करने के लिए, इसे सेटिंग्स में कनेक्ट करें: रनटाइम $$$\ _ $ गौरैय$रनटाइम प्रकार बदलें $$$\ _ $ गौरैय$हार्डवेयर त्वरक। यह ध्यान देने योग्य है कि जीपीयू हमेशा उपलब्ध नहीं होता है, और फिर कोलैबोरेटरी इसके बिना मशीन शुरू करने की पेशकश करेगा।

ऐसा लगता है कि जुपिटर नोटबुक के अलावा कुछ भी शुरू नहीं किया जा सकता है, लेकिन टर्मिनल तक अप्रत्यक्ष पहुंच है: इसके लिए आपको टर्मिनल कमांड के सामने एक विस्मयादिबोधक चिह्न जोड़ने की आवश्यकता है, उदाहरण के लिए !mkdir images । सामान्य तौर पर, हम यह मान सकते हैं कि हम एक आदर्श साधारण मशीन के साथ काम कर रहे हैं जिस पर Ubuntu 17.10 स्थापित है (लेखन के समय), लेकिन दूरस्थ रूप से जुड़ा हुआ है। यह इस प्रकार है कि टर्मिनल के माध्यम से किया जा सकता है सब कुछ (अंतःक्रियात्मक नहीं) उस पर किया जा सकता है, जिसमें शामिल हैं:

• क्लोन रिपॉजिटरी का उपयोग करके git clone ,
• wget का उपयोग करके डेटा लोड करें (वैसे, यहां तक ​​कि बड़ी फ़ाइलों को Google डिस्क से लगभग तुरंत लोड किया जाता है),
• make उपयोग करें (और सबसे अधिक संभावना cmake )
• apt-get और pip का उपयोग करके टूल और लाइब्रेरी स्थापित करें

कॉलेज के बारे में कुछ और टिप्पणियाँ:

• ऐसा लगता है कि सिस्टम में सभी फाइलों के लिए उपयोगकर्ता की असीमित पहुंच है (किसी भी कमांड को sudo बिना लिखे जाने की आवश्यकता है);
• टर्मिनल राज्य को टीमों के बीच स्थानांतरित नहीं किया जाता है, भले ही वे एक ही सेल में हों (उदाहरण के लिए, cd dir यदि आवश्यक हो, तो आपको प्रत्येक कमांड की शुरुआत में लिखना होगा);
• यदि आप लंबे समय तक कोलैबोरेटरी से डिस्कनेक्ट करते हैं, तो वर्चुअल मशीन के सभी परिवर्तन मिटा दिए जाएंगे, जिसमें सभी इंस्टॉल किए गए पैकेज और डाउनलोड की गई फाइलें शामिल हैं, इसलिए, यह अनुशंसा की जाती है कि पैकेज की स्थापना को ज्यूपिटर नोटबुक में शामिल किया जाए;
• 12 घंटे के निरंतर उपयोग के बाद, मशीन स्वचालित रूप से बंद हो जाती है, लेकिन फिर इसे फिर से शुरू किया जा सकता है (सिद्धांत रूप में, व्यवहार में, GPU उपलब्ध नहीं हो सकता है)।

एसएसडी-कैफ बिल्ड

मैं सिंगल शॉट डिटेक्टर (SSD) को आज़माना चाहता था, अर्थात् Google Colaboratory में इसका कैफ कार्यान्वयन , लेकिन इसके लिए परियोजना को स्रोत से इकट्ठा करने की आवश्यकता थी।

वैसे, यदि आपके लिए Caffe का कोई भी संस्करण उपयुक्त है, तो बहुत आसान तरीका है (यह काम भी करता है, हालाँकि मैंने कुछ भी चलाने की कोशिश नहीं की है):

 !apt install caffe-cuda 

एसएसडी-कैफ को स्रोत से इकट्ठा करना कई चरणों से काफी लंबी खोज है, जो केवल बैसाखी के साथ किया जा सकता है।

चरण 1: निर्भरता स्थापित करना

यहाँ हमें apt का उपयोग करके Caffe के लिए सभी निर्भरताएँ डाउनलोड करनी होंगी। हालाँकि, ऐसा करने से पहले, आपको apt निर्भरता स्रोत कोड डाउनलोड करने की अनुमति देनी चाहिए। कैफ इंस्टॉलेशन गाइड का कहना है कि इसके लिए source.list फ़ाइल में "deb-src लाइन" की आवश्यकता होती है। दुर्भाग्य से, वहाँ कोई विवरण नहीं हैं, इसलिए मैंने अभी /etc/apt/sources.list फ़ाइल में सभी /etc/apt/sources.list deb-src लाइनों को /etc/apt/sources.list है:

 with open('/etc/apt/sources.list') as f: txt = f.read() with open('/etc/apt/sources.list', 'w') as f: f.write(txt.replace('# deb-src','deb-src')) 

और इसने काम किया। यह केवल निर्भरता डाउनलोड करने के लिए बनी हुई है:

 !apt update !apt build-dep caffe-cuda 

चरण 2: एक और संकलक की आवश्यकता है

यहां समस्या यह है: g++-7 , जो डिफ़ॉल्ट रूप से डिफ़ॉल्ट है, किसी कारण से nvcc CUDA संकलक के साथ असंगत है, इसलिए आपको कुछ और उपयोग करना होगा। मैंने g++-5 डाउनलोड किया और इसे डिफ़ॉल्ट कंपाइलर बनाया:

 !apt install g++-5 !update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 20 !update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 20 

चरण 3: को बढ़ावा देना होगा

यदि आप इस स्तर पर कैफ का निर्माण करने का प्रयास करते हैं, तो समस्याएँ तब उठेंगी जब आप बूस्ट को जोड़ने का प्रयास करते हैं, क्योंकि यह एक अन्य संकलक द्वारा बनाया गया था, इसलिए आपको इसके स्रोतों को डाउनलोड करना होगा और g++-5 ( बूस्ट वेबसाइट पर अधिक ) का उपयोग करके निर्माण करना होगा:

 !wget https://dl.bintray.com/boostorg/release/1.67.0/source/boost_1_67_0.tar.bz2 !tar --bzip2 -xf boost_1_67_0.tar.bz2 !cd boost_1_67_0 && ./bootstrap.sh --exec-prefix=/usr/local --with-libraries=system,filesystem,regex,thread,python --with-python-version=2.7 --with-python-root=/usr !cd boost_1_67_0 && ./b2 install 

चरण 4: मेकफाइल कॉन्फ़िगर करें

GitHub के साथ क्लोन कैफ:

 !git clone https://github.com/weiliu89/caffe.git && cd caffe && git checkout ssd 

और हम Makefile.config में आवश्यक फ़ील्ड बदलते हैं - मैंने CUDA के लिए पथ को बदल दिया, BLAS विकल्प को बदल दिया, OpenCV के संस्करण को तीसरे में बदल दिया, एक पायथन परत जोड़ दी, और स्थापित किए गए पुस्तकालयों के लिए सभी पथ भी जोड़ दिए, लेकिन किसी कारण से नहीं मिला (यह सब सुविधाजनक है) पायथन का उपयोग करते हुए):

 with open('caffe/Makefile.config.example') as f: config = f.read() comment = ['CUDA_DIR := /usr/local/cuda', 'BLAS := open'] uncomment = ['# CUDA_DIR := /usr', '# BLAS := atlas', '# OPENCV_VERSION := 3', '# WITH_PYTHON_LAYER := 1'] # replace = [('INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include', 'INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial /usr/local/lib/python2.7/dist-packages/numpy/core/include/'), ('LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib', 'LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial')] for c in uncomment: config = config.replace(c, c[2:]) for c in comment: config = config.replace(c, '# '+c) for c1,c2 in replace: config = config.replace(c1, c2) with open('caffe/Makefile.config', 'w') as f: f.write(config) 

इसके अलावा, Makefile में, मुझे -isystem सभी टैग्स को -I साथ बदलना पड़ा: दोनों हेडर खोजने के लिए जिम्मेदार हैं, लेकिन उन्हें थोड़ा अलग तरीके से संसाधित किया जाता है, और इस प्रतिस्थापन समस्याओं के बिना जब stdlib जुड़ा हुआ था (पहले से ही यहाँ अधिक विवरण ):

 with open('caffe/Makefile') as f: mfile = f.read() with open('caffe/Makefile', 'w') as f: f.write(mfile.replace('-isystem','-I')) 

चरण 5: बनाएँ

एक अंतिम बैसाखी बची थी - c++config.h को ठीक करने के लिए, अन्यथा नैन प्रकार की समस्याएं हैं ( अधिक ):

 with open('/usr/include/x86_64-linux-gnu/c++/5/bits/c++config.h') as f: txt = f.read() with open('/usr/include/x86_64-linux-gnu/c++/5/bits/c++config.h', 'w') as f: f.write(txt.replace('/* #undef _GLIBCXX_USE_C99_MATH */', '/* #undef _GLIBCXX_USE_C99_MATH */\n#define _GLIBCXX_USE_C99_MATH 1')) 

अब, वास्तव में, आप कैफ का निर्माण कर सकते हैं:

 !cd caffe && make -j8 && make pycaffe && make test -j8 && make distribute !echo /usr/local/lib >> /etc/ld.so.conf && ldconfig !echo /content/caffe/distribute/lib >> /etc/ld.so.conf && ldconfig 

अंतिम दो पंक्तियाँ पुस्तकालय पथ को जोड़ती हैं, अर्थात् बढ़ावा और कैफ।

अब Caffe का उपयोग किया जा सकता है (आपको बस PYTHONPATH में इसे निर्दिष्ट करने की आवश्यकता है)

 import sys caffe_path = !cd caffe/python && pwd sys.path.insert(0, caffe_path[0]) import caffe 

इसका परीक्षण करने के लिए, मैंने मोबिलनेट-एसएसडी परियोजना का परीक्षण किया: कोड मेरे सहयोगी नोटबुक में भी है।

विशेष रूप से, मैंने एक तस्वीर के लिए भविष्यवाणी का समय मापा, और GPU पर त्वरण लगभग 3.8 था।

बोनस: कुछ उपयोगी ट्रिक्स

Google Colaboratory पर मध्यम पर एक महान ट्यूटोरियल है । कोलैबोरेटरी में भी लगभग सभी चीजों के उदाहरणों के साथ फाइलें हैं जिनकी जरूरत हो सकती है।

वर्चुअल मशीन के फाइल सिस्टम में एक Google डिस्क माउंट करें:

 !apt-get install -y -qq software-properties-common python-software-properties module-init-tools !add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null !apt-get update -qq 2>&1 > /dev/null !apt-get -y install -qq google-drive-ocamlfuse fuse from google.colab import auth auth.authenticate_user() from oauth2client.client import GoogleCredentials creds = GoogleCredentials.get_application_default() import getpass !google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL vcode = getpass.getpass() !echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} 

यह कोड लिंक को वापस करेगा और एक इनपुट विंडो देगा। आपको लिंक का पालन करने की आवश्यकता है, कोड को कॉपी करें और इसे विंडो में दर्ज करें। किसी कारण से मुझे ऐसा दो बार करना पड़ता है। अगले:

 !mkdir -p drive !google-drive-ocamlfuse drive 

उसके बाद, आप अपनी Google डिस्क को एक नियमित निर्देशिका के रूप में उपयोग कर सकते हैं। इसके अलावा, इस निर्देशिका में सभी परिवर्तन Google-ड्राइव के साथ स्वचालित रूप से सिंक्रनाइज़ किए जाते हैं।

करैस संस्थापन:

 !pip install -q keras import keras 

PyTorch स्थापित करें:

 from os import path from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag()) accelerator = 'cu80' if path.exists('/opt/bin/nvidia-smi') else 'cpu' !pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.3.0.post4-{platform}-linux_x86_64.whl torchvision import torch 

कार्यशील निर्देशिका बदलें:

 import os os.chdir("/path/to/wdir") 

सभी परिवर्तनों को मिटा दें और मशीन को पुनरारंभ करें:

 !kill -9 -1 

फ़ाइल को स्थानीय मशीन पर अपलोड करें:

 from google.colab import files files.download('file.ext') 

Google डिस्क पर अपलोड की गई फ़ाइलों से शब्दकोश प्राप्त करें:

 from google.colab import files uploaded = files.upload() 

मूक टर्मिनल कमांड आउटपुट (चर पर पुनर्निर्देशित):

 lines_list = !pwd 

सामान्य तौर पर, Google सहयोगी क्लाउड में तंत्रिका नेटवर्क के प्रशिक्षण का एक अच्छा अवसर प्रदान करता है। सच है, यह बहुत बड़े ग्रिड के लिए पर्याप्त नहीं हो सकता है। एक और प्लस स्थानीय ऑपरेटिंग सिस्टम (जो प्रतिलिपि प्रस्तुत करने के लिए अच्छा है) से स्वतंत्र रूप से कोड चलाने की क्षमता है, और एक ही परियोजना पर एक साथ काम भी करता है। एक पकड़ के रूप में, GPU लंबे समय तक उपलब्ध नहीं हो सकता है।