🚶 🏊 🧓 दोस्तों PyTorch और C ++ कैसे बनाये। टार्चस्क्रिप्ट का उपयोग करना 😲 👇🏽 🌞

लगभग एक साल पहले, PyTorch Developers ने TorchScript समुदाय को पेश किया था, जो एक टूल है जो आपको अजगर में पाइप लाइन से एल्युमिनियम के हल को दो माउस क्लिक के साथ बनाने की अनुमति देता है जिसे C ++ सिस्टम में एम्बेड किया जा सकता है। नीचे मैं इसके उपयोग के अनुभव को साझा करता हूं और इस मार्ग पर आने वाले नुकसान का वर्णन करने का प्रयास करता हूं। मैं विंडोज पर परियोजना के कार्यान्वयन पर विशेष ध्यान दूंगा, क्योंकि हालांकि एमएल में शोध आमतौर पर उबंटू पर किया जाता है, अंतिम समाधान अक्सर (अचानक!) "विंडोज़" के तहत आवश्यक होता है।

मॉडल के निर्यात के लिए नमूना कोड और मॉडल का उपयोग करके C ++ प्रोजेक्ट GitHub पर रिपॉजिटरी में पाया जा सकता है ।

PyTorch Developers को बेवकूफ नहीं बनाया जाता है। नया टूल वास्तव में आपको PyTorch में एक शोध परियोजना को कुछ कार्य दिवसों में C ++ सिस्टम में एम्बेडेड कोड में और कुछ कौशल के साथ तेजी से चालू करने की अनुमति देता है।

TorchScript PyTorch संस्करण 1.0 में दिखाई दिया और इसका विकास और परिवर्तन जारी है। यदि एक साल पहले पहला संस्करण बग से भरा हुआ था और अधिक प्रयोगात्मक था, तो वर्तमान संस्करण 1.3 कम से कम दूसरे बिंदु पर बिल्कुल अलग है: आप इसे अब प्रयोगात्मक नहीं कह सकते हैं, यह व्यावहारिक उपयोग के लिए काफी उपयुक्त है। मैं उस पर ध्यान केंद्रित करूंगा।

TorchScript के दिल में पायथन जैसी भाषा का अपना स्टैंडअलोन (पायथन-फ्री) कंपाइलर है, साथ ही इसमें पायथन और PyTorch में लिखे गए प्रोग्राम को परिवर्तित करने के लिए टूल हैं, परिणामस्वरूप मॉड्यूल को बचाने और लोड करने के तरीके और C ++ में उनका उपयोग करने के लिए एक लाइब्रेरी है। काम करने के लिए, आपको CPU के लिए CPU और 300MB पर काम करने के लिए लगभग 70MB (विंडोज के लिए) के कुल वजन के साथ कई DLL जोड़ने होंगे। टार्चस्क्रिप्ट अधिकांश PyTorch सुविधाओं और पायथन भाषा की मुख्य विशेषताओं का समर्थन करता है। लेकिन तीसरे पक्ष के पुस्तकालयों, जैसे कि OpenCV या NumPy, को भूलना होगा। सौभाग्य से, NumPy के कई कार्यों में PyTorch में एक एनालॉग है।

टार्चस्क्रिप्ट पर पाइरॉच मॉडल में पाइपलाइन कन्वर्ट करें

टार्चस्क्रिप्ट पायथन कोड को अपने आंतरिक प्रारूप में बदलने के दो तरीके प्रदान करता है: अनुरेखण और स्क्रिप्टिंग (अनुरेखण और स्क्रिप्टिंग)। दो क्यों? नहीं, यह स्पष्ट है, ज़ाहिर है, कि दो एक से बेहतर हैं ...

लेकिन इन तरीकों के मामले में, यह पता चला है, जैसा कि प्रसिद्ध कामोद्दीपक में, बाएं और दाएं विचलन के बारे में: दोनों बदतर हैं। खैर, दुनिया एकदम सही नहीं है। बस एक विशिष्ट स्थिति में, आपको उस एक को चुनना होगा जो अधिक उपयुक्त है।

अनुरेखण विधि बहुत सरल है। डेटा का एक नमूना लिया जाता है (आमतौर पर यादृच्छिक संख्याओं द्वारा आरंभ किया जाता है), उस फ़ंक्शन या वर्ग को भेजा जाता है जो हमें रुचि देता है, और PyTorch निर्माण ग्राफ को उसी तरह से संग्रहीत करता है और संग्रहीत करता है, जैसा कि आमतौर पर एक तंत्रिका नेटवर्क को प्रशिक्षित करते समय होता है। वोइला - स्क्रिप्ट तैयार है:

import torch import torchvision model = torchvision.models.resnet34(pretrained = True) model.eval() sample = torch.rand(1, 3, 224, 224) scripted_model = torch.jit.trace(model, sample)

ऊपर दिया गया उदाहरण ScriptModule वर्ग का एक ऑब्जेक्ट बनाता है। इसे बचाया जा सकता है

 scripted_model.save('my_script.pth')

और फिर इसे मूल ऑब्जेक्ट के बजाय C ++ प्रोग्राम (उस पर अधिक) या पायथन कोड में लोड करें:

सहेजे गए मॉडल का उपयोग करके नमूना पायथन कोड

 import cv2 from torchvision.transforms import Compose, ToTensor, Normalize transforms = Compose([ToTensor(), Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])]) img = cv2.resize(cv2.imread('pics/cat.jpg'), (224,224)) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) x = transforms(img).unsqueeze(0) # add batch dimension scripted_model = torch.jit.load('my_script.pth') y = scripted_model(x) print(y[0].argmax(), y[0][y[0].argmax()])

 tensor(282) tensor(12.8130, grad_fn=<SelectBackward>)

परिणामी ScriptModule कहीं भी दिखाई दे सकती है।

वर्णित तरीके से, आप nn.Module वर्ग और फ़ंक्शंस के उदाहरणों का पता लगा सकते हैं (बाद वाले मामले में, torch._C.Function क्लास का एक उदाहरण torch._C.Function )।

इस पद्धति (अनुरेखण) का एक महत्वपूर्ण लाभ है: इस तरह आप लगभग किसी भी पायथन कोड को परिवर्तित कर सकते हैं जो बाहरी पुस्तकालयों का उपयोग नहीं करता है। लेकिन एक समान रूप से महत्वपूर्ण दोष है: किसी भी शाखा के लिए, केवल उस शाखा को जिसे परीक्षण डेटा पर निष्पादित किया गया था, उसे याद किया जाएगा:

 def my_abs(x): if x.max() >= 0: return x else: return -x my_abs_traced = torch.jit.trace(my_abs, torch.tensor(0)) print(my_abs_traced(torch.tensor(1)), my_abs_traced(torch.tensor(-1)))

 c:\miniconda3\lib\site-packages\ipykernel_launcher.py:2: TracerWarning: Converting a tensor to a Python boolean might cause the trace to be incorrect. We can't record the data flow of Python values, so this value will be treated as a constant in the future. This means that the trace might not generalize to other inputs! tensor(1) tensor(-1)

ऊप्स! यह वही प्रतीत होता है जो हम चाहेंगे, है ना? यह अच्छा है कि कम से कम एक चेतावनी संदेश (TracerWarning) जारी किया जाता है। ऐसे संदेशों पर ध्यान देने योग्य है।

यहाँ दूसरी विधि हमारी सहायता के लिए आती है - स्क्रिप्टिंग:

 my_abs_script = torch.jit.script(my_abs) print(my_abs_script(torch.tensor(1)), my_abs_script(torch.tensor(-1)))

 tensor(1) tensor(1)

हुर्रे, अपेक्षित परिणाम प्राप्त होता है! स्क्रिप्टिंग पुनरावर्ती रूप से पायथन कोड का विश्लेषण करती है और इसे अपनी भाषा में कोड में परिवर्तित करती है। आउटपुट में, हमें ScriptModule क्लास (मॉड्यूल्स के लिए) या torch._C.Function (फ़ंक्शंस के लिए) भी torch._C.Function । ऐसा लगता है, यहाँ यह है, खुशी! लेकिन एक और समस्या उत्पन्न होती है: टॉर्स्क्रिप्ट की आंतरिक भाषा पाइथन के विपरीत, दृढ़ता से टाइप की जाती है। प्रत्येक चर का प्रकार पहले असाइनमेंट द्वारा निर्धारित किया जाता है, डिफ़ॉल्ट रूप से फ़ंक्शन तर्क का प्रकार Tensor । इसलिए, उदाहरण के लिए, एक परिचित पैटर्न

 def my_func(x): y = None if x.max() > 0: y = x return y my_func = torch.jit.script(my_func)

ट्रेसिंग विफल हो जाएगी।

एक ट्रेस त्रुटि इस तरह दिखती है

 RuntimeError Traceback (most recent call last) <ipython-input-9-25414183a687> in <module>() ----> 1 my_func = torch.jit.script(my_func) d:\programming\3rd_party\pytorch\pytorch_ovod_1.3.0a0_de394b6\torch\jit\__init__.py in script(obj, optimize, _frames_up, _rcb) 1224 if _rcb is None: 1225 _rcb = _gen_rcb(obj, _frames_up) -> 1226 fn = torch._C._jit_script_compile(qualified_name, ast, _rcb, get_default_args(obj)) 1227 # Forward docstrings 1228 fn.__doc__ = obj.__doc__ RuntimeError: Variable 'y' previously has type None but is now being assigned to a value of type Tensor : at <ipython-input-8-75677614fca6>:4:8 def my_func(x): y = None if x.max() > 0: y = x ~ <--- HERE return y

यह उल्लेखनीय है कि हालांकि एक त्रुटि तब होती है जब torch.jit.script कहा जाता है, जो स्क्रिप्ट कोड में इसका कारण बनता है वह भी संकेत दिया गया है।

स्थिरांक की भूमिका निभाने के बाद भी अंक:

 def my_func(x): if x.max() > 0: y = 1.25 else: y = 0 return y my_func = torch.jit.script(my_func)

कोई त्रुटि देगा

 RuntimeError Traceback (most recent call last) <ipython-input-10-0a5f18586763> in <module>() 5 y = 0 6 return y ----> 7 my_func = torch.jit.script(my_func) d:\programming\3rd_party\pytorch\pytorch_ovod_1.3.0a0_de394b6\torch\jit\__init__.py in script(obj, optimize, _frames_up, _rcb) 1224 if _rcb is None: 1225 _rcb = _gen_rcb(obj, _frames_up) -> 1226 fn = torch._C._jit_script_compile(qualified_name, ast, _rcb, get_default_args(obj)) 1227 # Forward docstrings 1228 fn.__doc__ = obj.__doc__ d:\programming\3rd_party\pytorch\pytorch_ovod_1.3.0a0_de394b6\torch\jit\__init__.py in _rcb(name) 1240 # closure rcb fails 1241 result = closure_rcb(name) -> 1242 if result: 1243 return result 1244 return stack_rcb(name) RuntimeError: bool value of Tensor with more than one value is ambiguous

क्योंकि यह 0 लिखना आवश्यक नहीं है, लेकिन 0. ताकि दोनों शाखाओं में प्रकार समान हो! फुठरमलसा, तुम्हें पता है, अपने अजगर के साथ!

यह केवल उन परिवर्तनों की सूची की शुरुआत है जिन्हें आपको अजगर कोड में करने की आवश्यकता है ताकि इसे सफलतापूर्वक टार्चस्क्रिप्ट मॉड्यूल में बदल दिया जा सके। मैं सबसे विशिष्ट मामलों को बाद में और अधिक विस्तार से सूचीबद्ध करूंगा। सिद्धांत रूप में, यहां कोई रॉकेट विज्ञान नहीं है और आपके कोड को तदनुसार ठीक किया जा सकता है। लेकिन सबसे अधिक बार मैं तृतीय-पक्ष मॉड्यूल को ठीक नहीं करना चाहता, जिसमें torchvision से मानक मानक शामिल हैं, और हमेशा की तरह वे आमतौर पर स्क्रिप्टिंग के लिए उपयुक्त नहीं होते हैं।

सौभाग्य से, दोनों प्रौद्योगिकियों को जोड़ा जा सकता है: जो स्क्रिप्टिंग की जा रही है उसे स्क्रिप्ट किया जा रहा है और जो स्क्रिप्टेड नहीं है वह ट्रेस हो रहा है:

 class MyModule(torch.nn.Module): def __init__(self): super(MyModule, self).__init__() self.resnet = torchvision.models.resnet34(pretrained = True) #       torch.jit.script(my_module) #    -   resnet34. #     self.resnet  ScriptModule. self.resnet.eval() # NB:     !  -  ! self.resnet = torch.jit.trace(self.resnet, torch.rand((1,3,224,224), dtype=torch.float)) def forward(self, x): if x.shape[2] < 224 or x.shape[3] < 224: return torch.tensor(0) else: return self.resnet(x) my_module = MyModule() my_module = torch.jit.script(my_module)

उपरोक्त उदाहरण में, अनुरेखण का उपयोग एक मॉड्यूल को शामिल करने के लिए किया जाता है जो एक मॉड्यूल में स्क्रिप्ट करने योग्य नहीं है जहां पर्याप्त ट्रेस नहीं है और स्क्रिप्टिंग आवश्यक है। उलटी स्थिति है। उदाहरण के लिए, अगर हमें ONNX पर एक मॉडल अपलोड करना है, तो ट्रेसिंग का उपयोग किया जाता है। लेकिन ट्रेस किए गए मॉडल में टार्चस्क्रिप्ट फ़ंक्शन शामिल हो सकते हैं, इसलिए तर्क की आवश्यकता है कि शाखाओं और छोरों को वहां लागू किया जा सकता है! एक उदाहरण सरकारी दस्तावेज में torch.onnx के लिए दिया गया है ।

TorchScript मॉड्यूल बनाने के लिए PyTorch द्वारा प्रदान की जाने वाली सुविधाओं को आधिकारिक प्रलेखन और torch.jit में अधिक विस्तार से वर्णित किया गया है। विशेष रूप से, मैंने torch.jit.trace torch.jit.script बारे में डेकोरेटर के रूप में torch.jit.trace और torch.jit.script का उपयोग करने के लिए एक सुविधाजनक तरीके का उल्लेख नहीं किया। यह और बहुत कुछ प्रलेखन में है।

हम मॉडल को C ++ प्रोजेक्ट में शामिल करते हैं

दुर्भाग्य से, आधिकारिक दस्तावेज " torch.ones का उपयोग करके उत्पन्न 2 torch.ones जोड़ें" फॉर्म के उदाहरणों तक सीमित है। मैंने वास्तविकता के करीब एक परियोजना का एक उदाहरण तैयार किया जो ओपनसीवी से तंत्रिका नेटवर्क को एक तस्वीर भेजता है और एक प्रतिक्रिया टेंसर के रूप में परिणाम प्राप्त करता है, चर की एक टुकड़ी, विभाजन के परिणामों के साथ एक तस्वीर।

काम करने के लिए उदाहरण के लिए, आपको ResNet34 का उपयोग करके वर्गीकरण स्क्रिप्ट को बचाने की आवश्यकता है और DeepLabV3 का उपयोग करके विभाजन। इन लिपियों को तैयार करने के लिए, आपको इस ज्यूपिटर नोटपैड को चलाने की आवश्यकता है।

हमें torchlib लाइब्रेरी की आवश्यकता है। आप इसे कई तरीकों से प्राप्त कर सकते हैं:

यदि आपके पास पहले से ही PyTorch स्थापित है जो pip install का उपयोग कर रहा है, तो आप इसे पायथन डायरेक्टरी में पा सकते हैं: <Miniconda3>\Lib\site-packages\torch ;
यदि आपने PyTorch को स्रोत से संकलित किया है, तो यह वहां है: <My Pytorch repo>\build\lib.win-amd64-3.6\torch ;
अंत में, आप pytorch.org से अलग से लाइब्रेरी को भाषा = C ++ चुनकर डाउनलोड कर सकते हैं और संग्रह को अनज़िप कर सकते हैं।

C ++ कोड काफी सरल है। यह आवश्यक है:

हेडर फ़ाइल शामिल करें
```
 #include <torch/script.h> 
```

मॉडल डाउनलोड करें

 torch::jit::script::Module module = torch::jit::load("../resnet34_infer.pth");

डेटा तैयार करें

 torch::Tensor tensor = torch::from_blob(img.data, { img.rows, img.cols, 3 }, torch::kByte);

फंक्शन को कॉल करें और परिणाम प्राप्त करें
```
 auto output = module.forward( { tensor } ) 
```
परिणाम से डेटा प्राप्त करें। यह कैसे करना है यह इस बात पर निर्भर करता है कि तंत्रिका नेटवर्क क्या लौटाता है। वैसे, सामान्य मामले में, यह न केवल एक तस्वीर को भी स्वीकार कर सकता है, इसलिए पूरे उदाहरण के स्रोत कोड को देखने के लिए बेहतर है, अलग-अलग विकल्प हैं। उदाहरण के लिए, फ्लोट प्रकार के एक आयामी टेंसर से डेटा प्राप्त करने के लिए:
```
 float* data = static_cast<float*>(output.toTensor().data_ptr()); 
```
एक और सूक्ष्मता है। कोड में with torch.no_grad() एनालॉग सम्मिलित करने के लिए मत भूलना ताकि ग्रेडिएंट्स की गणना करने और संसाधनों को बर्बाद करने के लिए न करें, जिनकी हमें आवश्यकता नहीं है। दुर्भाग्य से, इस कमांड को स्क्रिप्ट में शामिल नहीं किया जा सकता है, इसलिए आपको इसे C ++ कोड में जोड़ना होगा:
```
 torch::NoGradGuard no_grad; 
```

सीएमके का उपयोग करके परियोजना का निर्माण कैसे किया जाता है, यह आधिकारिक मार्गदर्शिका में वर्णित है। लेकिन विज़ुअल स्टूडियो में परियोजना के विषय का खुलासा नहीं किया गया है, इसलिए मैं इसे और अधिक विस्तार से बताऊंगा। आपको प्रोजेक्ट सेटिंग्स को मैन्युअल रूप से ट्विक करना होगा:

मैंने Visual Studio 2017 पर परीक्षण किया। मैं अन्य संस्करणों के बारे में नहीं कह सकता।
V14.11 टूलसेट v141 स्थापित किया जाना चाहिए ( "VC++ 2017 version 15.4 v14.11 toolset" इंस्टॉलर में "VC++ 2017 version 15.4 v14.11 toolset" )।
प्लेटफॉर्म x64 होना चाहिए।
General → Platform Toolset v141(Visual Studio 2017) चयन करें v141(Visual Studio 2017)
C/C++ → General → Additional Include Directories में <libtorch dir>\include
Linker → General → Additional Library Directories <libtorch dir>\lib जोड़ते हैं
Linker → Input → Additional Dependencies torch.lib; c10.lib जोड़ें torch.lib; c10.lib torch.lib; c10.lib । इंटरनेट पर, वे लिखते हैं कि caffe2.lib अभी भी आवश्यकता हो सकती है, और GPU के लिए और कुछ और <libtorch dir>\lib , लेकिन वर्तमान संस्करण में, इन दोनों पुस्तकालयों को जोड़ना मेरे लिए पर्याप्त था। शायद यह पुरानी जानकारी है।
वे यह भी लिखते हैं कि आपको C/C++ → Language → Conformance Mode = No सेट करने की आवश्यकता है, लेकिन मुझे अंतर दिखाई नहीं दिया।

इसके अलावा, परियोजना में __cplusplus चर को घोषित नहीं किया जाना चाहिए। /Zc:__cplusplus जोड़ने का प्रयास /Zc:__cplusplus ivalue.h फ़ाइल में संकलन त्रुटियों का परिणाम देगा।

संलग्न परियोजना में, पथ सेटिंग्स (न केवल टॉर्लिब के लिए, बल्कि ओपनसीवी और सीयूडीएए के लिए भी) को प्रॉपर फ़ाइल में निकाला जाता है, विधानसभा से पहले, आपको अपने स्थानीय कॉन्फ़िगरेशन के अनुसार उन्हें वहां पंजीकृत करने की आवश्यकता है। वह, वास्तव में, सब है।

और क्या ध्यान रखें

यदि वर्णित प्रक्रिया आपको बहुत सरल लगती है, तो आपका अंतर्ज्ञान आपको धोखा नहीं देता है। पायथन में लिखे गए टॉर्चर को टॉर्स्क्रिप्ट में परिवर्तित करने के लिए कई बारीकियों पर विचार करने की आवश्यकता है। मैं उन लोगों की सूची नीचे दूंगा जिनका मुझे सामना करना पड़ा था। मैंने पहले ही कुछ का उल्लेख किया है, लेकिन मैं सब कुछ एक ही स्थान पर इकट्ठा करने के लिए दोहराता हूं।

फ़ंक्शन में दिए गए चर के प्रकार डिफ़ॉल्ट रूप से टेन्सर है। यदि कुछ (बहुत लगातार) मामलों में यह अस्वीकार्य है, तो आपको MyPy- शैली के प्रकार एनोटेशन का उपयोग करके मैन्युअल रूप से घोषित करना होगा, कुछ इस तरह:

 def calc_letter_statistics(self, cls_preds: List[Tensor], cls_thresh: float)->Tuple[int, Tuple[Tensor, Tensor, Tensor]]

या तो:

 def calc_letter_statistics(self, cls_preds, cls_thresh): # type: (List[Tensor], float)->Tuple[int, Tuple[Tensor, Tensor, Tensor]]

चर दृढ़ता से टाइप किए गए हैं और प्रकार, यदि स्पष्ट रूप से निर्दिष्ट नहीं है, तो पहले असाइनमेंट द्वारा निर्धारित किया जाता है। प्रपत्र x=[]; for ...: x.append(y) परिचित निर्माण x=[]; for ...: x.append(y) x=[]; for ...: x.append(y) को संपादित करना होगा, क्योंकि [] असाइन करने के समय [] संकलक यह पता नहीं लगा सकता है कि सूची में किस प्रकार का होगा। इसलिए, आपको स्पष्ट रूप से प्रकार निर्दिष्ट करना होगा, उदाहरण के लिए:

 from typing import List x: List[float] = []

या (एक और "उदाहरण के लिए")

 from torch import Tensor from typing import Dict, Tuple, List x: Dict[int: Tuple[float, List[Tensor], List[List[int]]]] = {}

ऊपर दिए गए उदाहरण में, यह वे नाम हैं जिन्हें आयात करने की आवश्यकता है, क्योंकि ये नाम टार्चस्क्रिप्ट कोड में सिल दिए गए हैं। वैकल्पिक, प्रतीत होता है कानूनी, दृष्टिकोण

 import torch import typing x: typing.List[torch.Tensor] = []

स्क्रिप्ट करते समय एक अज्ञात प्रकार के निर्माता टाइपिंग में परिणाम देगा। उसकी त्रुटि

एक और परिचित डिजाइन जिसे आपको भाग लेना है:

 x = None if smth: x = torch.tensor([1,2,3])

दो विकल्प हैं। या दोनों बार Tensor असाइन करें (यह तथ्य कि यह विभिन्न आयामों का है डरावना नहीं है):

 x = torch.tensor(0) if smth: x = torch.tensor([1,2,3])

और इस तरह के प्रतिस्थापन के बाद क्या टूट जाएगा, यह देखना न भूलें। या ईमानदारी से लिखने का प्रयास करें:

 x: Optional[Tensor] = None if smth: x = torch.tensor([1,2,3])

लेकिन फिर x आगे उपयोग के साथ जहां टेंसर की उम्मीद की जाती है, हम सबसे अधिक संभावना एक त्रुटि प्राप्त करेंगे: तर्क 'एक्स' के लिए टाइप 'टेंसर' के मूल्य की अपेक्षा करें, लेकिन इसके बजाय 'वैकल्पिक [टेन्सर] टाइप करें।

उदाहरण के लिए, पहले कार्य के दौरान x=0. लिखना न भूलें x=0. सामान्य x=0 , आदि के बजाय, यदि चर x प्रकार का होना चाहिए।
यदि कहीं हमने x = torch.Tensor(...) माध्यम से टेंसर के पुराने जमाने के आरंभीकरण का उपयोग किया है, तो आपको इसके साथ भाग लेना होगा और इसे छोटे संस्करण x = torch.tensor(...) साथ एक छोटे संस्करण से बदलना होगा। अन्यथा, स्क्रिप्टिंग के दौरान यह उड़ जाएगा: अज्ञात बिल्ट ऑप: aten :: Tensor। यहाँ कुछ सुझाव दिए गए हैं: प्रायश्चित्त: स्पर्शक । ऐसा लगता है कि वे यह भी समझाते हैं कि समस्या क्या है, और यह स्पष्ट है कि क्या करने की आवश्यकता है। हालांकि, यह स्पष्ट है कि क्या आप पहले से ही सही उत्तर जानते हैं।
कोड को मॉड्यूल के संदर्भ में स्क्रिप्ट किया गया है जहां torch.jit.script कहा जाता है। इसलिए, अगर कहीं, स्क्रिप्टेड क्लास या फ़ंक्शन के math.pow , उदाहरण के लिए, math.pow , तो आपको संकलन मॉड्यूल में import math जोड़ना होगा। और जहां यह घोषित किया गया है उस वर्ग को स्क्रिप्ट करना बेहतर है: या तो @torch.jit.script डेकोरेटर का उपयोग करना, या इसके बगल में एक अतिरिक्त फ़ंक्शन घोषित करके जो ScriptModule को इससे बाहर करता है। अन्यथा, हमें एक अपरिभाषित मूल्य गणित त्रुटि संदेश मिलता है जब हम एक मॉड्यूल से एक वर्ग को संकलित करने की कोशिश करते हैं जिसमें, जाहिरा तौर पर, math आयात किया गया था।
अगर कहीं पर आपके पास my_tensor[my_tensor < 10] = 0 या इसी तरह के फॉर्म का निर्माण है, तो आपको स्क्रिप्टिंग करते समय एक गुप्त त्रुटि मिलेगी:
```
 *aten::index_put_(Tensor(a!) self, Tensor?[] indices, Tensor values, bool accumulate=False) -> (Tensor(a!)):* *Expected a value of type 'Tensor' for argument 'values' but instead found type 'int'.* *aten::index_put_(Tensor(a!) self, Tensor[] indices, Tensor values, bool accumulate=False) -> (Tensor(a!)):* *Expected a value of type 'List[Tensor]' for argument 'indices' but instead found type 'List[Optional[Tensor]]'.* 
```
आपको टेंसर के साथ संख्या को बदलने के लिए क्या आवश्यक है: my_tensor[my_tensor < 10] = torch.tensor(0.).to(my_tensor.device) । और my_tensor प्रकार के पत्राचार के बारे में) और बनाए गए टेंसर (इस मामले में, फ्लोट) और b) के बारे में .to(my_tensor.device) । यदि आप दूसरे को भूल जाते हैं, तो सब कुछ स्क्रिप्ट किया जाएगा, लेकिन पहले से ही GPU के साथ काम करने की प्रक्रिया में, आप परेशान हो जाएंगे, जो कि गुप्त शब्दों की तरह दिखेगा CUDA त्रुटि: एक अवैध मेमोरी एक्सेस का सामना करना पड़ा , यह इंगित किए बिना कि त्रुटि कहां हुई!
यह मत भूलो कि डिफ़ॉल्ट nn.Module द्वारा और, तदनुसार, मशाल संशोधन से मॉडल "ट्रेन मोड" में बनाया जाता है (आप इसे विश्वास नहीं करेंगे, लेकिन यह पता चलता है कि ऐसा कोई मोड है )। इस मामले में, ट्रेन मोड से ड्रॉपआउट और अन्य ट्रिक्स का उपयोग किया जाता है, जो या तो ट्रेस को तोड़ते हैं या निष्पादित होने पर अपर्याप्त परिणाम देते हैं। स्क्रिप्टिंग या ट्रेसिंग से पहले model.eval() को कॉल करना याद रखें।
फ़ंक्शंस और साधारण वर्गों के लिए आपको nn.Module - उदाहरण के लिए, स्क्रिप्ट टाइप करने की आवश्यकता है
एक वैश्विक चर का उपयोग करने के लिए एक स्क्रिप्टेड पद्धति में प्रयास करें

 cls_thresh = 0.3 class MyModule(torch.nn.Module): ... x = r < cls_thresh ...

परिणाम की स्क्रिप्टिंग त्रुटि के परिणामस्वरूप टाइप 'फ्लोट' के अजगर मूल्य को मूल्य के रूप में उपयोग नहीं किया जा सकता है । कंस्ट्रक्टर में वेरिएबल को एक विशेषता बनाना आवश्यक है:

 cls_thresh = 0.3 class MyModule(torch.nn.Module): def __init__(self): ... self.cls_thresh = cls_thresh ... x = r < self.cls_thresh ...

यदि श्रेणी विशेषता का उपयोग स्लाइस पैरामीटर के रूप में किया जाता है, तो एक और सूक्ष्मता उत्पन्न होती है:

 class FPN(nn.Module): def __init__(self, block, num_blocks, num_layers =5): ... self.num_layers = num_layers def forward(self, x): ... return (p3, p4, p5, p6, p7)[:self.num_layers]

स्क्रिप्टिंग त्रुटि के कारण टुल्ल स्लाइस इंडेक्स पूर्णांक स्थिरांक होना चाहिए । यह इंगित करना आवश्यक है कि num_layers विशेषता स्थिर है और वह परिवर्तित नहीं होगी:

 class FPN(nn.Module): num_layers: torch.jit.Final[int] def __init__(self, block, num_blocks, num_layers =5): ...

कुछ मामलों में, जहां टेनसर सामान्य रूप से फिट होते थे, आपको संख्या को स्पष्ट रूप से पास करना होगा:

 xx1 = x1.clamp(min=x1[i])

स्क्रिप्टिंग में त्रुटि तब आती है जब Expected a value of type 'Optional[number]' for argument 'min' but instead found type 'Tensor'. । खैर, यहाँ त्रुटि संदेश से यह स्पष्ट है कि क्या करना है:

 xx1 = x1.clamp(min=x1[i].item())

ट्रेसिंग करते समय उपरोक्त समस्याएं होती हैं। यह उनके कारण है कि आमतौर पर टॉर्स्क्रिप्ट में तैयार किए गए समाधानों को बस संकलित करना संभव नहीं है, और आपको या तो लंबे समय तक स्रोत कोड की मालिश करनी होगी (यदि स्रोत कोड संपादित करने के लिए उपयुक्त है) या ट्रेसिंग का उपयोग करें। लेकिन ट्रेस की अपनी बारीकियां हैं:

प्रपत्र का निर्माण ट्रेस में काम नहीं करता है

 tensor_a.to(tensor_b.device)

जिस डिवाइस पर टेंसर लोड किया गया है वह ट्रेसिंग के समय तय किया गया है और निष्पादन के दौरान नहीं बदलता है। इस समस्या को टेंसर को nn.Module प्रकार Parameter nn.Module सदस्य घोषित करके आंशिक रूप से दूर किया जा सकता है। फिर, जब मॉडल लोड हो रहा है, तो यह उस डिवाइस पर बूट होगा जो torch.jit.load में निर्दिष्ट है। torch.jit.load फ़ंक्शन।

उपसंहार

उपरोक्त सभी, निश्चित रूप से, समस्याएं पैदा करता है। लेकिन टार्चस्क्रिप्ट आपको एक ही पूरे मॉडल के रूप में समाधान को संयोजित करने और भेजने की अनुमति देता है और पायथन कोड जो पूर्व और बाद के प्रसंस्करण प्रदान करता है। हां, और उपरोक्त कठिनाइयों के बावजूद, संकलन के लिए समाधान तैयार करने का समय, समाधान बनाने की लागत की तुलना में अतुलनीय रूप से कम है, लेकिन यहां PyTorch महान लाभ प्रदान करता है, इसलिए खेल मोमबत्ती के लायक है।

दोस्तों PyTorch और C ++ कैसे बनाये। टार्चस्क्रिप्ट का उपयोग करना

टार्चस्क्रिप्ट पर पाइरॉच मॉडल में पाइपलाइन कन्वर्ट करें

हम मॉडल को C ++ प्रोजेक्ट में शामिल करते हैं

और क्या ध्यान रखें

उपसंहार

More articles: