يعد SAP HANA نظامًا شهيرًا لإدارة قواعد البيانات في الذاكرة يتضمن خدمات تحليل البيانات من Warehouse ، والبرامج الوسيطة المدمجة ، وخادم التطبيقات ، ومنصة لتكوين أو تطوير أدوات مساعدة جديدة. من خلال التخلص من زمن الوصول لنظم قواعد البيانات التقليدية مع SAP HANA ، يمكنك زيادة أداء النظام ومعالجة المعاملات (OLTP) وذكاء الأعمال (OLAP) بشكل كبير.
يمكنك نشر SAP HANA في أوضاع الأجهزة و TDI (من حيث بيئات الإنتاج). لكل خيار ، الشركة المصنعة لها متطلباتها الخاصة. في هذا المنشور ، سنتحدث عن مزايا وعيوب الخيارات المختلفة ، وكذلك عن الوضوح ، حول مشاريعنا الحقيقية مع SAP HANA.
يتكون SAP HANA من 3 مكونات رئيسية - المضيف والمثيل والنظام.
المضيف هو خادم أو بيئة تشغيل لقاعدة بيانات SAP HANA. مكوناته المطلوبة هي وحدة المعالجة المركزية وذاكرة الوصول العشوائي والتخزين والشبكة ونظام التشغيل. يوفر المضيف روابط إلى أدلة التثبيت أو البيانات أو السجلات أو مباشرة إلى نظام التخزين. في هذه الحالة ، لا يلزم أن يكون موقع التخزين الخاص بتثبيت SAP HANA على المضيف. إذا كان النظام يحتوي على عدة مضيفين ، فستحتاج إما إلى تخزين مشترك أو تخزين متوفر عند الطلب من جميع المضيفين.
المثيل عبارة عن مجموعة من مكونات نظام SAP HANA المثبتة على مضيف واحد. المكونات الرئيسية هي خادم الفهرس وخادم الاسم. الأول ، والذي يُسمى أيضًا "خادم الإنتاج" ، يقوم بمعالجة الطلبات ، ويدير مستودعات البيانات الفعلية ونواة قواعد البيانات. يقوم خادم الاسم بتخزين المعلومات حول هيكل تثبيت SAP HANA - حيث تعمل المكونات وما هي البيانات الموجودة على الخادم.
النظام هو واحد أو أكثر من الحالات مع نفس العدد. في الواقع ، هذا عنصر منفصل يمكنك تمكينه أو تعطيله أو نسخه (عمل نسخة احتياطية). يتم توزيع البيانات في ذاكرة الخوادم المختلفة التي تشكل نظام SAP HANA.
يمكن تكوين النظام كمضيف فردي (مثيل واحد على مضيف واحد) أو متعدد المضيف ، موزعة (يتم توزيع عدة مثيلات SAP HANA عبر عدة مضيفين ، ولكل مضيف مثيل واحد). في الأنظمة متعددة المضيفين ، يجب أن يكون لكل مثيل نفس الرقم. يتم تعريف نظام SAP HANA بمعرف النظام (SID) ، وهو رقم فريد من ثلاثة أحرف أبجدية رقمية.
SAP HANA الافتراضية
أحد القيود الرئيسية على SAP HANA هو دعم نظام واحد فقط - مثيل واحد مع خادم SID فريد. يمكنك استخدام المحاكاة الافتراضية لزيادة كفاءة استخدام الأجهزة أو تقليل عدد الخوادم في مركز البيانات. وبالتالي ، يمكن أن تتعايش المناظر الطبيعية الأخرى على نفس الخادم مع الأنظمة التي لديها متطلبات أقل (أنظمة غير منتجة). بالنسبة لخادم HA / DR الاستعداد ، يمكن أن تزيد الظاهرية من سرعة التبديل بين الأجهزة الافتراضية المنتجة وغير المنتجة.
يتضمن SAP HANA دعمًا لبرنامج VMWare ESX hypervisor. هذا يعني أن أنظمة SAP HANA المختلفة - تثبيتات SAP HANA مع SIDs مختلفة - يمكن أن تتعايش على نفس المضيف (خادم فعلي مشترك) في أجهزة افتراضية مختلفة. يجب أن يعمل كل جهاز افتراضي في نظام تشغيل مدعوم.
بالنسبة للبيئات الإنتاجية ، تتضمن المحاكاة الافتراضية لـ SAP HANA قيودًا شديدة:
- توسيع النطاق غير مدعوم - لا يمكن استخدام المحاكاة الافتراضية إلا مع أنظمة Scale-Up ، سواء أكانت BwoH / DM / SoH أو SoH خالصة ؛
- يجب إجراء المحاكاة الافتراضية ضمن القواعد المحددة لأجهزة Appliance أو TDI.
- يمكن أن يكون هناك جهاز افتراضي واحد فقط في General Availability (GA) - يجب على الشركات التي ترغب في استخدام المحاكاة الافتراضية مع البيئات الإنتاجية لـ HANA المشاركة في برنامج Controlled Availability مع SAP.
في البيئات غير المنتجة التي تغيب فيها القيود المدرجة ، يمكن استخدام المحاكاة الافتراضية لتحسين استخدام المعدات.
طبولوجيا SAP HANA
دعنا ننتقل إلى نشر SAP HANA. يتم تحديد طبولوجيا اثنين هنا.
- التوسع هو خادم واحد كبير. مع نمو قاعدة HANA ، ينمو الخادم نفسه: يزداد عدد وحدات المعالجة المركزية (CPU) ومقدار الذاكرة. في الحلول ذات التوافر العالي (HA) واستعادة الكوارث (DR) ، يجب أن تتطابق الخوادم الزائدة أو التي تتحمل الأخطاء مع الخوادم المنتجة من حيث الأداء.
- التدريج - يتم توزيع كامل حجم نظام SAP HANA عبر عدة خوادم متطابقة. يحتوي الخادم الرئيسي على معلومات عن خادم الفهرس وخادم الاسم. لا تحتوي خوادم Slave على هذه البيانات - باستثناء الخادم ، الذي يتولى مهام Master في حالة حدوث عطل على الخادم الرئيسي. تقوم الخوادم العاملة (خوادم الفهرسة) بإدارة شرائح البيانات التي تم تخصيصها لها ، وكذلك الاستجابة للطلبات. خوادم الأسماء تدرك كيف يتم توزيع البيانات بين خوادم الإنتاج. في حالة نمو HANA ، تتم إضافة عقدة أخرى ببساطة إلى تكوين الخادم الحالي. في مثل هذا الهيكل ، يكفي وجود عقدة احتياطية واحدة لضمان أمان الخادم بأكمله.
متطلبات الأجهزة SAP
لدى SAP متطلبات الأجهزة لـ HANA. إنها تتعلق بالبيئات الإنتاجية - حيث أن الحد الأدنى من الخصائص غير كافٍ. لذلك ، إليك متطلبات بيئات الإنتاج:
- وحدة المعالجة المركزية Intel Xeon v5 (SkyLake) / 8880/90/94 v4 (Broadwell)
- من 128 غيغابايت من ذاكرة الوصول العشوائي للتطبيقات BW مع 2 وحدات المعالجة المركزية ، 256 غيغابايت مع 4+ وحدات المعالجة المركزية ؛
نشر SAP HANA في أوضاع الأجهزة و TDI
الآن ، دعونا نتدرب ونتحدث عن كيفية تطبيق SAP HANA في أوضاع الأجهزة والأجهزة TDI. نحن نستخدم منصات SAP HANA الخاصة بنا لهذا على أساس خوادم BullSequana S و Bullion S ، المعتمدة من SAP للعمل في هذه الأوضاع.
القليل من المساعدة على المنتجات. يشتمل BullSequana S المدعوم من Intel Xeon Scalable على طرازات مختلفة ، حتى 32 وحدة المعالجة المركزية في خادم واحد. تم تصميم الخادم وفقًا لتصميم وحدات ، مما يوفر إمكانية تطوير حتى 32 وحدة معالجة مركزية ونفس عدد وحدات معالجة الرسومات. ذاكرة الوصول العشوائي - من 64 جيجابايت إلى 48 تيرابايت. من بين ميزات BullSequana S دعم المؤسسات AI لتحسين الأداء ، وتحليلات البيانات بشكل أسرع ، وتحسين الحوسبة في الذاكرة ، والترقيات باستخدام تقنية المحاكاة الافتراضية والسحابية.
يأتي Bullion S مع وحدات المعالجة المركزية Intel Xeon E7 v4 العائلية. الحد الأقصى لعدد المعالجات هو 16. جداول RAM من 128 غيغابايت إلى 24 تيرابايت. يوفر عدد كبير من ميزات RAS إمكانية توفر عالية للبنية التحتية المهمة مثل SAP HANA. تعتبر Bullion S مناسبة لدمج مراكز البيانات بشكل كبير ، والعمل مع تطبيقات In-Memory ، أو ترحيل الأجهزة المركزية أو الأنظمة القديمة.
SAP HANA Appliance
يعد الجهاز حلاً تم تكوينه مسبقًا ويتضمن حزمة الخادم والتخزين والبرامج لتنفيذ تسليم المفتاح ، مع خدمة دعم مركزية ومستوى أداء متفق عليه. هنا تأتي HANA في أجهزة وبرامج مُعدة مسبقًا ومتكاملة ومعتمدة تمامًا. الجهاز في وضع الجهاز جاهز للتثبيت في مركز البيانات ، ونظام التشغيل ، SAP HANA ، و (إذا لزم الأمر) مثيل VMWare الإضافي تم تهيئته وتثبيته بالفعل.
تحدد شهادة SAP مستوى الأداء المضمون ، وكذلك طراز وحدة المعالجة المركزية ، ومقدار ذاكرة الوصول العشوائي والتخزين. بعد التصديق ، لا يمكن تغيير التكوين دون فقدان الضمان. يوفر HANA SAP ثلاثة خيارات لتوسيع نطاق المنصة.
- Scale-Up BWoH / DM / SoH - القياس الرأسي ، وهو مناسب للأنظمة الفردية (SID واحد). تنمو أجهزة الأجهزة بسرعة 256/384 غيغابايت بدءًا من SAP HANA SPS 11. تُظهر هذه النسبة السعة القصوى التي تدعمها وحدة معالجة مركزية واحدة وهي شائعة في القائمة الكاملة لأجهزة الأجهزة المعتمدة. جهاز BWoH / DM / SoH القابل للتطوير هو الأفضل ملاءمة لـ BW على تطبيقات HANA (BWoH) و Data Mart (DM) و SAP Suite على HANA (SoH).
- Scale-Up SoH هو إصدار خفيف الوزن من الطراز السابق ، مع قيود أقل على مقدار ذاكرة الوصول العشوائي. لا يزال خادمًا قابلاً للتطوير عموديًا ، لكن الحد الأقصى لمقدار RAM للمعالجين هو بالفعل 1536 جيجابايت (حتى الإصدار SPS11) و 3 تيرابايت (SPS12 +). مناسبة فقط ل SoH.
- Scale-Out هو خيار ذو مقياس أفقي ، وهو نظام يدعم تكوينات متعددة الخوادم. القياس الأفقي هو الأنسب ل BW ، مع بعض القيود ، SoH.
في خوادم BullSequana S و Bullion S ، يعد التوسع الرأسي ضروريًا لأنه يحتوي على عدد أقل من القيود التشغيلية ويتطلب إدارة أقل. بالنسبة لوضع الأجهزة ، يوجد مجموعة كبيرة من الأجهزة المختلفة.
حلول BullSequana S لـ SAP HANA في وضع الأجهزة
* اختياري E7-8890 / 94v4
حلول Bullion S لـ SAP HANA في وضع الأجهزةجميع حلول Bull Appliance مع SAP HANA SPS 12 معتمدة. يتم تثبيت الجهاز في حامل قياسي مقاس 19 بوصة مقاس 42U ، مع مزودتي طاقة - وحدات PDU داخلية. خوادم لديها شهادة SAP:
- BullSequana S مع Intel Xeon Skylake 8176 و 8176M و 8180 و 8180M (معالجات تدعم الحرف "M" تعمل مع وحدات ذاكرة تبلغ سعتها 128 جيجابايت). من حيث السعر والجودة ، تبدو الخيارات مع Intel 8176 أفضل
- Bullion S مع Intel Xeon E7-8880 v4 و 8890 و 8894.
تتصل وحدة التخزين مباشرة بالخادم من خلال منافذ FC ، لذلك ليست هناك حاجة إلى مفاتيح SAN هنا. يمكن أن تكون مفيدة للوصول إلى الأنظمة المتصلة بشبكة LAN أو SAN.
فيما يلي مثال لتكوين التخزين EMC Unity 450F في إعدادنا:
- الارتفاع: 5U (DPE 3U (25x2.5 "HDD / SSD) + DAE 2U (25x2.5" HDD / SSD))
- تحكم: 2
- محركات الأقراص: من 6 إلى 250 محرك أقراص صلبة من نوع SAS و 600 جيجابايت إلى 15.36 تيرابايت لكل منها
- RAID: المستوى 5 (8 + 1) ، 4 مجموعات RAID
- واجهة: 4 FC لكل وحدة تحكم ، 8 أو 16 جيجابت / ثانية
- البرنامج: Unisphere Block Suite
يعد الجهاز خيارًا للنشر يمكن الاعتماد عليه ، لكن به عيبًا كبيرًا:
هناك القليل من الحرية في تكوين الأجهزة . بالإضافة إلى ذلك ، قد يتطلب هذا الخيار إجراء تغييرات في عمليات قسم تكنولوجيا المعلومات.
SAP HANA TDI
يعد وضع TDI (تكامل مركز البيانات المخصص) بديلاً للجهاز ، حيث يمكنك اختيار الشركات المصنعة ومكونات البنية التحتية المحددة وفقًا لرغبات العميل - مع مراعاة المهام وعبء العمل. على سبيل المثال ، يمكن إعادة استخدام شبكة منطقة التخزين (SAN) في مركز بيانات ، مع حجز بعض الأقراص لتثبيت HANA.
مقارنةً بالجهاز ، في وضع TDI ، يتم منح المستخدم مزيدًا من الحرية للوفاء بالمتطلبات. هذا يبسط إلى حد كبير دمج HANA في مركز البيانات - يمكنك بناء البنية التحتية المخصصة الخاصة بك. على سبيل المثال ، قم بتغيير نوع وعدد المعالجات حسب التحميل.
لحساب السعات ، يوصى باستخدام SAP Quick Sizer ، وهي أداة بسيطة توفر متطلبات وحدة المعالجة المركزية والذاكرة لأحمال العمل المختلفة في SAP HANA. بعد ذلك ، يمكنك الاتصال بـ SAP Active Global Support لتخطيط مشهد تكنولوجيا المعلومات لديك. بعد ذلك ، يقوم شريك الأجهزة SAP HANA بتحويل نتائج الحساب إلى تكوينات مختلفة للنظام - سواء في الجزء العلوي أو من الأجهزة الأكثر بساطة. في وضع TDI ،
يجوز للخوادم
استخدام وحدات المعالجة المركزية Intel E7 ، بما في ذلك Intel Broadwell E7 و Skylake-SP (Platinum ، Gold ، Silver مع 8 مراكز أو أكثر لكل معالج) ، وكذلك IBM Power8 / 9.
يتم شحن الخوادم دون تخزين ، ومفاتيح ، ورفوف ، ولكن تظل متطلبات الأجهزة كما هي في وضع الأجهزة - نفس العقد الفردية ، حلول مع التحجيم الرأسي أو الأفقي. يتطلب SAP استخدام
خوادم وتخزين ومفاتيح معتمدة فقط ، ولكن هذه ليست مشكلة - معظم الشركات المصنعة لديها جميع المعدات المعتمدة تقريبًا.
يجب إجراء اختبار الأداء باستخدام اختبارات HWCCT (أداة فحص تكوين الأجهزة) ، والتي تتيح لك التحقق من الامتثال لبعض SAP KPIs. وهناك شرط لا يتعلق بالأجهزة:
يجب تثبيت HANA ، OS ، و hypervisor (اختياري) من قبل متخصصين حاصلين على شهادة SAP . فقط الأنظمة التي تتوافق مع كل هذه القواعد يمكنها تلقي دعم SAP للأداء.
يشبه خط خوادم BullSequana S في وضع TDI الخط الموجود في وضع الأجهزة ، ولكن بدون تخزين ، والمفاتيح والرفوف. يمكنك تثبيت أي أنظمة تخزين من قائمة SAPs المعتمدة - VNX و XtremIO و NetApp وغيرها. على سبيل المثال ، إذا كان VNX5400 يفي بمتطلبات أداء SAP HANA ، يمكنك توصيل Dell EMC Unity 450F كجزء من تكوين TDI. إذا لزم الأمر ، يتم تثبيت محولات FC (1 أو 10 جيجابت / ثانية) ، وكذلك مفاتيح Ethernet.
الآن ، بحيث يمكنك عرض الأوضاع الموضحة بشكل أوضح ، سنتحدث عن العديد من حالاتنا الحقيقية.
جهاز + TDI: HANA لمتجر على الإنترنت
تأسس متجر Mall.cz على الإنترنت ، وهو جزء من مجموعة مول ، في عام 2000. لديها فروع في جمهورية التشيك وسلوفاكيا وبولندا والمجر وسلوفينيا وكرواتيا ورومانيا. هذا هو أكبر متجر على الإنترنت في البلاد ، حيث بيع ما يصل إلى 75 ألف سلعة في اليوم ، وبلغت عائداتها في عام 2017 حوالي 280 مليون يورو.
كانت هناك حاجة إلى ترقية البنية الأساسية لمركز البيانات بسبب الترحيل إلى SAP HANA. كان التحجيم المقدر 2x6 تيرابايت لبيئة الإنتاج و 6 تيرابايت لبيئات الاختبار / التطوير. يتطلب هذا حلاً لاسترداد عطل فادح لبيئة إنتاج SAP HANA في مجموعة نشطة.
في وقت إعلان المناقصة ، كان لدى العميل نظام لـ SAP يعتمد على خوادم الحامل والنصلية القياسية. تم تجهيز مركزين للبيانات ، على مسافة حوالي 10 كم من بعضهما البعض ، بأنظمة تخزين مختلفة - IBM SVC و HP و Dell. عملت النظم الرئيسية في وضع الاسترداد بعد عطل فادح.
أولاً ، طلب العميل حلاً معتمدًا في وضع الأجهزة لـ SAP HANA لجميع الأنظمة (بيئات الإنتاج والاختبار / التطوير) مع نمو يصل إلى 12 تيرابايت. ولكن نظرًا للقيود المفروضة على الميزانية ، بدأ النظر في الخيارات الأخرى - على سبيل المثال ، عدد أكبر من وحدات المعالجة المركزية (CPU) مع وحدات ذاكرة الوصول العشوائي (RAM) أصغر (وحدات 64 جيجابايت بدلاً من وحدات ذاكرة 128 جيجابايت). بالإضافة إلى ذلك ، تم النظر في نظام تخزين مشترك للإنتاج وبيئات الاختبار / التطوير لتحسين السعر.
اتفقنا على 4 وحدات المعالجة المركزية و 6 TB RAM لبيئة الإنتاج ، مع إمكانية النمو. بالنسبة لبيئات الاختبار / التطوير في وضع TDI ، قررنا التعامل مع وحدات المعالجة المركزية الأقل تكلفة - حيث حصلنا على 8 وحدات CPU و 6 تيرابايت من ذاكرة الوصول العشوائي. نظرًا للزيادة في عدد الوظائف التي يطلبها العميل - البيئات التعاونية والنسخ الاحتياطي والإنتاج والاختبار / التطوير على النظام الأساسي الثاني - تم استخدام أنظمة التخزين DellEMC Unity بدلاً من الأقراص الداخلية في تهيئة الفلاش الكامل. بالإضافة إلى ذلك ، طلب العميل حل التعافي من الكوارث بناءً على HANA System Replication (HSR) مع عقدة النصاب القانوني في الموقع الثالث.
يتكون التكوين النهائي لبيئة Prod من خادم BullSequana S400 على Intel Xeon P8176M (28 مركزًا و 2.10 جيجاهيرتز و 165 واط) و 6 تيرابايت من ذاكرة الوصول العشوائي. التخزين - الوحدة 450F 10x 3.84 تيرابايت. لاستعادة القدرة على العمل بعد الكوارث في بيئة Prod ، استخدمنا BullSequana S400 على Intel Xeon P8176M (28 قلبًا ، 2.10 جيجاهرتز ، 165 واط) مع 6 تيرابايت من ذاكرة الوصول العشوائي. من أجل بيئة الاختبار / التطوير ، أخذوا خادم BullSequana S800 مع Intel Xeon P8153 (16 مركزًا ، 2.00 جيجاهرتز ، 125 واط) و 6 تيرابايت من ذاكرة الوصول العشوائي بالإضافة إلى وحدة التخزين 450F 15x 3.14 تيرابايت. ك النصاب القانوني وخوادم التطبيقات (حل VxRail) وحلول النسخ الاحتياطي (DataDomain) ، قام خبراؤنا بتركيب وتكوين خوادم DellEMC.
الجهاز جاهز للترقية في المستقبل. يتوقع العميل نمو حجم HANA في عام 2019 ، ويمكنه فقط تثبيت وحدات جديدة في الرفوف.الأجهزة: HANA لدمج متكامل للسفر
هذه المرة ، كان عميلنا مزودًا كبيرًا لخدمات تكنولوجيا المعلومات يشارك في تطوير الحلول التكنولوجية لشركات السفر. أطلق العميل مشروع SAP HANA الطموح لإدخال نظام فوترة جديد. هناك حاجة إلى حل الأجهزة مع 8 تيرابايت من ذاكرة الوصول العشوائي لبيئات الإنتاج و PreProd. وفقًا لتوصيات SAP ، اختار العميل خيار التدرج الرأسي.
كان التحدي الأساسي هو إدخال البنية الأساسية للأجهزة استنادًا إلى الأجهزة المعتمدة من الأجهزة لـ SAP HANA. كانت معايير الأولوية هي كفاءة التكلفة ، الأداء العالي ، قابلية التوسع ، وتوافر البيانات العالي.
لقد اقترحنا ونفذنا حلًا معتمدًا من SAP ، والذي يتضمن خادمي Bullion S16 - لبيئات Prod و PreProd. يتم تشغيل الجهاز على معالجات Intel Xeon E7-v4 8890 (24 مركزًا ، 2.20 جيجاهرتز ، 165 واط) ومجهز بذاكرة وصول عشوائي تبلغ 16 تيرابايت. تم تثبيت تسعة خوادم السبائك S4 (22 النوى ، 2.20 غيغاهرتز ، 150 واط) ل 4 TB من ذاكرة الوصول العشوائي لبيئات BW و Dev / Test. كما تستخدم التخزين الهجين EMC الوحدة.
يوفر هذا الحل الدعم للتحجيم لجميع عناصر الجهاز - على سبيل المثال ، ما يصل إلى 16 مآخذ مع وحدة المعالجة المركزية Intel Xeon E7-v4. الإدارة في هذا التكوين مبسطة - على وجه الخصوص ، لإعادة تكوين الخادم أو تقسيمه إلى أقسام.
جهاز + TDI: HANA لعلماء المعادن
قررت MMC Norilsk Nickel ، وهي واحدة من أكبر منتجي النيكل والبلاديوم ، ترقية منصة الأجهزة SAP HANA لدعم التطبيقات والمشاريع التجارية الهامة. مطلوب توسيع المشهد الحالي من حيث قوة الحوسبة. أحد الشروط الرئيسية التي طرحها العميل هو توفر النظام الأساسي - على الرغم من قيود الأجهزة.
بالنسبة للبيئات الإنتاجية ، استخدمنا خادم Bullion S8 والتخزين في وضع SAP HANA Appliance. من أجل HA و test / dev ، تم نشر النظام الأساسي في وضع TDI. استخدمنا خادم Bull Bullion S8 وخادمين من Bull Bullion S6 ونظام تخزين هجين. سمح هذا المزيج بزيادة سرعة تطبيقات المناظر الطبيعية SAP بشكل كبير ، وزيادة مقدار الطاقة الحاسوبية وموارد التخزين وتقليل تكاليف التشغيل. من المهم أن يكون لدى العميل القدرة على توسيع نطاق وحدات المعالجة المركزية حتى 16 وحدة.
مرحبًا بك في منتدى SAP
في هذا المنشور ، قمنا بفحص نشر SAP HANA بطرق مختلفة ، وحاولنا إبراز مزايا وعيوب الخيارات المتاحة. إذا كانت لديك أي أسئلة حول تطبيق SAP HANA ، فسيسعدنا الإجابة عليها في التعليقات.
نحن ندعو جميع المهتمين بحلول Bull وإمكانيات تنفيذها لـ SAP HANA إلى أكبر حدث SAP لهذا العام: سيعقد SAP Forum 2019 في موسكو في 17 أبريل. سننتظرك في جناحنا في منطقة IoT: سنخبرك بالكثير من الأشياء المثيرة للاهتمام وسنمنحك أيضًا العديد من الجوائز.
نراكم في المنتدى!