تم إعداد ترجمة لهذه المقالة خصيصًا لطلاب دورة مهندس البيانات .
ClickHouse هي قاعدة بيانات عمود مفتوح المصدر. هذه بيئة رائعة حيث يمكن للمئات من المحللين طلب بيانات مفصلة بسرعة ، حتى عندما يتم تقديم عشرات المليارات من الإدخالات الجديدة يوميًا. تكاليف البنية التحتية لدعم مثل هذا النظام يمكن أن تصل إلى 100 ألف دولار أمريكي في السنة ، وربما نصف هذا المبلغ ، حسب الاستخدام. في مرحلة ما ، احتوى تثبيت Yandex.Metrica ClickHouse على 10 تريليونات إدخال. بالإضافة إلى ياندكس ، حقق ClickHouse نجاحًا أيضًا مع بلومبرج و Cloudflare.
قبل عامين ، قمت بإجراء
تحليل مقارن لقواعد البيانات باستخدام جهاز واحد ، وأصبح
أسرع برامج قواعد البيانات المجانية التي رأيتها على الإطلاق. منذ ذلك الحين ، لم يتوقف المطورون عن إضافة ميزات ، بما في ذلك دعم لضغط Kafka و HDFS و ZStandard. في العام الماضي ، أضافوا دعمًا لطرق الضغط المتتالية ، وأصبح تشفير
دلتا دلتا ممكنًا. عند ضغط بيانات السلاسل الزمنية ، يمكن ضغط قيم المقياس جيدًا باستخدام تشفير دلتا ، لكن سيكون من الأفضل استخدام تشفير دلتا دلتا للعدادات. أصبح الضغط الجيد هو مفتاح أداء ClickHouse.
يتكون ClickHouse من 170 ألف سطر من كود C ++ ، باستثناء مكتبات الطرف الثالث ، وهو واحد من أصغر قواعد بيانات الأكواد لقواعد البيانات الموزعة. للمقارنة ، لا تدعم SQLite التوزيع وتتكون من 235 ألف سطر من التعليمات البرمجية في اللغة C. وفي وقت كتابة هذا التقرير ، ساهم 207 مهندسين في ClickHouse ، وزادت كثافة الإلتزامات مؤخرًا.
في مارس 2017 ، بدأت ClickHouse
سجل التغيير كوسيلة سهلة لتتبع التطوير. يقومون أيضًا بتقسيم ملف الوثائق المترابط إلى تسلسل هرمي للملفات يستند إلى Markdown. يتم تعقب المشاكل والميزات من خلال GitHub ، وبشكل عام أصبح هذا البرنامج أكثر سهولة في الوصول إليه في السنوات القليلة الماضية.
في هذه المقالة ، سوف ألقي نظرة على أداء نظام ClickHouse للكتلة على AWS EC2 باستخدام معالجات 36 نواة ومحرك NVMe.
استكمال: بعد أسبوع من النشر الأولي لهذا المنشور ، أعيد تشغيل الاختبار بتكوين محسن وحققت نتائج أفضل بكثير. تم تحديث هذا المنشور ليعكس هذه التغييرات.
بدء الكتلة AWS EC2
سأستخدم ثلاث حالات من c5d.9xlarge EC2 لهذا المنصب. كل منها يحتوي على 36 وحدة المعالجة المركزية الافتراضية ، 72 جيجابايت من ذاكرة الوصول العشوائي ، 900 جيجابايت من NVMe SSD ويدعم شبكة 10 جيجابت. تكلف كل منهما 1962 دولارًا في الساعة في منطقة الاتحاد الأوروبي - 1 عند إطلاقها عند الطلب. سأستخدم Ubuntu Server 16.04 LTS كنظام تشغيل.
تم تكوين جدار الحماية بحيث يمكن لكل جهاز التواصل مع بعضهم البعض دون قيود ، ويتم إدراج عنوان IPv4 الخاص بي فقط في مجموعة SSH.
جاهز للاستخدام NVMe
لكي يعمل ClickHouse ، سأقوم بإنشاء نظام ملفات EXT4 على كل خادم في محرك NVMe.
$ sudo mkfs -t ext4 /dev/nvme1n1 $ sudo mkdir /ch $ sudo mount /dev/nvme1n1 /ch
بعد تكوين كل شيء ، يمكنك رؤية نقطة التحميل ومساحة 783 جيجابايت في كل نظام.
$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT loop0 7:0 0 87.9M 1 loop /snap/core/5742 loop1 7:1 0 16.5M 1 loop /snap/amazon-ssm-agent/784 nvme0n1 259:1 0 8G 0 disk └─nvme0n1p1 259:2 0 8G 0 part / nvme1n1 259:0 0 838.2G 0 disk /ch
$ df -h
Filesystem Size Used Avail Use% Mounted on udev 35G 0 35G 0% /dev tmpfs 6.9G 8.8M 6.9G 1% /run /dev/nvme0n1p1 7.7G 967M 6.8G 13% / tmpfs 35G 0 35G 0% /dev/shm tmpfs 5.0M 0 5.0M 0% /run/lock tmpfs 35G 0 35G 0% /sys/fs/cgroup /dev/loop0 88M 88M 0 100% /snap/core/5742 /dev/loop1 17M 17M 0 100% /snap/amazon-ssm-agent/784 tmpfs 6.9G 0 6.9G 0% /run/user/1000 /dev/nvme1n1 825G 73M 783G 1% /ch
مجموعة البيانات التي سأستخدمها في هذا الاختبار هي عبارة عن تفريغ للبيانات قمت بإنشائه من 1.1 مليار ركوب سيارة أجرة في نيويورك خلال ست سنوات. توضح مدونة
Billion Taxi على Redshift كيف جمعت مجموعة البيانات هذه. يتم تخزينها في AWS S3 ، لذلك سأقوم بتكوين واجهة سطر أوامر AWS باستخدام مفاتيح الوصول والمفاتيح الخاصة.
$ sudo apt update $ sudo apt install awscli $ aws configure
سأقوم بتعيين الحد الأقصى لعدد طلبات العميل المتزامنة إلى 100 بحيث يتم تحميل الملفات بشكل أسرع من الإعدادات القياسية.
$ aws configure set \ default.s3.max_concurrent_requests \ 100
سوف أقوم بتنزيل مجموعة بيانات ركوب التاكسي من AWS S3 وحفظها على محرك NVMe على الخادم الأول. مجموعة البيانات هذه هي ~ 104 جيجابايت بتنسيق CSV مضغوط بتنسيق GZIP.
$ sudo mkdir -p /ch/csv $ sudo chown -R ubuntu /ch/csv $ aws s3 sync s3://<bucket>/csv /ch/csv
تثبيت ClickHouse
سأقوم بتثبيت توزيع OpenJDK لـ Java 8 ، حيث أنه مطلوب لتشغيل Apache ZooKeeper ، وهو أمر ضروري للتثبيت الموزع لـ ClickHouse على الأجهزة الثلاثة.
$ sudo apt update $ sudo apt install \ openjdk-8-jre \ openjdk-8-jdk-headless
ثم قمت بتعيين متغير البيئة
JAVA_HOME .
$ sudo vi /etc/profile export JAVA_HOME=/usr $ source /etc/profile
ثم سأستخدم نظام إدارة الحزم في Ubuntu لتثبيت ClickHouse 18.16.1 والنظرات و ZooKeeper على الأجهزة الثلاثة.
$ sudo apt-key adv \
$ sudo apt install \ clickhouse-client \ clickhouse-server \ glances \ zookeeperd
سوف أقوم بإنشاء دليل لـ ClickHouse وأقوم أيضًا بإجراء بعض عمليات استبدال التكوين على الخوادم الثلاثة.
$ sudo mkdir /ch/clickhouse $ sudo chown -R clickhouse /ch/clickhouse $ sudo mkdir -p /etc/clickhouse-server/conf.d $ sudo vi /etc/clickhouse-server/conf.d/taxis.conf
هذه هي إعدادات التكوين التي سأستخدمها.
<?xml version="1.0"?> <yandex> <listen_host>0.0.0.0</listen_host> <path>/ch/clickhouse/</path>
<remote_servers> <perftest_3shards> <shard> <replica> <host>172.30.2.192</host> <port>9000</port> </replica> </shard> <shard> <replica> <host>172.30.2.162</host> <port>9000</port> </replica> </shard> <shard> <replica> <host>172.30.2.36</host> <port>9000</port> </replica> </shard> </perftest_3shards> </remote_servers>
<zookeeper-servers> <node> <host>172.30.2.192</host> <port>2181</port> </node> <node> <host>172.30.2.162</host> <port>2181</port> </node> <node> <host>172.30.2.36</host> <port>2181</port> </node> </zookeeper-servers>
<macros> <shard>03</shard> <replica>01</replica> </macros> </yandex>
ثم سأقوم بتشغيل ZooKeeper وخادم ClickHouse على الأجهزة الثلاثة.
$ sudo /etc/init.d/zookeeper start $ sudo service clickhouse-server start
تحميل البيانات في ClickHouse
على الخادم الأول ، سوف أقوم بإنشاء جدول رحلات ، والذي سيخزن مجموعة بيانات من ركوب سيارات الأجرة باستخدام محرك السجل.
$ clickhouse-client
ثم أفرغ كل ملف من ملفات CSV وقم بتحميله في جدول الرحلات. يتم التالي في 55 دقيقة و 10 ثواني. بعد هذه العملية ، كان حجم دليل البيانات 134 غيغابايت.
$ time (for FILENAME in /ch/csv/trips_x*.csv.gz; do echo $FILENAME gunzip -c $FILENAME | \ clickhouse-client \
كانت سرعة الاستيراد 155 ميغابايت من محتوى CSV غير مضغوط في الثانية. أظن أن هذا كان بسبب عنق الزجاجة في الضغط GZIP. ربما كان من الأسرع إلغاء ضغط جميع ملفات gzip بالتوازي باستخدام xargs ثم تحميل البيانات غير المضغوطة. فيما يلي وصف لما تم الإبلاغ عنه أثناء عملية استيراد ملف CSV.
$ sudo glances
ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws) Uptime: 0:11:42 CPU 8.2% nice: 0.0% LOAD 36-core MEM 9.8% active: 5.20G SWAP 0.0% user: 6.0% irq: 0.0% 1 min: 2.24 total: 68.7G inactive: 61.0G total: 0 system: 0.9% iowait: 1.3% 5 min: 1.83 used: 6.71G buffers: 66.4M used: 0 idle: 91.8% steal: 0.0% 15 min: 1.01 free: 62.0G cached: 61.6G free: 0 NETWORK Rx/s Tx/s TASKS 370 (507 thr), 2 run, 368 slp, 0 oth sorted automatically by cpu_percent, flat view ens5 136b 2Kb lo 343Mb 343Mb CPU% MEM% VIRT RES PID USER NI S TIME+ IOR/s IOW/s Command 100.4 1.5 1.65G 1.06G 9909 ubuntu 0 S 1:01.33 0 0 clickhouse-client
سأوفر مساحة على محرك NVMe عن طريق حذف ملفات CSV المصدر قبل المتابعة.
$ sudo rm -fr /ch/csv
تحويل إلى نموذج العمود
سيقوم مشغل سجل ClickHouse بتخزين البيانات بتنسيق موجه نحو الصف. لطلب البيانات بشكل أسرع ، أقوم بتحويلها إلى تنسيق عمود باستخدام محرك MergeTree.
$ clickhouse-client
يتم التالي في 34 دقيقة و 50 ثانية. بعد هذه العملية ، كان حجم دليل البيانات 237 غيغابايت.
CREATE TABLE trips_mergetree ENGINE = MergeTree(pickup_date, pickup_datetime, 8192) AS SELECT trip_id, CAST(vendor_id AS Enum8('1' = 1, '2' = 2, 'CMT' = 3, 'VTS' = 4, 'DDS' = 5, 'B02512' = 10, 'B02598' = 11, 'B02617' = 12, 'B02682' = 13, 'B02764' = 14)) AS vendor_id, toDate(pickup_datetime) AS pickup_date, ifNull(pickup_datetime, toDateTime(0)) AS pickup_datetime, toDate(dropoff_datetime) AS dropoff_date, ifNull(dropoff_datetime, toDateTime(0)) AS dropoff_datetime, assumeNotNull(store_and_fwd_flag) AS store_and_fwd_flag, assumeNotNull(rate_code_id) AS rate_code_id, assumeNotNull(pickup_longitude) AS pickup_longitude, assumeNotNull(pickup_latitude) AS pickup_latitude, assumeNotNull(dropoff_longitude) AS dropoff_longitude, assumeNotNull(dropoff_latitude) AS dropoff_latitude, assumeNotNull(passenger_count) AS passenger_count, assumeNotNull(trip_distance) AS trip_distance, assumeNotNull(fare_amount) AS fare_amount, assumeNotNull(extra) AS extra, assumeNotNull(mta_tax) AS mta_tax, assumeNotNull(tip_amount) AS tip_amount, assumeNotNull(tolls_amount) AS tolls_amount, assumeNotNull(ehail_fee) AS ehail_fee, assumeNotNull(improvement_surcharge) AS improvement_surcharge, assumeNotNull(total_amount) AS total_amount, assumeNotNull(payment_type) AS payment_type_, assumeNotNull(trip_type) AS trip_type, pickup AS pickup, pickup AS dropoff, CAST(assumeNotNull(cab_type) AS Enum8('yellow' = 1, 'green' = 2)) AS cab_type, precipitation AS precipitation, snow_depth AS snow_depth, snowfall AS snowfall, max_temperature AS max_temperature, min_temperature AS min_temperature, average_wind_speed AS average_wind_speed, pickup_nyct2010_gid AS pickup_nyct2010_gid, pickup_ctlabel AS pickup_ctlabel, pickup_borocode AS pickup_borocode, pickup_boroname AS pickup_boroname, pickup_ct2010 AS pickup_ct2010, pickup_boroct2010 AS pickup_boroct2010, pickup_cdeligibil AS pickup_cdeligibil, pickup_ntacode AS pickup_ntacode, pickup_ntaname AS pickup_ntaname, pickup_puma AS pickup_puma, dropoff_nyct2010_gid AS dropoff_nyct2010_gid, dropoff_ctlabel AS dropoff_ctlabel, dropoff_borocode AS dropoff_borocode, dropoff_boroname AS dropoff_boroname, dropoff_ct2010 AS dropoff_ct2010, dropoff_boroct2010 AS dropoff_boroct2010, dropoff_cdeligibil AS dropoff_cdeligibil, dropoff_ntacode AS dropoff_ntacode, dropoff_ntaname AS dropoff_ntaname, dropoff_puma AS dropoff_puma FROM trips;
هذا هو ما بدا عليه مظهر اللمعان أثناء العملية:
ip-172-30-2-200 (Ubuntu 16.04 64bit / Linux 4.4.0-1072-aws) Uptime: 1:06:09 CPU 10.3% nice: 0.0% LOAD 36-core MEM 16.1% active: 13.3G SWAP 0.0% user: 7.9% irq: 0.0% 1 min: 1.87 total: 68.7G inactive: 52.8G total: 0 system: 1.6% iowait: 0.8% 5 min: 1.76 used: 11.1G buffers: 71.8M used: 0 idle: 89.7% steal: 0.0% 15 min: 1.95 free: 57.6G cached: 57.2G free: 0 NETWORK Rx/s Tx/s TASKS 367 (523 thr), 1 run, 366 slp, 0 oth sorted automatically by cpu_percent, flat view ens5 1Kb 8Kb lo 2Kb 2Kb CPU% MEM% VIRT RES PID USER NI S TIME+ IOR/s IOW/s Command 241.9 12.8 20.7G 8.78G 8091 clickhous 0 S 30:36.73 34M 125M /usr/bin/clickhouse-server
في الاختبار الأخير ، تم تحويل العديد من الأعمدة وإعادة فرزها. لقد وجدت أن بعض هذه الوظائف لم تعد تعمل بشكل صحيح في مجموعة البيانات هذه. لحل هذه المشكلة ، قمت بإزالة الوظائف غير المناسبة وقمت بتنزيل البيانات دون تحويل إلى أنواع أكثر تفصيلاً.
توزيع بيانات الكتلة
سأقوم بتوزيع البيانات عبر العقد الثلاثة للكتلة. بادئ ذي بدء ، سوف أقوم بإنشاء جدول على الأجهزة الثلاثة.
$ clickhouse-client
CREATE TABLE trips_mergetree_third ( trip_id UInt32, vendor_id String, pickup_date Date, pickup_datetime DateTime, dropoff_date Date, dropoff_datetime Nullable(DateTime), store_and_fwd_flag Nullable(FixedString(1)), rate_code_id Nullable(UInt8), pickup_longitude Nullable(Float64), pickup_latitude Nullable(Float64), dropoff_longitude Nullable(Float64), dropoff_latitude Nullable(Float64), passenger_count Nullable(UInt8), trip_distance Nullable(Float64), fare_amount Nullable(Float32), extra Nullable(Float32), mta_tax Nullable(Float32), tip_amount Nullable(Float32), tolls_amount Nullable(Float32), ehail_fee Nullable(Float32), improvement_surcharge Nullable(Float32), total_amount Nullable(Float32), payment_type Nullable(String), trip_type Nullable(UInt8), pickup Nullable(String), dropoff Nullable(String), cab_type Nullable(String), precipitation Nullable(Int8), snow_depth Nullable(Int8), snowfall Nullable(Int8), max_temperature Nullable(Int8), min_temperature Nullable(Int8), average_wind_speed Nullable(Int8), pickup_nyct2010_gid Nullable(Int8), pickup_ctlabel Nullable(String), pickup_borocode Nullable(Int8), pickup_boroname Nullable(String), pickup_ct2010 Nullable(String), pickup_boroct2010 Nullable(String), pickup_cdeligibil Nullable(FixedString(1)), pickup_ntacode Nullable(String), pickup_ntaname Nullable(String), pickup_puma Nullable(String), dropoff_nyct2010_gid Nullable(UInt8), dropoff_ctlabel Nullable(String), dropoff_borocode Nullable(UInt8), dropoff_boroname Nullable(String), dropoff_ct2010 Nullable(String), dropoff_boroct2010 Nullable(String), dropoff_cdeligibil Nullable(String), dropoff_ntacode Nullable(String), dropoff_ntaname Nullable(String), dropoff_puma Nullable(String) ) ENGINE = MergeTree(pickup_date, pickup_datetime, 8192);
بعد ذلك سوف أتأكد من أن الخادم الأول يمكنه رؤية العقد الثلاثة في المجموعة.
SELECT * FROM system.clusters WHERE cluster = 'perftest_3shards' FORMAT Vertical;
Row 1: ────── cluster: perftest_3shards shard_num: 1 shard_weight: 1 replica_num: 1 host_name: 172.30.2.192 host_address: 172.30.2.192 port: 9000 is_local: 1 user: default default_database:
Row 2: ────── cluster: perftest_3shards shard_num: 2 shard_weight: 1 replica_num: 1 host_name: 172.30.2.162 host_address: 172.30.2.162 port: 9000 is_local: 0 user: default default_database:
Row 3: ────── cluster: perftest_3shards shard_num: 3 shard_weight: 1 replica_num: 1 host_name: 172.30.2.36 host_address: 172.30.2.36 port: 9000 is_local: 0 user: default default_database:
بعد ذلك ،
trips_mergetree_third جدولًا جديدًا على الخادم الأول ، والذي يستند إلى
trips_mergetree_third ويستخدم المحرك الموزع.
CREATE TABLE trips_mergetree_x3 AS trips_mergetree_third ENGINE = Distributed(perftest_3shards, default, trips_mergetree_third, rand());
ثم سأقوم بنسخ البيانات من الجدول بناءً على MergeTree إلى الخوادم الثلاثة. يتم التالي في 34 دقيقة و 44 ثانية.
INSERT INTO trips_mergetree_x3 SELECT * FROM trips_mergetree;
بعد العملية أعلاه ، أعطيت ClickHouse 15 دقيقة للابتعاد عن الحد الأقصى لمستوى التخزين. انتهت دلائل البيانات إلى أن تكون 264 جيجابايت و 34 جيجابايت و 33 جيجابايت ، على التوالي ، على كل من الخوادم الثلاثة.
تقييم أداء مجموعة ClickHouse
ما رأيته بعد ذلك هو أسرع وقت رأيته عند تنفيذ كل استعلام عدة مرات في الجدول
trips_mergetree_x3 .
$ clickhouse-client
الانتهاء من التالي في 2.449 ثانية.
SELECT cab_type, count(*) FROM trips_mergetree_x3 GROUP BY cab_type;
الانتهاء من التالي في 0.691 ثانية.
SELECT passenger_count, avg(total_amount) FROM trips_mergetree_x3 GROUP BY passenger_count;
التالية الانتهاء في 0. 582 ثانية.
SELECT passenger_count, toYear(pickup_date) AS year, count(*) FROM trips_mergetree_x3 GROUP BY passenger_count, year;
اكتمال ما يلي في 0.983 ثانية.
SELECT passenger_count, toYear(pickup_date) AS year, round(trip_distance) AS distance, count(*) FROM trips_mergetree_x3 GROUP BY passenger_count, year, distance ORDER BY year, count(*) DESC;
للمقارنة ، قمت بإجراء نفس الاستعلامات في جدول قائم على MergeTree ، والذي يقع حصريًا على الخادم الأول.
تقييم أداء عقدة ClickHouse واحدة
ما رأيته بعد ذلك هو أسرع وقت رأيته عند تنفيذ كل استعلام عدة مرات في الجدول
trips_mergetree_x3 .
اكتمال ما يلي في 0.241 ثانية.
SELECT cab_type, count(*) FROM trips_mergetree GROUP BY cab_type;
اكتمال ما يلي في 0.826 ثانية.
SELECT passenger_count, avg(total_amount) FROM trips_mergetree GROUP BY passenger_count;
اكتمل ما يلي في 1.209 ثانية.
SELECT passenger_count, toYear(pickup_date) AS year, count(*) FROM trips_mergetree GROUP BY passenger_count, year;
الانتهاء من التالي في 1.781 ثانية.
SELECT passenger_count, toYear(pickup_date) AS year, round(trip_distance) AS distance, count(*) FROM trips_mergetree GROUP BY passenger_count, year, distance ORDER BY year, count(*) DESC;
تأملات في النتائج
هذه هي المرة الأولى التي تتمكن فيها قاعدة بيانات مجانية تعتمد على المعالج من التفوق على قاعدة بيانات GPU في اختباراتي. خضعت قاعدة البيانات المستندة إلى GPU لمراجعين منذ ذلك الحين ، لكن الأداء الذي أظهرته ClickHouse على عقدة واحدة مثير للإعجاب للغاية.
في نفس الوقت ، عند تشغيل Query 1 على محرك موزع ، تكون النفقات العامة أعلى من حيث الحجم. آمل أن أفتقد شيئًا ما في بحثي لهذا المنشور ، لأنه سيكون من الجيد أن نرى كيف يتناقص وقت الاستعلام عند إضافة المزيد من العقد إلى المجموعة. ومع ذلك ، فمن اللافت للنظر أنه عند إجراء استفسارات أخرى ، زادت الإنتاجية بحوالي 2 مرات.
سيكون من الرائع أن تتطور ClickHouse بحيث يكون من الممكن فصل التخزين والحوسبة حتى يتسنى لهما التوسع بشكل مستقل. دعم HDFS ، الذي تمت إضافته العام الماضي ، يمكن أن يكون خطوة نحو هذا. بالنسبة للحوسبة ، إذا كان من الممكن تسريع طلب واحد بإضافة المزيد من العقد إلى المجموعة ، فسيكون مستقبل هذا البرنامج مشرقًا للغاية.
شكرا لأخذ الوقت الكافي لقراءة هذا المنصب. أقدم خدمات الاستشارات والهندسة المعمارية والتطوير العملي للعملاء في أمريكا الشمالية وأوروبا. إذا كنت ترغب في مناقشة كيف يمكن أن تساعد اقتراحاتي عملك ، فاتصل بي عبر
LinkedIn .