Topik administrasi cluster Cloudera cukup luas dan tidak mungkin untuk membahasnya dalam satu artikel. Dalam posting ini kami akan fokus pada instruksi untuk memecahkan masalah paling umum yang terkait dengan cluster dan layanan yang diinstal di dalamnya, dan untuk menyelam lebih dalam, saya sarankan merujuk pada dokumentasi resmi dan forum. Di sana Anda dapat menemukan informasi tentang hampir semua masalah.
Peluncuran cluster
Pada halaman muka Cloudera Manager, klik tombol dengan panah di sebelah kanan nama cluster dan pilih Mulai:
Cluster restart
Kami melakukan hal yang sama seperti paragraf sebelumnya dan pilih Restart.
Cluster berhenti
Kami melakukan hal yang sama seperti paragraf sebelumnya dan pilih Berhenti.
Meluncurkan Peran Layanan
Pada halaman beranda Cloudera Manager, klik tombol Cluster dan pilih layanan di cluster yang diinginkan yang perannya ingin Anda jalankan:
Buka tab Mesin Virtual dari layanan ini:
Peran layanan memiliki status di sebelah kanan nama mereka. Peran yang dihentikan terkait dengan Dihentikan. Dalam tabel, kami mencatat peran layanan yang perlu diluncurkan:
Klik tombol Tindakan untuk Dipilih dan pilih Mulai:
Tekan tombol Mulai untuk mengkonfirmasi mulai:
Restart Peran Layanan
Ulangi langkah-langkah dari paragraf sebelumnya dan pilih Restart setelah mengklik tombol Tindakan untuk Dipilih.
Hentikan Peran Layanan
Kami melakukan hal yang sama seperti paragraf sebelumnya dan memilih Berhenti setelah mengklik tombol Tindakan untuk Dipilih.
Menambahkan Peran
Pada halaman beranda Cloudera Manager, klik tombol Cluster dan pilih layanan di cluster yang diinginkan yang Anda perlu tambahkan peran:
Buka tab Mesin Virtual dari layanan ini dan klik Tambahkan Mesin Virtual Peran:
Untuk peran yang ingin Anda tambahkan, pilih host tempat mereka perlu diinstal:
Kami mengkonfirmasi pemasangan peran yang dipilih pada host yang ditentukan:
Penghapusan Peran
Pada halaman beranda Cloudera Manager, klik tombol Cluster dan pilih layanan di cluster yang diinginkan yang ingin Anda hapus perannya:
Buka tab Mesin Virtual dari layanan ini:
Kami mencatat peran yang perlu dihapus (setelah sebelumnya menghentikannya):
Klik tombol Tindakan untuk Dipilih dan pilih Hapus:
Konfirmasikan penghapusan dengan mengklik tombol Hapus:
Menambahkan Layanan
Menambahkan layanan sudah dijelaskan dalam paragraf "Memasang parsel tambahan", jadi kami tidak akan membahas proses ini secara terperinci.
Penghapusan Layanan
Pada halaman beranda Cloudera Manager, klik tombol Cluster dan pilih layanan di cluster yang ingin Anda hapus:
Buka tab Mesin Virtual dari layanan ini:
Kami mencatat peran aktif:
Klik tombol Tindakan untuk Dipilih dan pilih Berhenti:
Konfirmasikan berhenti dengan menekan tombol Stop:
Buka halaman beranda Cloudera Manager, klik tombol dengan panah di sebelah kanan nama layanan yang ingin Anda hapus, dan pilih Hapus:
Konfirmasikan penghapusan dengan mengklik tombol Hapus:
Menyebarkan kembali layanan setelah mengubah file konfigurasi
Setelah mengubah file konfigurasi layanan, Anda harus menggunakan kembali layanan ini. Dalam hal ini, simbol file dengan panah akan muncul di sebelah kanan layanan yang sesuai. Klik di atasnya:
Di sudut kanan bawah, klik Mulai Ulang Layanan Basi:
Kami mengkonfirmasi restart dengan mengklik Restart Now di sudut kanan bawah. Jika Anda tidak perlu memperluas konfigurasi klien, hapus kotak centang di halaman ini:
Halaman mulai ulang menampilkan status layanan yang dapat dimulai kembali. Dalam hal konfigurasi yang salah, dengan mengklik panah di sebelah kanan tugas, perincian kesalahan akan tersedia. Setelah restart selesai, klik Selesai:
Konfigurasikan Alat Pemantauan
Saat menambahkan host ke kluster, Cloudera Manager menginstal agennya pada mereka, yang memungkinkan pemantauan metrik sistem mesin ini. Grafik semua metrik yang dikumpulkan tersedia di tab Charts Library di bagian All Hosts \ Hostname. Cloudera Manager juga memiliki mekanisme yang fleksibel untuk memvisualisasikan metrik berdasarkan permintaan SQL dan filter, yang memungkinkan Anda untuk dengan mudah dan cepat membuat pilihan monitor di layar beranda yang memberikan gambaran sistem yang cukup lengkap. Pertimbangkan mekanisme ini dengan contoh menambahkan grafik dari salah satu metrik sistem ke beranda.
Pada halaman beranda Cloudera Manager, klik tombol Host dan pilih Semua Host:
Pilih server yang monitor metriknya ingin kita tambahkan:
Pilih salah satu grafik, klik tombol dengan roda gigi di sudut kanan atas dan pilih Tambahkan ke Dasbor (dengan cara yang sama, Anda dapat pergi ke tab Perpustakaan Pustaka dan pilih grafik yang diperlukan dari katalog lengkap):
Tentukan nama bagan (Anda dapat membiarkannya secara default), pilih panel tempat kami ingin meletakkannya (untuk menempatkannya di halaman muka Manajer Cloudera, pilih Halaman Beranda) dan klik Simpan Bagan:
Setelah itu, bagan yang dipilih muncul pada panel yang sesuai:
Jika perlu, bagan yang ditambahkan dapat diubah dengan mengklik tombol roda gigi di sudut kanan atas dan memilih Open in Chart Builder.
Kesimpulan
Setelah mengatur pemantauan, cluster Cloudera siap untuk operasi: Anda dapat menjalankan tugas memuat data, mentransformasikannya, dan menghubungkan alat Data Mining. Dan meskipun masih ada jalan panjang untuk mencapai tujuan akhir, titik ini dapat dianggap sebagai titik awal.
Sebagai hasil dari proyek ini, adalah mungkin untuk mencapai semua tujuan: tugas rutin karyawan departemen untuk menghitung faktor risiko kredit terotomatisasi, dan para ilmuwan data memperoleh alat "berkualitas tinggi" untuk kolaborasi. Dalam perjalanan ke tujuan-tujuan ini, ada juga banyak nuansa dan saat-saat sulit yang dengan senang hati akan saya bagikan kepada Anda di bagian-bagian berikut. Mereka akan didedikasikan untuk membangun integrasi berkelanjutan untuk mempercepat proses pengembangan, serta menginstal dan mengkonfigurasi alat Data Mining.
Sebagai kesimpulan, saya ingin mengatakan bahwa bekerja dengan tumpukan aplikasi yang dibentuk di sekitar Apache Hadoop tidak selalu sederhana, tetapi sangat menarik. Teknologi mereka membuka banyak peluang dan telah membentuk komunitas yang cukup besar di sekitar mereka, yang selalu siap membantu di masa-masa sulit. Sedikit latihan dan Anda akan berhasil.
NB Pada artikel selanjutnya saya akan memberi tahu Anda cara mengatur integrasi berkelanjutan yang efektif untuk proyek-proyek dengan pengembangan di bawah CDH. Sampai ketemu lagi!
Tautan ke artikel sebelumnya:
Gudang data terdistribusi dalam konsep Danau Data: mulai dari mana
Gudang Data Terdistribusi dalam Konsep Danau Data: Memasang CDH