Geekly articles weekly

Bagaimana statistik server Internet dan nama domain rumah tinggal?

Perute rumah (dalam hal ini FritzBox) tahu cara mendaftar banyak: berapa banyak lalu lintas saat berjalan, siapa yang terhubung dengan kecepatan apa, dll. Untuk mengetahui apa yang disembunyikan di bawah alamat aneh, saya dibantu oleh server nama domain (DNS) di jaringan lokal.

Secara umum, DNS memiliki dampak positif pada jaringan rumah: menambah kecepatan, ketahanan, dan pengelolaan.

Di bawah ini adalah bagan yang menimbulkan pertanyaan dan kebutuhan untuk memahami apa yang terjadi. Hasilnya telah memfilter kueri terkenal dan berfungsi ke server nama domain.

Mengapa 60 domain gelap disurvei setiap hari saat mereka masih tidur?

Setiap hari, 440 domain tidak dikenal disurvei dalam waktu aktif. Siapa mereka dan apa yang mereka lakukan?

Pencarian harian rata-rata per jam


gambar

Permintaan laporan SQL
WITH CLS AS ( /* prepare unique requests */ SELECT DISTINCT DATE_NK, STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' || CASE SUBSTR(DATE_NK,4,3) WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06' WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11' ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT, REQUEST_NK, DOMAIN FROM STG_BIND9_LOG ) SELECT 1 as 'Line: DNS Requests per Day for Hours', strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) AS 'Day', ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS 'Requests per Day' FROM CLS WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org') AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days') GROUP BY /* hour aggregate */ strftime('%H:00', datetime(EVENT_DT, 'unixepoch')) ORDER BY strftime('%H:00', datetime(EVENT_DT, 'unixepoch'))



Pada malam hari, akses nirkabel dinonaktifkan dan aktivitas perangkat diharapkan, yaitu tidak ada survei domain tidak dikenal. Ini berarti bahwa sebagian besar aktivitas berasal dari perangkat dengan sistem operasi seperti Android, iOS dan Blackberry OS.

Buat daftar domain yang disurvei secara intensif. Intensitas akan ditentukan oleh parameter seperti jumlah permintaan per hari, jumlah hari aktivitas, dan berapa jam dalam sehari diketahui.

Semua tersangka yang diharapkan muncul di daftar.

Domain yang disurvei secara intensif


gambar

Permintaan laporan SQL
 WITH CLS AS ( /* prepare unique requests */ SELECT DISTINCT DATE_NK, STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' || CASE SUBSTR(DATE_NK,4,3) WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06' WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11' ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT, REQUEST_NK, DOMAIN FROM STG_BIND9_LOG ) SELECT 1 as 'Table: Havy DNS Requests', REQUEST_NK AS 'Request', DOMAIN AS 'Domain', REQ AS 'Requests per Day', DH AS 'Hours per Day', DAYS AS 'Active Days' FROM ( SELECT REQUEST_NK, MAX(DOMAIN) AS DOMAIN, COUNT(DISTINCT REQUEST_NK) AS SUBD, COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS, ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ, ROUND(1.0*COUNT(DISTINCT strftime('%d.%m %H', datetime(EVENT_DT, 'unixepoch')))/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS DH FROM CLS WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org') AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days') GROUP BY REQUEST_NK ) WHERE DAYS > 9 -- long period ORDER BY 4 DESC, 5 DESC LIMIT 20



Kami memblokir ic.blackberry.com dan iceberg.blackberry.com, yang akan dibenarkan pabrikan untuk alasan keamanan. Hasil: ketika Anda mencoba untuk terhubung ke WLAN, itu menunjukkan halaman login dan tidak pernah terhubung lagi. Buka kunci.

detectportal.firefox.com adalah mekanisme yang sama, hanya diterapkan di browser Firefox. Jika perlu, masuk ke WLAN, tampilkan halaman login terlebih dahulu. Tidak sepenuhnya jelas mengapa ping alamat begitu sering, tetapi mekanisme tersedia dari pabrikan.

skype. Tindakan program ini mirip dengan worm: ia bersembunyi dan tidak membiarkan dirinya terbunuh di taskbar, ia menghasilkan banyak lalu lintas di jaringan, ping 4 domain setiap 10 menit. Saat melakukan panggilan video, koneksi Internet terus-menerus bergerak, ketika itu tidak bisa lebih baik lagi. Meskipun perlu, jadi itu tetap ada.

upload.fp.measure.office.com - merujuk ke Office 365, tidak menemukan deskripsi yang layak.
browser.pipe.aria.microsoft.com - tidak menemukan deskripsi yang layak.
Keduanya menghalangi.

connect.facebook.net adalah aplikasi obrolan facebook. Masih ada.

mediator.mail.ru Analisis dari semua permintaan domain mail.ru menunjukkan keberadaan sejumlah besar sumber daya periklanan dan pengumpul statistik, yang menyebabkan ketidakpercayaan. Domain mail.ru sepenuhnya masuk daftar hitam.

google-analytics.com - tidak memengaruhi fungsionalitas perangkat, oleh karena itu kami memblokirnya.
doubleclick.net - menghitung klik iklan. Kami memblokir.

Banyak permintaan masuk ke googleapis.com. Memblokir menyebabkan terputusnya sukacita pesan singkat di tablet yang tampak konyol bagi saya. Tetapi playstore berhenti bekerja, jadi kami membukanya.

cloudflare.com - mereka menulis bahwa mereka menyukai kode sumber terbuka dan, secara umum, menulis banyak tentang diri mereka sendiri. Intensitas survei domain, yang seringkali jauh lebih tinggi daripada aktivitas di Internet, tidak sepenuhnya jelas. Mari kita tinggalkan untuk sekarang.

Dengan demikian, intensitas permintaan sering dikaitkan dengan fungsionalitas perangkat yang diperlukan. Tetapi mereka yang overdid dengan aktivitas juga ditemukan.

Pertama sekali


Pada saat menyalakan Internet nirkabel, mereka masih tidur dan ada kesempatan untuk melihat permintaan mana yang dikirim ke jaringan terlebih dahulu. Jadi, pada 6:50, Internet menyala dan dalam periode sepuluh menit pertama 60 domain disurvei setiap hari:

gambar

Permintaan laporan SQL
 WITH CLS AS ( /* prepare unique requests */ SELECT DISTINCT DATE_NK, STRFTIME( '%s', SUBSTR(DATE_NK,8,4) || '-' || CASE SUBSTR(DATE_NK,4,3) WHEN 'Jan' THEN '01' WHEN 'Feb' THEN '02' WHEN 'Mar' THEN '03' WHEN 'Apr' THEN '04' WHEN 'May' THEN '05' WHEN 'Jun' THEN '06' WHEN 'Jul' THEN '07' WHEN 'Aug' THEN '08' WHEN 'Sep' THEN '09' WHEN 'Oct' THEN '10' WHEN 'Nov' THEN '11' ELSE '12' END || '-' || SUBSTR(DATE_NK,1,2) || ' ' || SUBSTR(TIME_NK,1,8) ) AS EVENT_DT, REQUEST_NK, DOMAIN FROM STG_BIND9_LOG ) SELECT 1 as 'Table: First DNS Requests at 06:00', REQUEST_NK AS 'Request', DOMAIN AS 'Domain', REQ AS 'Requests', DAYS AS 'Active Days', strftime('%H:%M', datetime(MIN_DT, 'unixepoch')) AS 'First Ping', strftime('%H:%M', datetime(MAX_DT, 'unixepoch')) AS 'Last Ping' FROM ( SELECT REQUEST_NK, MAX(DOMAIN) AS DOMAIN, MIN(EVENT_DT) AS MIN_DT, MAX(EVENT_DT) AS MAX_DT, COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))) AS DAYS, ROUND(1.0*SUM(1)/COUNT(DISTINCT strftime('%d.%m', datetime(EVENT_DT, 'unixepoch'))), 1) AS REQ FROM CLS WHERE DOMAIN NOT IN ('in-addr.arpa', 'IN-ADDR.ARPA', 'local', 'dyndns', 'nas', 'ntp.org') AND datetime(EVENT_DT, 'unixepoch') > date('now', '-20 days') AND strftime('%H', datetime(EVENT_DT, 'unixepoch')) = strftime('%H', '2019-08-01 06:50:00') GROUP BY REQUEST_NK ) WHERE DAYS > 3 -- at least 4 days activity ORDER BY 5 DESC, 4 DESC


Firefox memeriksa koneksi WLAN untuk halaman login.
Citrix ping servernya, meskipun aplikasi tidak aktif berjalan.
Symantec memverifikasi sertifikat.
Mozilla memeriksa pembaruan, meskipun dalam pengaturan dia meminta untuk tidak melakukan ini.

mmo.de adalah layanan game. Kemungkinan besar permintaan memulai obrolan facebook. Kami memblokir.

Apple mengaktifkan semua layanannya. api-glb-fra.smoot.apple.com - dilihat dari deskripsi, setiap klik tombol dikirim ke sini untuk optimisasi mesin pencari. Sangat mencurigakan, tetapi terkait dengan fungsionalitas. Kita pergi.

Berikut ini adalah daftar panjang panggilan ke microsoft.com. Semua domain, mulai dari tingkat ketiga, diblokir.

Jumlah subdomain pertama
gambar

Jadi, 10 menit pertama menyalakan Internet nirkabel.
Sebagian besar subdomain disurvei oleh iOS - 32. Ini diikuti oleh Android - 24, lalu Windows - 15 dan Blackberry terakhir - 9.
Aplikasi Facebook saja mengumpulkan 10 domain, skype polling 9 domain.

Sumber informasi


Sumber untuk analisis adalah file log dari server bind9 lokal, yang berisi format berikut:
 01-Aug-2019 20:03:30.996 client 192.168.0.2#40693 (api.aps.skype.com): query: api.aps.skype.com IN A + (192.168.0.102)

File diimpor ke dalam database sqlite dan dianalisis menggunakan query SQL.
Server bertindak sebagai cache, permintaan datang dari router, sehingga klien permintaan selalu sendirian. Struktur tabel yang cukup disederhanakan, mis. untuk laporan Anda memerlukan waktu permintaan, permintaan itu sendiri dan domain tingkat kedua untuk pengelompokan.

Tabel DDL
 CREATE TABLE STG_BIND9_LOG ( LINE_NK INTEGER NOT NULL DEFAULT 1, DATE_NK TEXT NOT NULL DEFAULT 'na', TIME_NK TEXT NOT NULL DEFAULT 'na', CLI TEXT, -- client IP TEXT, REQUEST_NK TEXT NOT NULL DEFAULT 'na', -- requested domain DOMAIN TEXT NOT NULL DEFAULT 'na', -- domain second level QUERY TEXT, UNIQUE (LINE_NK, DATE_NK, TIME_NK, REQUEST_NK) );



Kesimpulan


Dengan demikian, sebagai hasil dari analisis log server nama domain, lebih dari 50 catatan disensor dan ditempatkan pada daftar untuk diblokir.

Kebutuhan akan beberapa pertanyaan telah dijelaskan dengan baik oleh produsen perangkat lunak dan menginspirasi kepercayaan. Namun, sebagian besar kegiatan itu tidak masuk akal dan dipertanyakan.

Source: https://habr.com/ru/post/id463851/

More articles:


All Articles