Apple memperbaiki bug dan menuduh Consumer Reports metodologi pengujian yang salah

Pengaturan Safari yang sama, yang menyebabkan perselisihan

Dua minggu lalu, penggemar produk "apel" dikejutkan oleh berita tersebut: MacBook baru untuk pertama kalinya tidak menerima rekomendasi dari Consumer Reports untuk pembelian.

Laptop Apple kualitas tertinggi diketahui semua orang. Peretas terbaik menggunakan teknik ini, bahkan jika Anda harus menginstal ulang sistem operasi. Belum ada satu kasus pun bahwa laptop tidak menerima rekomendasi untuk membeli Laporan Konsumen. Tetapi ini terjadi dengan jajaran MacBook Pro terbaru karena hasil yang bertentangan pada usia baterai saat membuka situs di peramban Safari.

Segera pikiran itu merayap bahwa ada semacam kesalahpahaman. Dan begitulah yang terjadi - Apple menemukan dan memperbaiki bug yang sangat aneh. Tetapi sekarang dia menyalahkan para ahli Consumer Reports yang “terlalu pintar” yang berhasil mengungkapkan bug ini. Seperti, mereka memiliki metodologi yang salah. Siapa yang benar

Hasil itu ternyata sangat aneh. Nilailah sendiri. MacBook Pro 13-inci dengan touchbar bekerja 16 jam pada tes pertama, 12,75 jam pada tes kedua dan 3,75 jam pada tes ketiga.

MacBook Pro 13-inch tanpa touchbar bekerja 19,5 jam di tes pertama dan 4,5 jam di tes kedua.

Untuk model 15 inci, indikatornya adalah 18,5 dan 8 jam.

Tes terdiri dari jumlah siklus tak terbatas untuk membuka 10 halaman di browser, yang ditransmisikan dari server lokal melalui WiFi. Siklus dimulai ketika baterai terisi penuh, dan berakhir ketika laptop dimatikan. Pengujian dilakukan pada browser standar (dalam hal ini, Safari) pada OS dengan tambalan terbaru. Verifikasi dimulai beberapa minggu yang lalu, kemudian dilanjutkan setelah rilis macOS Sierra 10.12.2, tetapi tidak ada perbedaan.

Perwakilan Consumer Reports menjelaskan bahwa biasanya perbedaan antara hasil tes yang sama tidak melebihi 5%, dan di sini perbedaannya terlalu besar.

Sekarang, dalam komentar pers, Apple menjelaskan apa itu : "Selama pengujian baterai, Consumer Reports menggunakan pengaturan tersembunyi untuk pengembang alih-alih pengaturan normal yang digunakan orang setiap hari."

Ini tentang pengaturan yang menonaktifkan cache di browser. Para ahli majalah terkemuka secara khusus mematikan cache untuk membuat hasil tes lebih realistis, karena selama tes script mengunduh set situs yang sama melalui WiFi. Jika mereka membiarkan cache tetap hidup, masa pakai baterai tidak akan menunjukkan keadaan sebenarnya, karena saat memuat situs dari cache, transfer data melalui WiFi tidak terlibat.

Mengunduh situs dengan cache yang dinonaktifkan di browser adalah metodologi pengujian yang sepenuhnya valid dan logis.

Tapi yang tak terduga terjadi di sini. Seperti yang ditunjukkan oleh penyelidikan bersama antara Apple dan Consumer Reports, aktivasi pengaturan khusus untuk pengembang ini secara bersamaan memicu bug "tidak jelas dan terputus-putus" yang memuat ulang ikon(untuk deskripsi bug yang lebih terperinci, lihat temuan komentar pengguna ). Inilah alasan yang menjelaskan hasil tes yang tidak biasa untuk masa pakai baterai. Saat menjalankan tes dengan pengaturan normal, bug tidak muncul. Pada akhirnya, Apple sekarang telah memperbaiki bug yang tidak menguntungkan ini, sehingga Consumer Reports dapat sekali lagi mengujinya dan memberi MacBook peringkat tinggi yang layak dan rekomendasi untuk pembelian. Tetapi Apple dan Consumer Reports melihat masalah tes secara berbeda. Apple percaya bahwa masalahnya ada pada metodologi mereka, dan Consumer Reports mengatakan bahwa laptop gagal dalam tes karena bug .









Dalam pembelaan metodologi, Consumer Reports menulis bahwa mereka menguji semua laptop dengan cara yang seragam. Dan karena tidak mungkin untuk meniru perilaku pengguna - setiap orang menggunakan laptop dengan cara yang berbeda, tes masa pakai baterai mereka tidak dimaksudkan sebagai emulasi langsung perilaku pengguna. Sebaliknya, mereka dirancang untuk memperhitungkan jumlah maksimum variabel dan menghasilkan hasil yang sedekat mungkin dengan kenyataan dengan beban rata-rata prosesor, memori, transceiver laptop, dan operasi tampilan. "Tes ini berfungsi sebagai indikator yang baik untuk daya tahan baterai pada ratusan laptop di peringkat kami," tulis Consumer Reports. Tapi tidak untuk MacBook.

Patch Browser Safari Diterbitkan pada Program Perangkat Lunak Apple Betadan tersedia untuk anggota program ini. Setelah pengujian beta, dalam beberapa minggu pembaruan akan dikirim ke komputer semua pengguna melalui program pembaruan otomatis. Mungkin memperbaiki bug aneh akan membantu para pengguna yang mengeluh di forum tentang masa pakai baterai laptop yang terlalu pendek, yang hanya muncul sesekali.

Beberapa bug dalam perangkat lunak modern sangat aneh sehingga hampir tidak mungkin untuk mengidentifikasi penyebab sebenarnya dan menentukan kapan mereka akan muncul. Tampaknya bug di Safari ini hanyalah salah satunya.

Tetapi sekali lagi, perhatikan bagaimana profesionalnya mesin PR Apple bekerja.. Para ahli menyajikan situasinya sedemikian rupa sehingga sama sekali bukan bug Safari. Menurut mereka, Consumer Reports memiliki masalah dalam metodologi, dan Apple membantu mereka mengidentifikasi masalah ini untuk membuka mata mereka terhadap penguji yang tidak terurai dan tidak masuk akal.

Source: https://habr.com/ru/post/id400521/