Tantangan

Halo, Habr! Saya menjadi tertarik pada keterampilan untuk Alice dan mulai berpikir manfaat apa yang bisa mereka bawa. Ada banyak permainan keren yang berbeda di situs ini (termasuk milik saya), tetapi saya ingin membuat alat kerja yang benar-benar dibutuhkan dalam eksekusi suara, dan tidak hanya menyalin chatbot yang ada dengan tombol.

Suara itu relevan ketika tangan sibuk, atau Anda perlu melakukan banyak operasi sekuensial, terutama pada layar ponsel. Maka muncul gagasan keterampilan, yang, dengan satu perintah, mengekstraksi indikasi tanggal dan waktu dari teks dan menambahkan acara dengan teks ini ke Kalender Google . Misalnya, jika pengguna mengatakan lusa pukul 11 ​​malam akan ada matahari terbenam yang indah , maka garis akan ada matahari terbenam yang indah di kalender untuk lusa pukul 23:00.

Di bawah pemotong adalah deskripsi algoritma perpustakaan Hors : pengenal tanggal dan waktu dalam pidato Rusia alami. Kuda adalah dewa matahari Slavia.

Github | Nuget

Solusi yang ada

dateparser dengan Python
Dukungan untuk bahasa Rusia dinyatakan, tetapi dalam bahasa Rusia perpustakaan bahkan tidak dapat mengatasi hal-hal dasar:

>>> import dateparser >>> dateparser.parse(u'13  2015 .  13:34') datetime.datetime(2015, 1, 13, 13, 34) >>> dateparser.parse(u' ') >>> dateparser.parse(u'    9 ') >>> dateparser.parse(u'13 ') datetime.datetime(2019, 10, 13, 0, 0) >>> dateparser.parse(u'13   9 ') 

kronis di Ruby
Sebuah perpustakaan yang dikenal oleh para rubis, yang, menurut mereka, melakukan tugasnya dengan sempurna. Tetapi dukungan untuk Rusia tidak ditemukan.

Asisten Google
Karena kita berbicara tentang menambahkan suara ke Kalender Google, kami bertanya, mengapa tidak menggunakan Asisten? Itu mungkin, tetapi gagasan proyek ini adalah melakukan pekerjaan dalam satu frasa tanpa gerakan dan ketukan yang tidak perlu. Dan melakukannya dengan andal. Asisten memiliki masalah dengan ini untuk saat ini:

Preset

Saya menulis perpustakaan di .NETStandard 2.0 (C #) . Karena perpustakaan awalnya dibuat untuk Alice, semua angka dalam teks seharusnya berupa angka, karena Alice melakukan konversi ini secara otomatis. Jika Anda memiliki angka dalam string, maka ada artikel Doomer3D yang luar biasa tentang cara mengubah kata menjadi angka.

Morfologi

Ketika bekerja dengan input suara, cara yang paling dapat diandalkan untuk membedakan kata yang benar dari yang salah adalah dengan menggunakan bentuk kata. Seorang teman dan saya membicarakan hal ini lebih detail dalam tutorial video untuk Sekolah Alice dari Yandex. Pada artikel ini, saya akan meninggalkan pekerjaan layar dengan bentuk kata. Konstruksi seperti itu akan muncul dalam kode:

 Morph.HasOneOfLemmas(t, "", "", ""); 

Fungsi ini mengembalikan true jika kata t adalah salah satu dari tiga kata berikut, misalnya: lampau , lampau , sebelumnya .

Teori

Untuk memahami cara menangkap tanggal dalam teks, Anda perlu membuat daftar frasa khas yang kami gunakan untuk menunjukkan tanggal dalam percakapan nyata. Sebagai contoh:

- Aku akan jalan-jalan besok
- Aku akan jalan-jalan besok malam
- Kamis depan saya pergi ke bioskop
- Kamis depan jam 9 malam saya pergi ke bioskop
- Pertemuan 21 Maret pukul 10 pagi

Kita melihat bahwa kata-kata secara keseluruhan dibagi menjadi tiga jenis:

1. Yang selalu merujuk pada tanggal dan waktu (nama bulan dan hari)
2. Kata-kata yang berhubungan dengan tanggal dan waktu pada posisi tertentu relatif terhadap kata-kata lain ("hari", "malam", "berikutnya", angka)
3. Mereka yang tidak pernah berkencan dan waktu

Dengan yang pertama dan terakhir, semuanya jelas, tetapi dengan yang kedua ada kesulitan. Versi asli dari algoritma ini adalah kode spaghetti yang mengerikan dengan sejumlah besar if , karena saya mencoba memperhitungkan semua kemungkinan kombinasi dan permutasi dari kata-kata yang saya butuhkan, tetapi kemudian saya menemukan pilihan yang lebih baik. Faktanya adalah bahwa manusia telah menemukan sebuah sistem yang memungkinkan Anda untuk dengan cepat dan mudah memperhitungkan permutasi akun dan kombinasi karakter: mesin ekspresi reguler.

Memasak garis

Kami memecah garis menjadi token, menghapus tanda baca dan mengurangi semuanya menjadi huruf kecil. Setelah itu, kami mengganti setiap token yang tidak kosong dengan satu karakter untuk membuatnya lebih mudah untuk bekerja dengan ekspresi reguler.

Inilah yang terjadi untuk baris yang kami sebutkan:

Pengakuan

- Oh, ngeri! - Anda berkata, - Itu hanya menjadi lebih buruk! Omong kosong dan seseorang tidak bisa mengerti. Ya, saya harus membuat beberapa kompromi antara kenyamanan membaca oleh seseorang dan kenyamanan bekerja dengan pelanggan tetap, lihat persis di bawah ini caranya.

Kemudian kami menerapkan pola yang disebut rantai tugas : array data input dimasukkan secara berurutan ke prosesor yang berbeda, yang mungkin atau mungkin tidak mengubahnya dan mengirimkannya lebih lanjut. Saya memanggil Handler Recognizer dan membuat handler tersebut untuk setiap varian dari frasa khas (seperti yang bagi saya) berkaitan dengan tanggal dan waktu.

Recognizer mencari pola regex yang diberikan dalam string dan meluncurkan fungsi pemrosesan untuk setiap kecocokan yang ditemukan yang dapat memodifikasi string input dan menambahkan tanggal yang tertangkap ke array khusus.

Selain itu, penangan harus dipanggil dalam urutan yang benar: dari yang lebih "percaya diri" hingga yang kurang. Misalnya, di awal, Anda harus menjalankan penangan yang terkait dengan kata-kata "ketat" yang persis berkaitan dengan tanggal: nama-nama hari, bulan, kata-kata seperti "besok", "lusa," dan seterusnya. Dan pada akhirnya, penangan yang mencoba menentukan dengan saldo mentah apakah ada hal lain yang terkait dengan tanggal tersebut.

Sebagai contoh:

Tanggal dan bulan

 "((0N?)+)(M|#)"; // 24, 25, 26...  27 / 

Di sini pesona menggunakan ekspresi reguler mulai terwujud. Dengan cara yang cukup sederhana, kami telah mengidentifikasi urutan token yang kompleks: jumlah bukan-nol dari jumlah non-negatif yang kurang dari 1901 saling mengikuti, mungkin dipisahkan oleh penyatuan "dan", dan baik nama bulan atau kata "angka" berikut.

Selain itu, dalam grup pertandingan, kami segera menangkap elemen tertentu, jika ada, dan tidak menangkap jika tidak ada, dan dari set ini kami menyusun tanggal akhir. Dalam kode di bawah ini, akan ada bagian yang tidak dapat dipahami terkait dengan fungsi Fix , FixPeriod , kita akan beralih ke ini di akhir artikel.

Selang waktu

 "(i)?((0?[Ymwdhe]N?)+)([bl])?"; // ()     2  4  10  (/) 

Penting untuk dicatat bahwa kadang-kadang hanya fakta kebetulan dengan musim reguler tidak cukup, dan Anda masih perlu menambahkan beberapa logika ke pawang. Meskipun, dimungkinkan untuk membuat dua penangan terpisah untuk kasus-kasus seperti itu, tetapi bagi saya itu kelihatannya berlebihan. Sebagai hasilnya, saya mencocokkan awal "melalui" dan akhir "nanti / mundur", tetapi kode pawang dimulai dengan cek:

 if (match.Groups[1].Success ^ match.Groups[4].Success) 

Di mana ^ adalah OR eksklusif.

Omong-omong, agar fungsi-fungsi tersebut berfungsi, engine perlu mentransfer tanggal pengguna saat ini.

Tahun

 "(1)Y?|(0)Y"; // [] 15 /2017 () 

Saya tidak bisa sekali lagi mencatat kenyamanan pendekatan dengan pelanggan tetap. Sekali lagi, dengan ekspresi sederhana, kami segera menunjukkan opsi: pengguna menyebutkan nomor yang mirip dengan tahun, tetapi tanpa kata "tahun", atau pengguna menyebutkan nomor dua digit (yang bisa berupa tanggal), tetapi menambahkan kata "tahun", dan dukungan untuk ekspresi "di 18 tahun, "namun, kami tidak tahu apakah artinya 1918 atau 2018, jadi kami percaya bahwa 2018.

Waktu

 "([rvgd])?([fot])?(Q|H)?(h|(0)(h)?)((0)e?)?([rvgd])?"; // (//) (/) /9 () (30 ()) (///) 

Ungkapan yang paling sulit dalam koleksi saya bertanggung jawab atas frasa untuk menunjukkan waktu hari, dari ketat pada 9 jam 30 menit hingga seperempat hingga 11 malam

Semua penangan dalam urutan aplikasi

Sistem ini modular, dapat dipahami bahwa Anda dapat menambah / menghapus penangan, mengubah urutannya, dan sebagainya. Saya membuat 11 ini (dari atas ke bawah dalam urutan aplikasi):

¹ "" "" "" " ",

Jahit bersama

Oke, kami mendefinisikan beberapa token waktu-waktu dasar. Tetapi sekarang kita masih perlu memperhitungkan semua kombinasi dari semua jenis token: pengguna dapat memberi nama hari pertama, dan kemudian waktu. Atau sebutkan bulan dan hari. Jika dia mengatakan hanya waktu, maka mungkin ini tentang hari ini, dan seterusnya. Untuk melakukan ini, kami datang dengan konsep fiksasi .

Perbaikan dalam kasus kami adalah bitmask di dalam setiap token waktu-tanggal, yang menunjukkan elemen tanggal dan waktu yang ditetapkan di dalamnya.

 public enum FixPeriod { None = 0, Time = 1, TimeUncertain = 2, Day = 4, Week = 8, Month = 16, Year = 32 } 

TimeUncertain adalah komitmen untuk menunjukkan waktu setelah mana penyempurnaan dapat mengikuti, misalnya, di malam hari / di pagi hari . Tidak dapat dikatakan pukul 18 di pagi hari , tetapi dapat dikatakan jam 6 di malam hari , oleh karena itu angka 6 tersebut, seolah-olah, kurang “pasti” tentang apa artinya daripada angka 18 .

Selanjutnya, kita akan menggunakan dua aturan:

• Jika tanggalnya dekat, dan mereka tidak memiliki bit yang sama, maka kami menggabungkannya menjadi satu
• Jika tanggalnya dekat, dan kami tidak menggabungkannya, tetapi salah satu dari mereka memiliki bit yang tidak dimiliki oleh yang kedua, maka kami menempati bit (dan nilai yang sesuai dengan mereka) dari yang di mana mereka berada, ke yang di mana mereka tidak, tetapi hanya untuk yang lebih besar: yaitu, kita tidak dapat mengambil satu hari jika hanya satu bulan diberikan, tetapi kita dapat mengambil satu bulan jika hanya satu hari yang ditentukan.

Jadi, jika pengguna berbicara pada hari Senin jam 9 malam , maka token pada hari Senin , di mana hanya hari yang ditetapkan, dikombinasikan dengan token pada jam 9 malam , di mana waktu ditetapkan. Tetapi jika ia mengatakan pada 10 dan 15 Maret hari itu , maka token terakhir pada 15 hari itu hanya akan mengambil bulan Maret dari token sebelumnya.

Serikat pekerja itu sepele, tetapi dengan pinjaman kita akan melanjutkan saja. Kami akan memanggil tanggal dasar yang kami tempati, dan yang kedua, dari mana kami ingin meminjam sesuatu. Kemudian kami menyalin tanggal sekunder dan hanya menyisakan bit yang tidak dimiliki basis:

 var baseDate = data.Dates[firstIndex]; var secondDate = data.Dates[secondIndex]; var secondCopy = secondDate.CopyOf(); secondCopy.Fixed &= (byte)~baseDate.Fixed; 

Misalnya, jika pangkalan memiliki satu tahun, kami tidak akan meninggalkan fiksasi tahun untuk salinan anak di bawah umur (bahkan jika sudah). Jika pangkalan tidak memiliki satu bulan, tetapi sekunder memilikinya, ia akan tetap dengan salinan sebagai sekunder. Setelah itu, kami melakukan proses penggabungan tanggal dasar dan salinan sekunder.

Ketika digabungkan, kami juga memiliki tanggal dasar dan tanggal yang diserap . Kami bergerak dari atas ke bawah dari periode terbesar (tahun) ke terkecil (waktu). Jika tanggal dasar tidak memiliki beberapa parameter yang diserap, kami menambahkannya ke dasar yang diserap.

Secara terpisah, Anda perlu mempertimbangkan beberapa nuansa:

• Tanggal dasar mungkin memiliki satu hari tetap, tetapi tidak seminggu. Dalam hal ini, Anda perlu mengambil satu minggu dari tanggal yang diserap, tetapi hari dalam seminggu dari pangkalan.
• Namun, jika tanggal yang diserap tidak memiliki hari yang tetap, tetapi satu minggu tetap, kita perlu mengambil hari darinya (yaitu, tahun + bulan + tanggal) dan mengatur minggu dengan cara ini, karena tidak ada entitas "Minggu" yang terpisah di objek DateTime .
• Jika TimeUncertain ditetapkan pada tanggal dasar, dan Time diserap pada yang diserap, dan jumlah jam pada yang diserap lebih dari 12, sedangkan yang dasar lebih sedikit, kemudian tambahkan 12 jam ke dasar. Karena Anda tidak bisa mengatakan dari 5 hingga 17 di malam hari . Waktu tanggal "tidak pasti" tidak boleh dari setengah hari, jika waktu tanggal "percaya diri" di sebelahnya adalah dari setengah hari lainnya. Orang tidak mengatakan itu. Jika kita mengucapkan frasa dari jam 5 pagi sampai jam 5 sore , maka kedua tanggal memiliki waktu "percaya diri", dan tidak ada masalah.

Setelah menggabungkan, jika beberapa tanggal memiliki bit kosong, kami menggantinya dengan nilai dari tanggal pengguna saat ini: misalnya, jika pengguna tidak menyebutkan tahun, kami berbicara tentang tahun saat ini, jika Anda tidak menyebutkan bulan, lalu bulan saat ini dan seterusnya. Tentu saja, objek DateTime apa pun dapat diteruskan ke parameter "date date" untuk fleksibilitas.

Kruk

Tidak semua momen perpustakaan dipikirkan dengan anggun. Agar berfungsi dengan benar, kruk berikut ditambahkan:

• Tanggal digabungkan secara terpisah untuk token yang dimulai dengan "b \ s \ co" dan secara terpisah untuk token yang dimulai dengan "b \ to \ on". Karena, jika pengguna menyebutkan periode, maka tidak mungkin untuk menggabungkan token dari tanggal mulai dan tanggal akhir.
• Saya tidak mulai memperkenalkan tingkat fiksasi terpisah untuk hari dalam seminggu, karena itu diperlukan di satu tempat: di mana itu jelas diberikan oleh sebuah kata dengan nama hari dalam seminggu. Membuat bendera untuk ini.
• Lari terpisah menggabungkan tanggal yang berada pada jarak tertentu dari satu sama lain. Ini dikendalikan oleh parameter collapseDistance , yang secara default adalah 4 token. Misalnya, frasa tersebut akan berfungsi: Lusa, pertemuan dengan seorang teman di usia 12 . Tapi itu tidak akan berhasil: lusa saya akan bertemu teman saya yang tercinta dan berusia 12 tahun .

Ringkasan

• Anda dapat menggunakan perpustakaan di proyek Anda. Dia sudah mengatasi banyak pilihan, tetapi saya memperbaiki dan memperbaikinya. Permintaan tarik dengan tes dipersilakan. Secara umum, datang dengan tes yang terdengar realistis (seperti yang orang katakan dalam hidup), tetapi itu merusak perpustakaan.
• Demo langsung di .NET Fiddle juga berfungsi, meskipun kode tersebut diduga digarisbawahi dengan kesalahan, tetapi dimulai. Di bagian bawah konsol, Anda dapat memasukkan frasa dalam bahasa Rusia, tidak lupa bahwa angka harus berupa angka.
• Demo yang sama dengan aplikasi konsol

Live ternyata seperti ini: