
рд╣рд╛рдп, рд╣рдмреНрд░реЛрдЬрд╝рд┐рддреЗрд▓реА! рдкреНрд░рд╛рдХреГрддрд┐рдХ рднрд╛рд╖рд╛ рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг (рдПрдирдПрд▓рдкреА) рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛ рдХреЗ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдПрдХ рдЕрддреНрдпрдВрдд рдорд╣рддреНрд╡рдкреВрд░реНрдг рдХрд╛рд░реНрдп рд╣реИред рд╕рдлрд▓ рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдЕрдореЗрдЬрди рдХреЗ рдЕрдореЗрдЬрд╝рди рдФрд░ рдЧреВрдЧрд▓ рдЯреНрд░рд╛рдВрд╕рд▓реЗрдЯ рдЬреИрд╕реЗ рдЙрддреНрдкрд╛рджреЛрдВ рдХреЛ рд╕рдХреНрд╖рдо рдмрдирд╛рддрд╛ рд╣реИред рдпрд╣ рдкреБрд╕реНрддрдХ рдЖрдкрдХреЛ PyTorch рдХреЛ рд╕реАрдЦрдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдЧреА, рдЬреЛ Python рдХреЗ рд▓рд┐рдП рдПрдХ рдЧрд╣рди рд╢рд┐рдХреНрд╖рдг рдкреБрд╕реНрддрдХрд╛рд▓рдп рд╣реИ, рдЬреЛ рдбреЗрдЯрд╛ рд╡реИрдЬреНрдЮрд╛рдирд┐рдХреЛрдВ рдФрд░ NLP рд╕реЙрдлрд╝реНрдЯрд╡реЗрдпрд░ рдбреЗрд╡рд▓рдкрд░реНрд╕ рдХреЗ рд▓рд┐рдП рдПрдХ рдкреНрд░рдореБрдЦ рдЙрдкрдХрд░рдг рд╣реИред рдбреЗрд▓рд┐рдк рд░рд╛рд╡ рдФрд░ рдмреНрд░рд╛рдпрди рдореИрдХрдореИрд╣рди рдЖрдкрдХреЛ рдПрдирдПрд▓рдкреА рдФрд░ рдЧрд╣рди рд╢рд┐рдХреНрд╖рдг рдПрд▓реНрдЧреЛрд░рд┐рджрдо рдХреЗ рд╕рд╛рде рдЧрддрд┐ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдорд┐рд▓реЗрдВрдЧреЗред рдФрд░ рджрд┐рдЦрд╛рдПрдВ рдХрд┐ PyTorch рдЖрдкрдХреЛ рдкрд╛рда рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рд╡рд╛рд▓реЗ рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЛ рдХреИрд╕реЗ рд▓рд╛рдЧреВ рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИред
рдЗрд╕ рдкреБрд╕реНрддрдХ рдореЗрдВ тАв рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рд░реЗрдЦрд╛рдВрдХрди рдФрд░ рдПрдХ рд╢рд┐рдХреНрд╖рдХ рдХреЗ рд╕рд╛рде рд╕реАрдЦрдиреЗ рдХреЗ рдкреНрд░рддрд┐рдорд╛рдиред тАв рджрд╕рд┐рдпреЛрдВ рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЕрдиреБрдХреВрд▓рд┐рдд рдкрд╛рдЗрд░реЙрдЪ рд▓рд╛рдЗрдмреНрд░реЗрд░реА рдХреА рдореВрд▓ рдмрд╛рддреЗрдВред тАв рдкрд╛рд░рдВрдкрд░рд┐рдХ рдПрдирдПрд▓рдкреА рдЕрд╡рдзрд╛рд░рдгрд╛рдУрдВ рдФрд░ рд╡рд┐рдзрд┐рдпреЛрдВ рдХрд╛ рдЕрд╡рд▓реЛрдХрдиред тАв рдкреНрд░реЛрдПрдХреНрдЯрд┐рд╡ рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ (рдмрд╣реБрдкрд░рдд рдкреЗрд╕реЗрдкреНрдЯреНрд░реЙрди рдФрд░ рдЕрдиреНрдп)ред тАв рджреАрд░реНрдШрдХрд╛рд▓рд┐рдХ рдЕрд▓реНрдкрдХрд╛рд▓рд┐рдХ рдореЗрдореЛрд░реА (LSTM) рдФрд░ рдирд┐рдпрдВрддреНрд░рд┐рдд рдкреБрдирд░рд╛рд╡реГрддреНрддрд┐ рдмреНрд▓реЙрдХреЛрдВ рдХреЗ рд╕рд╛рде RNN рдХрд╛ рд╕реБрдзрд╛рд░ред тАв рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдФрд░ рдЕрдиреБрдХреНрд░рдо рдкрд░рд┐рд╡рд░реНрддрди рдореЙрдбрд▓ред тАв рдЙрддреНрдкрд╛рджрди рдореЗрдВ рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдПрдирдПрд▓рдкреА рд╕рд┐рд╕реНрдЯрдо рдХреЗ рдбрд┐рдЬрд╛рдЗрди рдкреИрдЯрд░реНрдиред
рдЕрдВрд╢ред рдШреЛрдВрд╕рд▓реЗ рдХреЗ рд╢рдмреНрдж рдФрд░ рдЕрдиреНрдп рдкреНрд░рдХрд╛рд░
рдкреНрд░рд╛рдХреГрддрд┐рдХ рднрд╛рд╖рд╛рдУрдВ рдореЗрдВ рдкреНрд░рд╕рдВрд╕реНрдХрд░рдг рдЧреНрд░рдВрдереЛрдВ рдХреА рд╕рдорд╕реНрдпрд╛рдУрдВ рдХреЛ рд╣рд▓ рдХрд░рддреЗ рд╕рдордп, рдХрд┐рд╕реА рдХреЛ рд╡рд┐рднрд┐рдиреНрди рдкреНрд░рдХрд╛рд░ рдХреЗ рдЕрд╕рддрдд рдбреЗрдЯрд╛ рдкреНрд░рдХрд╛рд░реЛрдВ рд╕реЗ рдирд┐рдкрдЯрдирд╛ рдкрдбрд╝рддрд╛ рд╣реИред рд╕рдмрд╕реЗ рд╕реНрдкрд╖реНрдЯ рдЙрджрд╛рд╣рд░рдг рд╢рдмреНрдж рд╣реИред рдмрд╣реБрдд рд╕рд╛рд░реЗ рд╢рдмреНрдж (рд╢рдмреНрджрдХреЛрд╖)ред рдЕрдиреНрдп рдЙрджрд╛рд╣рд░рдгреЛрдВ рдореЗрдВ, рдкреНрд░рддреАрдХ, рднрд╛рд╖рдг рдХреЗ рд╣рд┐рд╕реНрд╕реЛрдВ рдХреЗ рд▓реЗрдмрд▓, рдирд╛рдорд┐рдд рд╕рдВрд╕реНрдерд╛рдПрдВ, рдирд╛рдорд┐рдд рдкреНрд░рдХрд╛рд░ рдХреА рд╕рдВрд╕реНрдерд╛рдПрдВ, рдкрд╛рд░реНрд╕рд┐рдВрдЧ рд╕реЗ рдЬреБрдбрд╝реЗ рдЧреБрдг, рдЙрддреНрдкрд╛рдж рдХреИрдЯрд▓реЙрдЧ рдореЗрдВ рд╕реНрдерд┐рддрд┐рдпрд╛рдВ, рдЖрджрд┐ред рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ, рдПрдХ рдкрд░рд┐рдорд┐рдд рд╕реЗ рд▓реА рдЧрдИ рдХреЛрдИ рдЗрдирдкреБрдЯ рд╕реБрд╡рд┐рдзрд╛ (рдпрд╛ рдЕрдирдВрдд, рд▓реЗрдХрд┐рди рдЧрдгрдиреАрдп) рд╕реЗрдЯред
рдПрдирдПрд▓рдкреА рдореЗрдВ рдЧрд╣рди рд╕реАрдЦрдиреЗ рдХреЗ рд╕рдлрд▓ рдЕрдиреБрдкреНрд░рдпреЛрдЧ рдХрд╛ рдЖрдзрд╛рд░ рдШрдиреЗ рд╡реИрдХреНрдЯрд░ рдХреЗ рд░реВрдк рдореЗрдВ рдЕрд╕рддрдд рдбреЗрдЯрд╛ рдкреНрд░рдХрд╛рд░реЛрдВ (рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рд╢рдмреНрдж) рдХрд╛ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рд╣реИред рд╢рдмреНрдж "рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рд╕реАрдЦрдиреЗ" рдФрд░ "рдПрдореНрдмреЗрдбрд┐рдВрдЧ" рдХрд╛ рдЕрд░реНрде рд╡реЗрдХреНрдЯрд░ рд╕реНрдерд╛рди рдореЗрдВ рдПрдХ рдЕрд╕рддрдд рдбреЗрдЯрд╛ рдкреНрд░рдХрд╛рд░ рд╕реЗ рдПрдХ рдмрд┐рдВрджреБ рдкрд░ рдкреНрд░рджрд░реНрд╢рд┐рдд / рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдХрд░рдирд╛ рд╕реАрдЦрдирд╛ рд╣реИред рдпрджрд┐ рдЕрд╕рддрдд рдкреНрд░рдХрд╛рд░ рд╢рдмреНрдж рд╣реИрдВ, рддреЛ рдПрдХ рдШрдиреЗ рд╡реЗрдХреНрдЯрд░ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдХреЛ рдПрдХ рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИред рд╣рдордиреЗ рдкрд╣рд▓реЗ рд╣реА рдШрдЯрдирд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдШреЛрдВрд╕рд▓реЗ рдХреЗ рд╢рд┐рдХрд╛рд░ рдХреЗ рддрд░реАрдХреЛрдВ рдХреЗ рдЙрджрд╛рд╣рд░рдг рджреЗрдЦреЗ рд╣реИрдВ, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдЕрдзреНрдпрд╛рдп 2 рдореЗрдВ TF-IDF ("рд╢рдмреНрдж рдЖрд╡реГрддреНрддрд┐ рдПрдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреА рд╡реНрдпреБрддреНрдХреНрд░рдо рдЖрд╡реГрддреНрддрд┐ рд╣реИ") рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ, рд╣рдо рдкреНрд░рд╢рд┐рдХреНрд╖рдг-рдЖрдзрд╛рд░рд┐рдд рдШреЛрдВрд╕рд▓реЗ рдХреЗ рд╢рд┐рдХрд╛рд░ рдХреЗ рддрд░реАрдХреЛрдВ рдФрд░ рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА-рдЖрдзрд╛рд░рд┐рдд рдШреЛрдВрд╕рд▓реЗ рдХреЗ рд╢рд┐рдХрд╛рд░ рдХреЗ рддрд░реАрдХреЛрдВ рдкрд░ рдзреНрдпрд╛рди рдХреЗрдВрджреНрд░рд┐рдд рдХрд░реЗрдВрдЧреЗ (рджреЗрдЦреЗрдВ) Baroni et alред (Baroni et alред, 2014]) рдХрд╛ рд▓реЗрдЦ, рдЬрд┐рд╕рдореЗрдВ рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╢рд┐рдХреНрд╖рдг рдХрд╛рд░реНрдп рдХреЗ рд▓рд┐рдП рдЙрджреНрджреЗрд╢реНрдп рд╕рдорд╛рд░реЛрд╣ рдХреЛ рдЕрдзрд┐рдХрддрдо рдХрд░рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдкреНрд░рд╢рд┐рдХреНрд╖рдг рджрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ; рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рд╕рдВрджрд░реНрдн рджреНрд╡рд╛рд░рд╛ рдХрд┐рд╕реА рд╢рдмреНрдж рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ред рдкреНрд░рд╢рд┐рдХреНрд╖рдг-рдЖрдзрд╛рд░рд┐рдд рдирд┐рд╡реЗрд╢ рд╡рд┐рдзрд┐рдпрд╛рдВ рд╡рд░реНрддрдорд╛рди рдореЗрдВ рдЙрдирдХреА рд╡реНрдпрд╛рдкрдХ рдкреНрд░рдпреЛрдЬреНрдпрддрд╛ рдФрд░ рдЙрдЪреНрдЪ рджрдХреНрд╖рддрд╛ рдХреЗ рдХрд╛рд░рдг рдорд╛рдирдХ рд╣реИрдВред рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ, рдПрдирдПрд▓рдкреА рд╕рдорд╕реНрдпрд╛рдУрдВ рдореЗрдВ рд╢рдмреНрджреЛрдВ рдХрд╛ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдЗрддрдирд╛ рд╡реНрдпрд╛рдкрдХ рд╣реИ рдХрд┐ рдЙрдиреНрд╣реЗрдВ "рдПрдирдПрд▓рдкреА рдХрд╛ рд╕рд╛рд░рдЪрд╛" рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ рдЙрдореНрдореАрдж рдХреА рдЬрд╛ рд╕рдХрддреА рд╣реИ рдХрд┐ рдХрд┐рд╕реА рднреА рдХрд╛рд░реНрдп рдореЗрдВ рдЙрдирдХреЗ рдЙрдкрдпреЛрдЧ рд╕реЗ рд╕рдорд╛рдзрд╛рди рдХреА рджрдХреНрд╖рддрд╛ рдмрдврд╝ рдЬрд╛рдПрдЧреАред рд▓реЗрдХрд┐рди рдпрд╣ рдЙрдкрдирд╛рдо рдереЛрдбрд╝рд╛ рднреНрд░рд╛рдордХ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐, syraci рдХреЗ рд╡рд┐рдкрд░реАрдд, рд╕рдВрд▓рдЧреНрдирдХ рдЖрдорддреМрд░ рдкрд░ рдЗрд╕ рддрдереНрдп рдХреЗ рдмрд╛рдж рдореЙрдбрд▓ рдореЗрдВ рдирд╣реАрдВ рдЬреЛрдбрд╝реЗ рдЬрд╛рддреЗ рд╣реИрдВ, рд▓реЗрдХрд┐рди рдЗрд╕рдХреЗ рдореВрд▓ рдШрдЯрдХ рд╣реИрдВред
рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдореЗрдВ, рд╣рдо рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреЗ рд╕рдВрдмрдВрдз рдореЗрдВ рд╡реЗрдХреНрдЯрд░ рдЕрднреНрдпрд╛рд╡реЗрджрди рдкрд░ рдЪрд░реНрдЪрд╛ рдХрд░реЗрдВрдЧреЗ: рд╢рдмреНрдж рдПрдореНрдмреЗрдб рдХрд░рдиреЗ рдХреЗ рддрд░реАрдХреЗ, рд╢рд┐рдХреНрд╖рдХ рдХреЗ рд╕рд╛рде рдФрд░ рдмрд┐рдирд╛ рдЕрдзреНрдпрд╛рдкрди рдХреЗ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд▓рд┐рдП рд╢рдмреНрдж рдПрдореНрдмреЗрдб рдХрд░рдиреЗ рдХреЗ рдЕрдиреБрдХреВрд▓рди рдХреЗ рддрд░реАрдХреЗ, рд╡рд┐рдЬрд╝реБрдЕрд▓ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рд╡рд┐рдЬрд╝реБрдЕрд▓рд╛рдЗрдЬрд╝реЗрд╢рди рдХреЗ рддрд░реАрдХреЗ, рдФрд░ рд╡рд╛рдХреНрдпреЛрдВ рдФрд░ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреЗ рд▓рд┐рдП рдХреЛрдб рд╕рдВрдпреЛрдЬрди рд╢рдмреНрдж рднреАред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдпрд╣ рдордд рднреВрд▓реЛ рдХрд┐ рдпрд╣рд╛рдВ рд╡рд░реНрдгрд┐рдд рддрд░реАрдХреЗ рдХрд┐рд╕реА рднреА рдЕрд╕рддрдд рдкреНрд░рдХрд╛рд░ рдкрд░ рд▓рд╛рдЧреВ рд╣реЛрддреЗ рд╣реИрдВред
рдХреНрдпреЛрдВ рдирд┐рд╡реЗрд╢ рдкреНрд░рд╢рд┐рдХреНрд╖рдг
рдкрд┐рдЫрд▓реЗ рдЕрдзреНрдпрд╛рдпреЛрдВ рдореЗрдВ, рд╣рдордиреЗ рдЖрдкрдХреЛ рд╢рдмреНрджреЛрдВ рдХреЗ рд╡реЗрдХреНрдЯрд░ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рд╕рд╛рдорд╛рдиреНрдп рддрд░реАрдХреЗ рджрд┐рдЦрд╛рдП рд╣реИрдВред рдЕрд░реНрдерд╛рддреН, рдЖрдкрдиреЗ рд╕реАрдЦрд╛ рд╣реИ рдХрд┐ рдПрдХрд╛рддреНрдордХ рдЕрднреНрдпрд╛рд╡реЗрджрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ - рдПрдХ рд▓рдВрдмрд╛рдИ рд╡рд╛рд▓реЗ рд╡реИрдХреНрдЯрд░, рдЬреЛ рд╢рдмреНрджрдХреЛрд╢ рдХреЗ рдЖрдХрд╛рд░ рд╕реЗ рдореЗрд▓ рдЦрд╛рддрд╛ рд╣реИ, рдХрд┐рд╕реА рд╡рд┐рд╢реЗрд╖ рд╢рдмреНрдж рдХреЗ рдЕрдиреБрд░реВрдк 1 рд╡рд╛рд▓реЗ рдорд╛рди рдХреЛ рдЫреЛрдбрд╝рдХрд░ рд╕рднреА рдкрджреЛрдВ рдкрд░ рд╢реВрдиреНрдп рдХреЗ рд╕рд╛рдеред рдЗрд╕рдХреЗ рдЕрд▓рд╛рд╡рд╛, рдЖрдк рдШрдЯрдирд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдХреЗ рдирд┐рд░реВрдкрдг рдХреЗ рд╕рд╛рде рдорд┐рд▓реЗ - рдореЙрдбрд▓ рдореЗрдВ рдЕрджреНрд╡рд┐рддреАрдп рд╢рдмреНрджреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдХреЗ рдмрд░рд╛рдмрд░ рд▓рдВрдмрд╛рдИ рдХреЗ рд╡реИрдХреНрдЯрд░, рдЬрд┐рд╕рдореЗрдВ рд╕рдВрдмрдВрдзрд┐рдд рдкрджреЛрдВ рдкрд░ рд╡рд╛рдХреНрдп рдореЗрдВ рд╢рдмреНрджреЛрдВ рдХреА рдШрдЯрдирд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╢рд╛рдорд┐рд▓ рд╣реИред рдЗрд╕ рддрд░рд╣ рдХреЗ рдЕрднреНрдпрд╛рд╡реЗрджрди рдХреЛ рд╡рд┐рддрд░рдгрд╛рддреНрдордХ рдирд┐рд░реВрдкрдг рднреА рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдЙрдирдХреА рд╕рд╛рд░реНрдердХ рд╕рд╛рдордЧреНрд░реА / рдЕрд░реНрде рд╡реЗрдХреНрдЯрд░ рдХреЗ рдХрдИ рдЖрдпрд╛рдореЛрдВ рд╕реЗ рдкрд░рд┐рд▓рдХреНрд╖рд┐рдд рд╣реЛрддреА рд╣реИред рд╡рд┐рддрд░рдгрд╛рддреНрдордХ рдЕрднреНрдпрд╛рд╡реЗрджрди рдХрд╛ рдЗрддрд┐рд╣рд╛рд╕ рдХрдИ рджрд╢рдХреЛрдВ рд╕реЗ рдЪрд▓ рд░рд╣рд╛ рд╣реИ (рджреЗрдЦреЗрдВ рдлрд░реНрде рдХрд╛ рд▓реЗрдЦ [Firth, 1935]); рд╡реЗ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдФрд░ рддрдВрддреНрд░рд┐рдХрд╛ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рдХрдИ рдореЙрдбрд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдЙрддреНрдХреГрд╖реНрдЯ рд╣реИрдВред рдЗрди рдЕрднреНрдпрд╛рд╡реЗрджрди рдХрд╛ рдирд┐рд░реНрдорд╛рдг heuristically1 рдореЗрдВ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдФрд░ рдЗрдиреНрд╣реЗрдВ рдбреЗрдЯрд╛ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рд╡рд┐рддрд░рд┐рдд рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдХреЛ рдЗрд╕рдХрд╛ рдирд╛рдо рдорд┐рд▓рд╛ рдХреНрдпреЛрдВрдХрд┐ рдЙрдирдореЗрдВ рд╢рдмреНрджреЛрдВ рдХреЛ рдмрд╣реБрдд рдЫреЛрдЯреЗ рдЖрдпрд╛рдо рдХреЗ рдШрдиреЗ рд╡реЗрдХреНрдЯрд░ рджреНрд╡рд╛рд░рд╛ рджрд░реНрд╢рд╛рдпрд╛ рдЧрдпрд╛ рд╣реИ (рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдкреВрд░реЗ рд╢рдмреНрджрдХреЛрд╢ рдХреЗ рдЖрдХрд╛рд░ рдХреЗ рдмрдЬрд╛рдп d = 100, рдЬреЛ рдЖрджреЗрд╢ рдХрд╛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ

), рдФрд░ рд╢рдмреНрдж рдХреЗ рдЕрд░реНрде рдФрд░ рдЕрдиреНрдп рдЧреБрдг рдЗрд╕ рдШрдиреЗ рд╡реЗрдХреНрдЯрд░ рдХреЗ рдХрдИ рдЖрдпрд╛рдореЛрдВ рдкрд░ рд╡рд┐рддрд░рд┐рдд рдХрд┐рдП рдЬрд╛рддреЗ рд╣реИрдВред
рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк рдкреНрд░рд╛рдкреНрдд рдХрд┐рдП рдЧрдП рдХрдо рдЖрдпрд╛рдореА рдШрдиреЗ рдЕрднреНрдпрд╛рд╡реЗрджрди рдореЗрдВ рдкрд┐рдЫрд▓реЗ рдЪреИрдкреНрдЯрд░реНрд╕ рдореЗрдВ рд╣реЛрдиреЗ рд╡рд╛рд▓реА рдШрдЯрдирд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╡рд╛рд▓реЗ рдПрдХрд╛рддреНрдордХ рд╡реИрдХреНрдЯрд░ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдХрдИ рдлрд╛рдпрджреЗ рд╣реИрдВред рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ, рдЖрдпрд╛рдореАрддрд╛ рдореЗрдВ рдХрдореА рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рд░реВрдк рд╕реЗ рдХреБрд╢рд▓ рд╣реИред рджреВрд╕рд░реЗ, рдШрдЯрдирд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдЕрднреНрдпрд╛рд╡реЗрджрди рд╡рд┐рднрд┐рдиреНрди рдЖрдпрд╛рдореЛрдВ рдореЗрдВ рдПрдХ рд╣реА рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рдЕрддреНрдпрдзрд┐рдХ рдХреЛрдбрд┐рдВрдЧ рдХреЗ рд╕рд╛рде рдЙрдЪреНрдЪ-рдЖрдпрд╛рдореА рд╡реИрдХреНрдЯрд░ рдХреЛ рдЬрдиреНрдо рджреЗрддреЗ рд╣реИрдВ, рдФрд░ рдЙрдирдХреА рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рд╢рдХреНрддрд┐ рдмрд╣реБрдд рдмрдбрд╝реА рдирд╣реАрдВ рд╣реИред рддреАрд╕рд░рд╛, рдЗрдирдкреБрдЯ рдбреЗрдЯрд╛ рдХрд╛ рдмрд╣реБрдд рдмрдбрд╝рд╛ рдЖрдпрд╛рдо рдорд╢реАрди рд╕реАрдЦрдиреЗ рдФрд░ рдЕрдиреБрдХреВрд▓рди рдореЗрдВ рд╕рдорд╕реНрдпрд╛рдПрдВ рдкреИрджрд╛ рдХрд░ рд╕рдХрддрд╛ рд╣реИ - рдПрдХ рдШрдЯрдирд╛ рдЬрд┐рд╕реЗ рдЕрдХреНрд╕рд░ рдЖрдпрд╛рдо рдХрд╛ рдЕрднрд┐рд╢рд╛рдк рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ (
http://bit.ly/2CrhQXm )ред рдЖрдпрд╛рдо рдХреЗ рд╕рд╛рде рдЗрд╕ рд╕рдорд╕реНрдпрд╛ рдХреЛ рд╣рд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЖрдпрд╛рдо рдХреЛ рдХрдо рдХрд░рдиреЗ рдХреЗ рд╡рд┐рднрд┐рдиреНрди рддрд░реАрдХреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдПрдХрд╡рдЪрди-рдореВрд▓реНрдп рдЕрдкрдШрдЯрди (рдПрд╕рд╡реАрдбреА) рдФрд░ рдкреНрд░рдореБрдЦ рдШрдЯрдХ рд╡рд┐рд╢реНрд▓реЗрд╖рдг (рдкреАрд╕реАрдП), рд▓реЗрдХрд┐рди, рд╡рд┐рдбрдВрдмрдирд╛ рдпрд╣ рд╣реИ рдХрд┐ рдпреЗ рджреГрд╖реНрдЯрд┐рдХреЛрдг рд▓рд╛рдЦреЛрдВ рдХреЗ рдХреНрд░рдо рдХреЗ рдЖрдпрд╛рдореЛрдВ рдкрд░ рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдкреИрдорд╛рдиреЗ рдкрд░ рдирд╣реАрдВ рд╣реИрдВ ( рдПрдирдПрд▓рдкреА рдореЗрдВ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдорд╛рдорд▓рд╛)ред рдЪреМрдерд╛, рдХрд┐рд╕реА рд╕рдорд╕реНрдпрд╛ рдХреЗ рд▓рд┐рдП рд╡рд┐рд╢рд┐рд╖реНрдЯ рдбреЗрдЯрд╛ рд╕реЗ (рдпрд╛ рдХреЗ рдЖрдзрд╛рд░ рдкрд░) рдлрд┐рдЯ рдХрд┐рдП рдЧрдП рдЕрднреНрдпрд╛рд╡реЗрджрди рдЗрд╕ рд╡рд┐рд╢реЗрд╖ рдХрд╛рд░реНрдп рдХреЗ рд▓рд┐рдП рдЕрдиреБрдХреВрд▓ рд░реВрдк рд╕реЗ рдЕрдиреБрдХреВрд▓ рд╣реИрдВред TF-IDF рдЬреИрд╕реЗ рдЖрдпрд╛рдореА рдПрд▓реНрдЧреЛрд░рд┐рджрдо рдФрд░ SVD рдЬреИрд╕реЗ рдЖрдпрд╛рдореА рдХрдореА рдХреЗ рддрд░реАрдХреЛрдВ рдХреЗ рдорд╛рдорд▓реЗ рдореЗрдВ, рдпрд╣ рд╕реНрдкрд╖реНрдЯ рдирд╣реАрдВ рд╣реИ рдХрд┐ рдЙрджреНрджреЗрд╢реНрдп рдЕрдиреБрдХреВрд▓рди рдлрд╝рдВрдХреНрд╢рди рдЗрд╕ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рд╡рд┐рдзрд┐ рдХреЗ рд╕рд╛рде рдХрд┐рд╕реА рд╡рд┐рд╢реЗрд╖ рдХрд╛рд░реНрдп рдХреЗ рд▓рд┐рдП рдЙрдкрдпреБрдХреНрдд рд╣реИ рдпрд╛ рдирд╣реАрдВред
рдирд┐рд╡реЗрд╢ рджрдХреНрд╖рддрд╛
рдпрд╣ рд╕рдордЭрдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреИрд╕реЗ рдХрд╛рдо рдХрд░рддреА рд╣реИ, рдПрдХ рдПрдХрд╛рддреНрдордХ рд╡реЗрдХреНрдЯрд░ рдХреЗ рдЙрджрд╛рд╣рд░рдг рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВ рдЬрд┐рд╕рдХреЗ рджреНрд╡рд╛рд░рд╛ рд░реЗрдЦреАрдп рдкрд░рдд рдореЗрдВ рднрд╛рд░ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ рдЧреБрдгрд╛ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЬреИрд╕рд╛ рдХрд┐ рдЕрдВрдЬреАрд░ рдореЗрдВ рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред 5.1ред рдЕрдзреНрдпрд╛рдп 3 рдФрд░ 4 рдореЗрдВ, рдПрдХрд╛рддреНрдордХ рд╡реИрдХреНрдЯрд░ рдХрд╛ рдЖрдХрд╛рд░ рдХреЛрд╢ рдХреЗ рдЖрдХрд╛рд░ рдХреЗ рд╕рд╛рде рдореЗрд▓ рдЦрд╛рддрд╛ рд╣реИред рдПрдХ рд╡реЗрдХреНрдЯрд░ рдХреЛ рдПрдХрд╛рддреНрдордХ рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдЗрд╕рдореЗрдВ рдХрд┐рд╕реА рд╡рд┐рд╢реЗрд╖ рд╢рдмреНрдж рдХреЗ рдЕрдиреБрд░реВрдк рд╕реНрдерд┐рддрд┐ рдореЗрдВ 1 рд╣реЛрддрд╛ рд╣реИ, рдЗрд╕ рдкреНрд░рдХрд╛рд░ рдЗрд╕рдХреА рдЙрдкрд╕реНрдерд┐рддрд┐ рдХрд╛ рд╕рдВрдХреЗрдд рдорд┐рд▓рддрд╛ рд╣реИред

рдЕрдВрдЬреАрд░ред 5.1ред рдПрдХрд╛рддреНрдордХ рд╡реЗрдХреНрдЯрд░ рдХреЗ рдорд╛рдорд▓реЗ рдХреЗ рд▓рд┐рдП рдореИрдЯреНрд░рд┐рдХреНрд╕ рдЧреБрдгрди рдХрд╛ рдПрдХ рдЙрджрд╛рд╣рд░рдг рдФрд░ рд░реИрдЦрд┐рдХ рдкрд░рдд рдХреЗ рднрд╛рд░ рдХрд╛ рдПрдХ рдореИрдЯреНрд░рд┐рдХреНрд╕ред рдЪреВрдВрдХрд┐ рдПрдХрд╛рддреНрдордХ рд╡реЗрдХреНрдЯрд░ рдореЗрдВ рд╕рднреА рд╢реВрдиреНрдп рдФрд░ рдХреЗрд╡рд▓ рдПрдХ рдЗрдХрд╛рдИ рд╣реЛрддреА рд╣реИ, рдЗрд╕ рдЗрдХрд╛рдИ рдХреА рд╕реНрдерд┐рддрд┐ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ рдЧреБрдгрд╛ рдХрд░рддреЗ рд╕рдордп рдкрд╕рдВрдж рдСрдкрд░реЗрдЯрд░ рдХреА рднреВрдорд┐рдХрд╛ рдирд┐рднрд╛рддреА рд╣реИред рдпрд╣ рдЖрдВрдХрдбрд╝реЗ рдореЗрдВ рд╡реЗрдЯ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдХреА рдХреЛрд╢рд┐рдХрд╛рдУрдВ рдХреЛ рдХрд╛рд▓рд╛ рдХрд░рдиреЗ рдФрд░ рдкрд░рд┐рдгрд╛рдореА рд╡реЗрдХреНрдЯрд░ рдХреЗ рд░реВрдк рдореЗрдВ рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред рдпрджреНрдпрдкрд┐ рдпрд╣ рдЦреЛрдЬ рд╡рд┐рдзрд┐ рдХрд╛рдо рдХрд░рддреА рд╣реИ, рдЗрд╕рдХреЗ рд▓рд┐рдП рдХрдВрдкреНрдпреВрдЯрд┐рдВрдЧ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреА рдПрдХ рдмрдбрд╝реА рдЦрдкрдд рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрддреА рд╣реИ рдФрд░ рдпрд╣ рдЕрдХреНрд╖рдо рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдПрдХрд╛рддреНрдордХ рд╡реЗрдХреНрдЯрд░ рд╡рдЬрди рдореИрдЯреНрд░рд┐рдХреНрд╕ рдореЗрдВ рдкреНрд░рддреНрдпреЗрдХ рд╕рдВрдЦреНрдпрд╛ рд╕реЗ рдЧреБрдгрд╛ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ рдФрд░ рдпреЛрдЧ рдкрдВрдХреНрддрд┐рдпреЛрдВ рдореЗрдВ рдЧрдгрдирд╛ рдХреА рдЬрд╛рддреА рд╣реИред
рдкрд░рд┐рднрд╛рд╖рд╛ рдХреЗ рдЕрдиреБрд╕рд╛рд░, рдЗрдирдкреБрдЯ рдкрд░ рдПрдХ рдЗрдХрд╛рдИ рд╡реЗрдХреНрдЯрд░ рдкреНрд░рд╛рдкреНрдд рдХрд░рдиреЗ рд╡рд╛рд▓реА рдПрдХ рд░реИрдЦрд┐рдХ рдкрд░рдд рдХреЗ рднрд╛рд░ рдореИрдЯреНрд░рд┐рдХреНрд╕ рдХреА рдкрдВрдХреНрддрд┐рдпреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдЗрд╕ рдЗрдХрд╛рдИ рд╡реЗрдХреНрдЯрд░ рдХреЗ рдЖрдХрд╛рд░ рдХреЗ рдмрд░рд╛рдмрд░ рд╣реЛрдиреА рдЪрд╛рд╣рд┐рдПред рдореИрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ рдЧреБрдгрд╛ рдХрд░рддреЗ рд╕рдордп, рдЬреИрд╕рд╛ рдХрд┐ рдЕрдВрдЬреАрд░ рдореЗрдВ рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред 5.1, рдЬрд┐рд╕рдХреЗ рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк рд╡реЗрдХреНрдЯрд░ рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ рдПрдХ рдПрдХрд╛рддреНрдордХ рд╡реЗрдХреНрдЯрд░ рдХреЗ рдПрдХ рдЧреИрд░-рдЕрдХреНрд╖реАрдп рддрддреНрд╡ рдХреЗ рдЕрдиреБрд░реВрдк рдПрдХ рд╕реНрдЯреНрд░рд┐рдВрдЧ рд╣реИред рдЗрд╕ рдЕрд╡рд▓реЛрдХрди рдХреЗ рдЖрдзрд╛рд░ рдкрд░, рдЖрдк рдЧреБрдгрди рдЪрд░рдг рдХреЛ рдЫреЛрдбрд╝ рд╕рдХрддреЗ рд╣реИрдВ рдФрд░ рдЗрдЪреНрдЫрд┐рдд рдкрдВрдХреНрддрд┐ рдХреЛ рдирд┐рдХрд╛рд▓рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рдЗрдВрдбреЗрдХреНрд╕ рдХреЗ рд░реВрдк рдореЗрдВ рдкреВрд░реНрдгрд╛рдВрдХ рдорд╛рди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред
рдирд┐рд╡реЗрд╢ рдкреНрд░рджрд░реНрд╢рди рдХреЗ рд╕рдВрдмрдВрдз рдореЗрдВ рдПрдХ рдЕрдВрддрд┐рдо рдиреЛрдЯ: рдЪрд┐рддреНрд░рд╛ рдореЗрдВ рдЙрджрд╛рд╣рд░рдг рдХреЗ рдмрд╛рд╡рдЬреВрдж 5.1, рдЬрд╣рд╛рдВ рд╡рдЬрди рдореИрдЯреНрд░рд┐рдХреНрд╕ рдХрд╛ рдЖрдпрд╛рдо рдЗрдирдкреБрдЯ рдПрдХрд╛рддреНрдордХ рд╡реЗрдХреНрдЯрд░ рдХреЗ рдЖрдпрд╛рдо рдХреЗ рд╕рд╛рде рдореЗрд▓ рдЦрд╛рддрд╛ рд╣реИ, рдпрд╣ рд╣рдореЗрд╢рд╛ рдорд╛рдорд▓реЗ рд╕реЗ рдмрд╣реБрдд рджреВрд░ рд╣реИред рд╡рд╛рд╕реНрддрд╡ рдореЗрдВ, рдЕрдЯреИрдЪрдореЗрдВрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдЕрдХреНрд╕рд░ рдХрдо рдЖрдпрд╛рдо рд╡рд╛рд▓реЗ рд╕реНрдерд╛рди рд╕реЗ рд╢рдмреНрджреЛрдВ рдХрд╛ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдпрджрд┐ рдПрдХрд╛рддреНрдордХ рд╡реЗрдХреНрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдпрд╛ рдШрдЯрдирд╛рдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдХрд╛ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдХрд░рдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реЛред рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ рд▓реЗрдЦреЛрдВ рдореЗрдВ рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдирд┐рд╡реЗрд╢ рдХрд╛ рдЖрдХрд╛рд░ 25 рд╕реЗ 500 рдорд╛рдк рддрдХ рд╣реИ, рдФрд░ рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдореВрд▓реНрдп рдХрд╛ рд╡рд┐рдХрд▓реНрдк рдЙрдкрд▓рдмреНрдз рдЬреАрдкреАрдпреВ рдореЗрдореЛрд░реА рдХреА рдорд╛рддреНрд░рд╛ рддрдХ рдХрдо рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред
рдЕрдиреБрд▓рдЧреНрдирдХ рд╕реАрдЦрдирд╛ рджреГрд╖реНрдЯрд┐рдХреЛрдг
рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдХрд╛ рдЙрджреНрджреЗрд╢реНрдп рдЖрдкрдХреЛ рд╢рдмреНрджреЛрдВ рдХреЛ рдирд┐рд╡реЗрд╢ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╡рд┐рд╢рд┐рд╖реНрдЯ рддрдХрдиреАрдХреЛрдВ рдХреЛ рд╕рд┐рдЦрд╛рдирд╛ рдирд╣реАрдВ рд╣реИ, рдмрд▓реНрдХрд┐ рдпрд╣ рдЬрд╛рдирдиреЗ рдореЗрдВ рдорджрдж рдХрд░рдирд╛ рд╣реИ рдХрд┐ рдирд┐рд╡реЗрд╢ рдХреНрдпрд╛ рд╣реИрдВ, рдХреИрд╕реЗ рдФрд░ рдХрд╣рд╛рдВ рд▓рд╛рдЧреВ рдХрд┐рдП рдЬрд╛ рд╕рдХрддреЗ рд╣реИрдВ, рдЙрдиреНрд╣реЗрдВ рдореЙрдбрд▓ рдореЗрдВ рдХреИрд╕реЗ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╕рдмрд╕реЗ рдЕрдЪреНрдЫрд╛ рд╣реИ, рдФрд░ рдпрд╣ рднреА рдХрд┐ рдЙрдирдХреА рд╕реАрдорд╛рдПрдВ рдХреНрдпрд╛ рд╣реИрдВред рддрдереНрдп рдпрд╣ рд╣реИ рдХрд┐ рд╡реНрдпрд╡рд╣рд╛рд░ рдореЗрдВ рд╢рд╛рдпрдж рд╣реА рдХрднреА рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреЗ рд▓рд┐рдП рдирдП рд╢рд┐рдХреНрд╖рдг рдПрд▓реНрдЧреЛрд░рд┐рджрдо рд▓рд┐рдЦрдирд╛ рдкрдбрд╝рддрд╛ рд╣реИред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдЗрд╕ рдЙрдкрдзрд╛рд░рд╛ рдореЗрдВ рд╣рдо рдЗрд╕ рддрд░рд╣ рдХреЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рд▓рд┐рдП рдЖрдзреБрдирд┐рдХ рджреГрд╖реНрдЯрд┐рдХреЛрдг рдХрд╛ рдПрдХ рд╕рдВрдХреНрд╖рд┐рдкреНрдд рдЕрд╡рд▓реЛрдХрди рджреЗрдВрдЧреЗред рдШреЛрдВрд╕рд▓реЗ рдХреЗ рд╢рд┐рдХрд╛рд░ рд╢рдмреНрджреЛрдВ рдХреЗ рд╕рднреА рддрд░реАрдХреЛрдВ рдореЗрдВ рд╕реАрдЦрдирд╛ рдХреЗрд╡рд▓ рд╢рдмреНрджреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ (рдпрд╛рдиреА рдмрд┐рдирд╛ рдбреЗрдЯрд╛ рдХреЗ), рд▓реЗрдХрд┐рди рдПрдХ рд╢рд┐рдХреНрд╖рдХ рдХреЗ рд╕рд╛рдеред рд╢рд┐рдХреНрд╖рдХ рдХреЗ рд╕рд╛рде рд╕рд╣рд╛рдпрдХ рд╢рд┐рдХреНрд╖рдг рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рдирд┐рд░реНрдорд╛рдг рдХреЗ рдХрд╛рд░рдг рдпрд╣ рд╕рдВрднрд╡ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ рдбреЗрдЯрд╛ рдХреЛ рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рдЪрд┐рд╣реНрдирд┐рдд рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ, рдЗрд╕ рдХрд╛рд░рдг рд╕реЗ рдХрд┐ рд╕рд╣рд╛рдпрдХ рдХрд╛рд░реНрдп рдХреЛ рд╣рд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЕрдиреБрдХреВрд▓рд┐рдд рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡ рдкрд╛рда рдХреЛрд░рдкрд╕ рдХреЗ рдХрдИ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдФрд░ рднрд╛рд╖рд╛рдИ рдЧреБрдгреЛрдВ рдХреЛ рдХреИрдкреНрдЪрд░ рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП рддрд╛рдХрд┐ рдХрдо рд╕реЗ рдХрдо рдХреБрдЫ рд▓рд╛рдн рдорд┐рд▓ рд╕рдХреЗред рдЗрд╕ рддрд░рд╣ рдХреЗ рд╕рд╣рд╛рдпрдХ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рдХреБрдЫ рдЙрджрд╛рд╣рд░рдг рдпрд╣рд╛рдВ рджрд┐рдП рдЧрдП рд╣реИрдВред
- рдЕрдЧрд▓реЗ рд╢рдмреНрдж рдХреЛ рд╢рдмреНрджреЛрдВ рдХреЗ рджрд┐рдП рдЧрдП рдЕрдиреБрдХреНрд░рдо рдореЗрдВ рджреЗрдЦреЗрдВред рдпрд╣ рднрд╛рд╖рд╛ рдореЙрдбрд▓рд┐рдВрдЧ рд╕рдорд╕реНрдпрд╛ рдХрд╛ рдирд╛рдо рднреА рдмрддрд╛рддрд╛ рд╣реИред
- рдкрд╣рд▓реЗ рдФрд░ рдмрд╛рдж рдореЗрдВ рд╕реНрдерд┐рдд рд╢рдмреНрджреЛрдВ рд╕реЗ рдПрдХ рд▓рд╛рдкрддрд╛ рд╢рдмреНрдж рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░реЗрдВред
- рдХрд┐рд╕реА рджрд┐рдП рдЧрдП рд╢рдмреНрдж рдХреЗ рд▓рд┐рдП рдПрдХ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╡рд┐рдВрдбреЛ рдХреЗ рднреАрддрд░ рд╢рдмреНрджреЛрдВ рдХреА рд╕реНрдерд┐рддрд┐ рдХреА рдкрд░рд╡рд╛рд╣ рдХрд┐рдП рдмрд┐рдирд╛, рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░реЗрдВред
рдмреЗрд╢рдХ, рдпрд╣ рд╕реВрдЪреА рдкреВрд░реА рдирд╣реАрдВ рд╣реИ рдФрд░ рдПрдХ рд╕рд╣рд╛рдпрдХ рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╡рд┐рдХрд▓реНрдк рдПрд▓реНрдЧреЛрд░рд┐рдердо рдбреЗрд╡рд▓рдкрд░ рдХреЗ рдЕрдВрддрд░реНрдЬреНрдЮрд╛рди рдФрд░ рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рд▓рд╛рдЧрддреЛрдВ рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИред рдЙрджрд╛рд╣рд░рдгреЛрдВ рдореЗрдВ GloVe, Continuous Bag-of-Words (CBOW), Skipgrams, рдЗрддреНрдпрд╛рджрд┐ рд╢рд╛рдорд┐рд▓ рд╣реИрдВред рд╡рд┐рд╡рд░рдг рдЧреЛрд▓реНрдбрдмрд░реНрдЧ рдХреА рдкреБрд╕реНрддрдХ (Goldberg, 2017) рдХреЗ рдЕрдзреНрдпрд╛рдп 10 рдореЗрдВ рдкрд╛рдП рдЬрд╛ рд╕рдХрддреЗ рд╣реИрдВ, рд▓реЗрдХрд┐рди рд╣рдо рдпрд╣рд╛рдВ рд╕рдВрдХреНрд╖реЗрдк рдореЗрдВ CBOW рдореЙрдбрд▓ рдХреА рдЪрд░реНрдЪрд╛ рдХрд░реЗрдВрдЧреЗред рд╣рд╛рд▓рд╛рдВрдХрд┐, рдЬреНрдпрд╛рджрд╛рддрд░ рдорд╛рдорд▓реЛрдВ рдореЗрдВ рдпрд╣ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╢рдмреНрдж рдЕрдиреБрд▓рдЧреНрдирдХреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдФрд░ рдореМрдЬреВрджрд╛ рдХрд╛рд░реНрдп рдХреЗ рд▓рд┐рдП рдЙрдиреНрд╣реЗрдВ рдлрд┐рдЯ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкрд░реНрдпрд╛рдкреНрдд рд╣реИред
рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╢рдмреНрдж рдЕрдиреБрд▓рдЧреНрдирдХреЛрдВ рдХрд╛ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдЕрдиреБрдкреНрд░рдпреЛрдЧ
рдЗрд╕ рдЕрдзреНрдпрд╛рдп рдХреЗ рдереЛрдХ, рд╕рд╛рде рд╣реА рд╕рд╛рде рдкреБрд╕реНрддрдХ рдХреЗ рдмрд╛рдХреА рд╣рд┐рд╕реНрд╕реЛрдВ рдореЗрдВ, рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╢рдмреНрдж рд╕рдВрд▓рдЧреНрдирдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рд╣реИред рдмрдбрд╝реЗ рд╢рд░реАрд░ рдкрд░ рдКрдкрд░ рд╡рд░реНрдгрд┐рдд рдХрдИ рд╡рд┐рдзрд┐рдпреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд, рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, Google рд╕рдорд╛рдЪрд╛рд░, рд╡рд┐рдХрд┐рдкреАрдбрд┐рдпрд╛ рдпрд╛ рдХреЙрдорди рдХреНрд░реЙрд▓ 1 рдХрд╛ рдкреВрд░рд╛ рд╢рд░реАрд░ - рд╢рдмреНрджреЛрдВ рдХреЗ рдЕрдиреБрд▓рдЧреНрдирдХ рдХреЛ рд╕реНрд╡рддрдВрддреНрд░ рд░реВрдк рд╕реЗ рдбрд╛рдЙрдирд▓реЛрдб рдФрд░ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдЕрдзреНрдпрд╛рдп рдореЗрдВ рдЖрдЧреЗ, рд╣рдо рджрд┐рдЦрд╛рдПрдВрдЧреЗ рдХрд┐ рдХреИрд╕реЗ рдЗрди рдЕрдиреБрд▓рдЧреНрдирдХреЛрдВ рдХреЛ рд╕рд╣реА рдврдВрдЧ рд╕реЗ рдвреВрдВрдврдирд╛ рдФрд░ рд▓реЛрдб рдХрд░рдирд╛ рд╣реИ, рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреЗ рдХреБрдЫ рдЧреБрдгреЛрдВ рдХрд╛ рдЕрдзреНрдпрдпрди рдХрд░реЗрдВ рдФрд░ рдПрдирдПрд▓рдкреА рдХрд╛рд░реНрдпреЛрдВ рдореЗрдВ рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рдЙрджрд╛рд╣рд░рдг рджреЗрдВред
рдбрд╛рдЙрдирд▓реЛрдб рд╕рдВрд▓рдЧреНрдирдХ
рд╢рдмреНрджреЛрдВ рдХреЗ рдЕрдиреБрд▓рдЧреНрдирдХ рдЗрддрдиреЗ рд▓реЛрдХрдкреНрд░рд┐рдп рдФрд░ рд╡реНрдпрд╛рдкрдХ рд╣реЛ рдЧрдП рд╣реИрдВ рдХрд┐ рдореВрд▓ Word2Vec2 рд╕реЗ рд▓реЗрдХрд░ рд╕реНрдЯреИрдирдлреЛрд░реНрдб рдЧреНрд▓реЛрд╡ (
https://stanford.io/2PSIvPZ ) рддрдХ, рдлреЗрд╕рдмреБрдХ рдХреЗ FastT3 (
https://fasttext.cc ) рд╕рд╣рд┐рдд рдХрдИ рдЕрд▓рдЧ-рдЕрд▓рдЧ рд╡рд┐рдХрд▓реНрдк рдбрд╛рдЙрдирд▓реЛрдб рдХреЗ рд▓рд┐рдП рдЙрдкрд▓рдмреНрдз рд╣реИрдВред
/ ) рдФрд░ рдХрдИ рдЕрдиреНрдпред рдЖрдорддреМрд░ рдкрд░, рд╕рдВрд▓рдЧреНрдирдХ рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рдкреНрд░рд╛рд░реВрдк рдореЗрдВ рд╡рд┐рддрд░рд┐рдд рдХрд┐рдП рдЬрд╛рддреЗ рд╣реИрдВ: рдкреНрд░рддреНрдпреЗрдХ рдкрдВрдХреНрддрд┐ рдПрдХ рд╢рдмреНрдж / рдкреНрд░рдХрд╛рд░ рд╕реЗ рд╢реБрд░реВ рд╣реЛрддреА рд╣реИ рдЬрд┐рд╕рдХреЗ рдмрд╛рдж рд╕рдВрдЦреНрдпрд╛рдУрдВ рдХрд╛ рдХреНрд░рдо рд╣реЛрддрд╛ рд╣реИ (рдпрд╛рдиреА рдПрдХ рд╡реЗрдХреНрдЯрд░ рдкреНрд░рддрд┐рдирд┐рдзрд┐рддреНрд╡)ред рдЗрд╕ рдХреНрд░рдо рдХреА рд▓рдВрдмрд╛рдИ рдкреНрд░рд╕реНрддреБрддрд┐ рдХреЗ рдЖрдпрд╛рдо (рд╕рдВрд▓рдЧреНрдирдХ рдХреЗ рдЖрдпрд╛рдо) рдХреЗ рдмрд░рд╛рдмрд░ рд╣реИред рдирд┐рд╡реЗрд╢ рдХрд╛ рдЖрдпрд╛рдо рдЖрдорддреМрд░ рдкрд░ рд╕реИрдХрдбрд╝реЛрдВ рдХреЗ рдХреНрд░рдо рдХрд╛ рд╣реИред рдЯреЛрдХрди рдХреЗ рдкреНрд░рдХрд╛рд░реЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдЕрдХреНрд╕рд░ рд╢рдмреНрджрдХреЛрд╢ рдХреЗ рдЖрдХрд╛рд░ рдХреЗ рдмрд░рд╛рдмрд░ рд╣реЛрддреА рд╣реИ рдФрд░ рд▓рдЧрднрдЧ рдПрдХ рдорд┐рд▓рд┐рдпрди рд╣реЛрддреА рд╣реИред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдпрд╣рд╛рдБ GloVe рд╕реЗ рдХреБрддреНрддреЗ рдФрд░ рдмрд┐рд▓реНрд▓реА рд╡реИрдХреНрдЯрд░ рдХреЗ рдкрд╣рд▓реЗ рд╕рд╛рдд рдЖрдпрд╛рдо рд╣реИрдВред

рдЕрдиреБрд▓рдЧреНрдирдХреЛрдВ рдХреЗ рдХреБрд╢рд▓ рд▓реЛрдбрд┐рдВрдЧ рдФрд░ рд╣реИрдВрдбрд▓рд┐рдВрдЧ рдХреЗ рд▓рд┐рдП, рд╣рдо рд╕рд╣рд╛рдпрдХ рд╢реНрд░реЗрдгреА PreTrainedEmbeddings (рдЙрджрд╛рд╣рд░рдг 5.1) рдХрд╛ рд╡рд░реНрдгрди рдХрд░рддреЗ рд╣реИрдВред рдпрд╣ рд▓рдЧрднрдЧ рдирд┐рдХрдЯрддрдо рдкрдбрд╝реЛрд╕реА рдЧрдгрдирд╛ рдкреИрдХреЗрдЬ рдХреА рдорджрдж рд╕реЗ рдирд┐рдХрдЯрддрдо рдкрдбрд╝реЛрд╕рд┐рдпреЛрдВ рдХреА рддреНрд╡рд░рд┐рдд рдЦреЛрдЬ рдФрд░ рдкреНрд░рд╢реНрдиреЛрдВ рдХреЛ рд╕рд░рд▓ рдмрдирд╛рдиреЗ рдХреЗ рд▓рд┐рдП рд░реИрдо рдореЗрдВ рд╕рдВрдЧреНрд░рд╣реАрдд рд╕рднреА рд╢рдмреНрдж рд╡реИрдХреНрдЯрд░ рдХрд╛ рдПрдХ рд╕реВрдЪрдХрд╛рдВрдХ рдмрдирд╛рддрд╛ рд╣реИ, рдирд╛рд░рд╛рдЬред
рдЙрджрд╛рд╣рд░рдг 5.1ред рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╢рдмреНрдж рдЕрдиреБрд▓рдЧреНрдирдХреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛
рдЗрди рдЙрджрд╛рд╣рд░рдгреЛрдВ рдореЗрдВ, рд╣рдо рд╢рдмреНрдж GloVe рдХреЗ рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред рдЖрдкрдХреЛ рдЙрдиреНрд╣реЗрдВ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░рдиреЗ рдФрд░ PreTrainedEmbeddings рд╡рд░реНрдЧ рдХрд╛ рдПрдХ рдЙрджрд╛рд╣рд░рдг рдмрдирд╛рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ, рдЬреИрд╕рд╛ рдХрд┐ рдЙрджрд╛рд╣рд░рдг 5.1 рд╕реЗ рдЗрдирдкреБрдЯ [1] рдореЗрдВ рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред
рд╡рд░реНрдб рдЕрдЯреИрдЪрдореЗрдВрдЯ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз
рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреА рдкреНрд░рдореБрдЦ рд╕рдВрдкрддреНрддрд┐ рд╣реИ, рд╢рдмреНрджреЛрдВ рдХреЗ рдЙрдкрдпреЛрдЧ рдХреЗ рдкреИрдЯрд░реНрди рдХреЗ рд░реВрдк рдореЗрдВ рдкреНрд░рдХрдЯ, рд╡рд╛рдХреНрдпрд╛рддреНрдордХ рдФрд░ рдЕрд░реНрде рд╕рдВрдмрдВрдзреА рд╕рдВрдмрдВрдзреЛрдВ рдХреА рдПрдиреНрдХреЛрдбрд┐рдВрдЧред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдмрд┐рд▓реНрд▓рд┐рдпреЛрдВ рдФрд░ рдХреБрддреНрддреЛрдВ рдХреЛ рдЖрдорддреМрд░ рдкрд░ рдмрд╣реБрдд рд╕рдорд╛рди рд░реВрдк рд╕реЗ рдмреЛрд▓рд╛ рдЬрд╛рддрд╛ рд╣реИ (рд╡реЗ рдЕрдкрдиреЗ рдкрд╛рд▓рддреВ рдЬрд╛рдирд╡рд░реЛрдВ, рднреЛрдЬрди рдХреА рдЖрджрддреЛрдВ, рдЖрджрд┐ рдкрд░ рдЪрд░реНрдЪрд╛ рдХрд░рддреЗ рд╣реИрдВ)ред рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк, рдмрд┐рд▓реНрд▓рд┐рдпреЛрдВ рдФрд░ рдХреБрддреНрддреЛрдВ рдХреЗ рд╢рдмреНрджреЛрдВ рдХреЗ рд▓рд┐рдП рд╕рдВрд▓рдЧреНрдирдХ рдПрдХ-рджреВрд╕рд░реЗ рдХреЗ рдмрд╣реБрдд рдХрд░реАрдм рд╣реИрдВ, рдЕрдиреНрдп рдЬрд╛рдирд╡рд░реЛрдВ рдХреЗ рдирд╛рдо рдХреЗ рд▓рд┐рдП рд╕рдВрд▓рдЧреНрдирдХ, рдмрддрдЦ рдФрд░ рд╣рд╛рдереА рдХрд╣рддреЗ рд╣реИрдВред
рд╢рдмреНрдж рдЕрдиреБрд▓рдЧреНрдирдХреЛрдВ рдореЗрдВ рдПрдиреНрдХреЛрдбреЗрдб рдЕрд░реНрде рд╕рдВрдмрдВрдзреА рд╕рдВрдмрдВрдзреЛрдВ рдХрд╛ рдЕрдзреНрдпрдпрди рдХрд░рдиреЗ рдХреЗ рдХрдИ рддрд░реАрдХреЗ рд╣реИрдВред рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп рддрд░реАрдХреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рд╕рд╛рджреГрд╢реНрдп рдХрд╛рд░реНрдп рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╣реИ (рдкрд░реАрдХреНрд╖рд╛ рдореЗрдВ рддрд╛рд░реНрдХрд┐рдХ рд╕реЛрдЪ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рд╕рд╛рдорд╛рдиреНрдп рдкреНрд░рдХрд╛рд░реЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдЬреИрд╕реЗ SAT):
рд╡рд░реНрдб 1: рд╡рд░реНрдб 2 :: рд╡рд░реНрдб 3: ______
рдЗрд╕ рдХрд╛рд░реНрдп рдореЗрдВ, рджрд┐рдП рдЧрдП рддреАрди рд╢рдмреНрджреЛрдВ рдореЗрдВ рд╕реЗ, рдкрд╣рд▓реЗ рджреЛ рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреЛ рджреЗрдЦрддреЗ рд╣реБрдП, рдЪреМрдереЗ рдХреЛ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд░рдирд╛ рдЖрд╡рд╢реНрдпрдХ рд╣реИред рдШреЛрдВрд╕рд▓реЗ рдХреЗ рд╢рд┐рдХрд╛рд░ рд╢рдмреНрджреЛрдВ рдХреА рдорджрдж рд╕реЗ, рдЗрд╕ рд╕рдорд╕реНрдпрд╛ рдХреЛ рд╕реНрдерд╛рдирд┐рдХ рд░реВрдк рд╕реЗ рдПрдиреНрдХреЛрдб рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ, Word1 рдХреЛ Word1 рд╕реЗ рдШрдЯрд╛рдПрдВред рдЙрдирдХреЗ рдмреАрдЪ рдХрд╛ рдЕрдВрддрд░ рд╡реЗрдХреНрдЯрд░ Word1 рдФрд░ Word2 рдХреЗ рдмреАрдЪ рд╕рдВрдмрдВрдз рдХреЛ рдХреВрдЯрдмрджреНрдз рдХрд░рддрд╛ рд╣реИред рдпрд╣ рдЕрдВрддрд░ рддрдм Slovo3 рдореЗрдВ рдЬреЛрдбрд╝рд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдФрд░ рдкрд░рд┐рдгрд╛рдо рдЪреМрдереЗ рд▓рд╛рдкрддрд╛ рд╢рдмреНрдж рдХреЗ рд╕рдмрд╕реЗ рдХрд░реАрдм рд╡реЗрдХреНрдЯрд░ рд╣реЛрдЧрд╛ред рд╕рд╛рджреГрд╢реНрдп рд╕рдорд╕реНрдпрд╛ рдХреЛ рд╣рд▓ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдпрд╣ рдкреНрд░рд╛рдкреНрдд рд╡реЗрдХреНрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рд╕реВрдЪрдХрд╛рдВрдХ рджреНрд╡рд╛рд░рд╛ рдирд┐рдХрдЯрддрдо рдкрдбрд╝реЛрд╕рд┐рдпреЛрдВ рдХреЛ рдХреНрд╡реЗрд░реА рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкрд░реНрдпрд╛рдкреНрдд рд╣реИред рдЙрджрд╛рд╣рд░рдг 5.2 рдореЗрдВ рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рд╕рдВрдмрдВрдзрд┐рдд рдлрд╝рдВрдХреНрд╢рди рдареАрдХ рдЙрд╕реА рдкреНрд░рдХрд╛рд░ рд╣реИ рдЬреЛ рдКрдкрд░ рд╡рд░реНрдгрд┐рдд рд╣реИ: рдпрд╣ рдПрдирд╛рд▓реЙрдЧ рдореЗрдВ рд▓рд╛рдкрддрд╛ рддрддреНрд╡ рдХреЛ рдЦреЛрдЬрдиреЗ рдХреЗ рд▓рд┐рдП рд╡реЗрдХреНрдЯрд░ рдЕрдВрдХрдЧрдгрд┐рдд рдФрд░ рдирд┐рдХрдЯрддрдо рдкрдбрд╝реЛрд╕рд┐рдпреЛрдВ рдХреЗ рдЕрдиреБрдорд╛рдирд┐рдд рд╕реВрдЪрдХрд╛рдВрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред
рдЙрджрд╛рд╣рд░рдг 5.2ред рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдПрдХ рд╕рд╛рджреГрд╢реНрдп рд╕рдорд╕реНрдпрд╛ рдХрд╛ рд╕рдорд╛рдзрд╛рди
рджрд┐рд▓рдЪрд╕реНрдк рд╣реИ, рдПрдХ рд╕рд░рд▓ рдореМрдЦрд┐рдХ рд╕рд╛рджреГрд╢реНрдп рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реБрдП, рдХреЛрдИ рдпрд╣ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд░ рд╕рдХрддрд╛ рд╣реИ рдХрд┐ рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХрд┐рддрдиреЗ рдкреНрд░рдХрд╛рд░ рдХреЗ рдЕрд░реНрде рдФрд░ рд╡рд╛рдХреНрдпрд╡рд┐рдиреНрдпрд╛рд╕ рд╕рдВрдмрдВрдзреЛрдВ (рдЙрджрд╛рд╣рд░рдг 5.3) рдХреЛ рдкрдХрдбрд╝рдиреЗ рдореЗрдВ рд╕рдХреНрд╖рдо рд╣реИрдВред
рдЙрджрд╛рд╣рд░рдг 5.3 SAT рдХреЗ рд╕рд╛рджреГрд╢реНрдп рдкрд░ рдХрд╛рд░реНрдпреЛрдВ рдХреЗ рдЙрджрд╛рд╣рд░рдг рдкрд░ рдмрд╣реБрдд рд╕рд╛рд░реЗ рднрд╛рд╖рд╛рдИ рдХрдиреЗрдХреНрд╢рди рдХреЗ рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдХреА рдорджрдж рд╕реЗ рдХреЛрдбрд┐рдВрдЧ
рдпрджреНрдпрдкрд┐ рдпрд╣ рд▓рдЧ рд╕рдХрддрд╛ рд╣реИ рдХрд┐ рдХрдиреЗрдХреНрд╢рди рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рднрд╛рд╖рд╛ рдХреЗ рдХрд╛рдордХрд╛рдЬ рдХреЛ рджрд░реНрд╢рд╛рддрд╛ рд╣реИ, рди рдХрд┐ рд╕рдм рдХреБрдЫ рдЗрддрдирд╛ рд╕рд░рд▓ рд╣реИред рдЙрджрд╛рд╣рд░рдг 5.4 рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд░рддрд╛ рд╣реИ, рдХрдиреЗрдХреНрд╢рди рдЧрд▓рдд рддрд░реАрдХреЗ рд╕реЗ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рд╢рдмреНрдж рд╡реИрдХреНрдЯрд░ рдЙрдирдХреЗ рд╕рдВрдпреБрдХреНрдд рдШрдЯрдирд╛ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рдирд┐рд░реНрдзрд╛рд░рд┐рдд рдХрд┐рдП рдЬрд╛рддреЗ рд╣реИрдВред
рдЙрджрд╛рд╣рд░рдг 5.4ред рд╕рд╣-рдШрдЯрдирд╛ рдкрд░ рдЖрдзрд╛рд░рд┐рдд рд╢рдмреНрджреЛрдВ рдХреЗ рдЕрд░реНрде рдХреЛ рдХреЛрдбрд┐рдд рдХрд░рдиреЗ рдХреЗ рдЦрддрд░реЗ рдХреЛ рджрд░реНрд╢рд╛рдиреЗ рд╡рд╛рд▓рд╛ рдПрдХ рдЙрджрд╛рд╣рд░рдг - рдХрднреА-рдХрднреА рдпрд╣ рдХрд╛рдо рдирд╣реАрдВ рдХрд░рддрд╛ рд╣реИ!
рдЙрджрд╛рд╣рд░рдг 5.5 рд▓рд┐рдВрдЧ рднреВрдорд┐рдХрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдХреЛрдбрд┐рдВрдЧ рдХрд░рддреЗ рд╕рдордп рд╕рдмрд╕реЗ рдЖрдо рд╕рдВрдпреЛрдЬрдиреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдХреЛ рджрд┐рдЦрд╛рддрд╛ рд╣реИред
рдЙрджрд╛рд╣рд░рдг 5.5 рд╢рдмреНрдж рд╕рдВрд▓рдЧреНрдирдХ рджреНрд╡рд╛рд░рд╛ рдПрдиреНрдХреЛрдбреЗрдб рд╕рдВрд░рдХреНрд╖рд┐рдд рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ, рдЬреИрд╕реЗ рд▓рд┐рдВрдЧ, рдХреЗ рд╕рд╛рде рд╕рд╛рд╡рдзрд╛рди рд░рд╣реЗрдВред рд╡реЗ рднрд╡рд┐рд╖реНрдп рдХреЗ рдореЙрдбрд▓ рдореЗрдВ рдЕрд╡рд╛рдВрдЫрд┐рдд рдкреВрд░реНрд╡рд╛рдЧреНрд░рд╣ рдкреИрджрд╛ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред

рдпрд╣ рдкрддрд╛ рдЪрд▓рд╛ рд╣реИ рдХрд┐ рднрд╛рд╖рд╛ рдХреЗ рдкреИрдЯрд░реНрди рдФрд░ рдЧрд╣рд░реА рдЬрдбрд╝реЗрдВ рд╡рд╛рд▓реЗ рд╕рд╛рдВрд╕реНрдХреГрддрд┐рдХ рдкреВрд░реНрд╡рд╛рдЧреНрд░рд╣реЛрдВ рдХреЗ рдмреАрдЪ рдЕрдВрддрд░ рдХрд░рдирд╛ рдХрд╛рдлреА рдХрдард┐рди рд╣реИред рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП, рдбреЙрдХреНрдЯрд░ рдХрд┐рд╕реА рднреА рддрд░рд╣ рд╕реЗ рд╣рдореЗрд╢рд╛ рдкреБрд░реБрд╖ рдирд╣реАрдВ рд╣реЛрддреЗ рд╣реИрдВ, рдФрд░ рдирд░реНрд╕ рд╣рдореЗрд╢рд╛ рдорд╣рд┐рд▓рд╛рдПрдВ рдирд╣реАрдВ рд╣реЛрддреА рд╣реИрдВ, рд▓реЗрдХрд┐рди рдРрд╕реЗ рдкреВрд░реНрд╡рд╛рдЧреНрд░рд╣ рдЗрддрдиреЗ рд▓рдЧрд╛рддрд╛рд░ рд╣реЛрддреЗ рд╣реИрдВ рдХрд┐ рд╡реЗ рднрд╛рд╖рд╛ рдореЗрдВ рдкрд░рд┐рд▓рдХреНрд╖рд┐рдд рд╣реЛрддреЗ рд╣реИрдВ, рдФрд░ рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк, рд╡реИрдХреНрдЯрд░ рд╢рдмреНрдж рдореЗрдВ, рдЬреИрд╕рд╛ рдХрд┐ рдЙрджрд╛рд╣рд░рдг 5.6 рдореЗрдВ рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рд╣реИред
рдЙрджрд╛рд╣рд░рдг 5.6ред рд╢рдмреНрджреЛрдВ рдХреЗ рд╡реИрдХреНрдЯрд░ рдореЗрдВ рд╕рд╛рдВрд╕реНрдХреГрддрд┐рдХ рдкреВрд░реНрд╡рд╛рдЧреНрд░рд╣ "рд╕рд┐рд▓рдирд╛"

рд╣рдореЗрдВ рдПрдирдПрд▓рдкреА рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдореЗрдВ рдЙрдирдХреА рд▓реЛрдХрдкреНрд░рд┐рдпрддрд╛ рдФрд░ рд╡реНрдпрд╛рдкрдХрддрд╛ рдХреЛ рдзреНрдпрд╛рди рдореЗрдВ рд░рдЦрддреЗ рд╣реБрдП, рдирд┐рд╡реЗрд╢ рдореЗрдВ рд╕рдВрднрд╛рд╡рд┐рдд рд╡реНрдпрд╡рд╕реНрдерд┐рдд рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдирд╣реАрдВ рднреВрд▓рдирд╛ рдЪрд╛рд╣рд┐рдПред рд╢рдмреНрдж рдПрдореНрдмреЗрдбрд┐рдВрдЧ рдореЗрдВ рд╡реНрдпрд╡рд╕реНрдерд┐рдд рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХрд╛ рдЙрдиреНрдореВрд▓рди рд╡реИрдЬреНрдЮрд╛рдирд┐рдХ рдЕрдиреБрд╕рдВрдзрд╛рди рдХрд╛ рдПрдХ рдирдпрд╛ рдФрд░ рдмрд╣реБрдд рджрд┐рд▓рдЪрд╕реНрдк рдХреНрд╖реЗрддреНрд░ рд╣реИ (рдмреЛрд▓реБрдХрдмрд╛рд╕реА рдПрдЯ рдЕрд▓ рджреНрд╡рд╛рд░рд╛ рд▓реЗрдЦ рджреЗрдЦреЗрдВред [рдмреЛрд▓реБрдХрдмрд╛рд╕реА рдПрдЯ рдЕрд▓ред, 2016])ред рд╣рдо рдЕрдиреБрд╢рдВрд╕рд╛ рдХрд░рддреЗ рд╣реИрдВ рдХрд┐ рдЖрдк
ethicsinnlp.org рдХреЛ
рджреЗрдЦреЗрдВ рдЬрд╣рд╛рдВ рдЖрдк
рдХреНрд░реЙрд╕-рд╕реЗрдХреНрд╢рдирд▓ рдиреИрддрд┐рдХрддрд╛ рдФрд░ рдПрдирдПрд▓рдкреА рдкрд░ рдЕрджреНрдпрддрд┐рдд рдЬрд╛рдирдХрд╛рд░реА рдкрд╛ рд╕рдХрддреЗ рд╣реИрдВред
рд▓реЗрдЦрдХреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ
рдбреЗрд▓рд┐рдк рд░рд╛рд╡ рд╕реИрди рдлреНрд░рд╛рдВрд╕рд┐рд╕реНрдХреЛ рд╕реНрдерд┐рдд рдкрд░рд╛рдорд░реНрд╢рджрд╛рддрд╛ рдлрд░реНрдо рдЬреЛрд╕реНрдЯрд╡реЗрдпрд░ рдХреЗ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ рдФрд░ рдПрдирдПрд▓рдкреА рдЕрдиреБрд╕рдВрдзрд╛рди рдореЗрдВ рд╡рд┐рд╢реЗрд╖рдЬреНрдЮрддрд╛ рдХреЗ рд╕рдВрд╕реНрдерд╛рдкрдХ рд╣реИрдВред рдлреЗрдХ рдиреНрдпреВрдЬ рдЪреИрд▓реЗрдВрдЬ рдХреЗ рд╕рд╣-рд╕рдВрд╕реНрдерд╛рдкрдХреЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ - рдореАрдбрд┐рдпрд╛ рдореЗрдВ рдлреИрдХреНрдЯ-рдЪреЗрдХрд┐рдВрдЧ рдХреЗ рдХрд╛рд░реНрдпреЛрдВ рдкрд░ рдПрдЖрдИ рдХреЗ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рд╣реИрдХрд░реНрд╕ рдФрд░ рд╢реЛрдзрдХрд░реНрддрд╛рдУрдВ рдХреЛ рдПрдХ рд╕рд╛рде рд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдбрд┐рдЬрд╝рд╛рдЗрди рдХреА рдЧрдИ рдПрдХ рдкрд╣рд▓ред рдбреЗрд▓рд┐рдк рдиреЗ рдкрд╣рд▓реЗ рдЯреНрд╡рд┐рдЯрд░ рдФрд░ рдЕрдореЗрдЬрд╝реЕрди (рдПрд▓реЗрдХреНрд╕рд╛) рдкрд░ рдПрдирдПрд▓рдкреА-рд╕рдВрдмрдВрдзрд┐рдд рдЕрдиреБрд╕рдВрдзрд╛рди рдФрд░ рд╕реЙрдлреНрдЯрд╡реЗрдпрд░ рдЙрддреНрдкрд╛рджреЛрдВ рдкрд░ рдХрд╛рдо рдХрд┐рдпрд╛ред
рдмреНрд░рд╛рдпрди рдореИрдХрдореИрд╣рди рд╡реЗрд▓реНрд╕ рдлрд╝рд╛рд░реНрдЧреЛ рдХреЗ рдПрдХ рд╢реЛрдз рд╕рд╛рдереА рд╣реИрдВ, рдЬреЛ рдореБрдЦреНрдп рд░реВрдк рд╕реЗ рдПрдирдПрд▓рдкреА рдкрд░ рдХреЗрдВрджреНрд░рд┐рдд рд╣реИред рдкрд╣рд▓реЗ рдЬреЛрд╕реНрдЯрд╡реЗрдпрд░ рдореЗрдВ рдХрд╛рдо рдХрд┐рдпрд╛ред
┬╗рдкреБрд╕реНрддрдХ рдХреА рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА
рдкреНрд░рдХрд╛рд╢рдХ рдХреА рд╡реЗрдмрд╕рд╛рдЗрдЯ рдкрд░ рдкрд╛рдИ рдЬрд╛ рд╕рдХрддреА рд╣реИ
┬╗
рд╕рд╛рдордЧреНрд░реА┬╗
рдЕрдВрд╢рдлреЗрд░реАрд╡рд╛рд▓реЛрдВ рдХреЗ рд▓рд┐рдП рдХреВрдкрди рдкрд░ 25% рдХреА рдЫреВрдЯ -
PyTorchрдкреБрд╕реНрддрдХ рдХреЗ рдкреЗрдкрд░ рд╕рдВрд╕реНрдХрд░рдг рдХреЗ рднреБрдЧрддрд╛рди рдкрд░, рдПрдХ рдЗрд▓реЗрдХреНрдЯреНрд░реЙрдирд┐рдХ рдкреБрд╕реНрддрдХ рдИ-рдореЗрд▓ рджреНрд╡рд╛рд░рд╛ рднреЗрдЬреА рдЬрд╛рддреА рд╣реИред