Отправить заявку

Заполните поля ниже, и мы свяжемся с вами в ближайшее время.
Fill in the fields below and we will contact you shortly.
 
2 + 15 =
Решите эту простую математическую задачу и введите результат. Например, для 1+3, введите 4.

Что такое BERT Google?

Разработка моделей BERT, о которых сегодня пойдет речь, стала самым крупным рывком Google за последние 5 лет и, возможно, самым большим достижением в технологиях поисковых систем в целом. 

Ежедневно люди задают миллиарды поисковых запросов, каждые 15% которых Google не видел прежде. Именно поэтому в корпорации пришли к мысли, что пора создать способы возврата результатов по запросам, которые поисковая система не может предвидеть. 

Иногда люди начинают что-либо искать в Google не до конца понимая как лучше сформулировать свой запрос. Собственно, для этого они и открывают поисковик — чтобы узнать. 

В любом случае, со стороны разработчиков Google, поиск — это про понимание языка. Вне зависимости от того, как и что вы ищете, как вы комбинируете слова и фразы в своем запросе, система должна выдать максимально релевантный результат, чтобы вам не приходилось блуждать по сайтам в поисках необходимой информации. 

По сей день сложные запросы или запросы, сформулированные посредством нарочито разговорного языка, периодически вводят алгоритм в тупик. 

Именно поэтому исследовательская группа Google активно занимается улучшением понимания запросов, привлекая технологии машинного обучения. Наконец это принесло значительные результаты! 


 

Google BERT: без права на ошибку

В прошлом году Google разработали и представили технологию обработки естественного языка (Natural Language Processing, NLP), основанную на нейросетях, которая называется «Двунаправленное представление кодировщиков от трансформаторов» (Bidirectional Encoder Representations from Transformers, BERT).

Главным отличием BERT от более ранних моделей стало то, что они могут комплексно учитывать контекст предложений. Новые модели обращают внимание не только и не столько на очередность слов в предложениях, сколько на них взаимосвязь, что очень важно для поисковых запросов.

Разработка BERT потребовала от специалистов Google не только привлечения таких технологий как машинное обучение и NLP, но и привлечения нового оборудования. Теперь в корпорации используют облачные TPU, которые способны справиться с моделями, построенными с помощью BERT.

Как изменится жизнь рядового юзера после внедрения BERT? В плоскости поиска информации — радикальным образом. Поскольку Google всегда ориентируется на пользователя, а не на бизнес, новые технологии помогут нам гораздо быстрее и проще искать необходимые товары, услуги и, что самое главное, знания. 

На данный момент BERT помогает лучше понимать 10% запросов из США на английском языке. Конечно, в последствии должен возрасти не только этот показатель, но и количество языков, которые новые модели станут понимать лучше. 

Теперь более длинные, диалоговые запросы, которые содержат предлоги, будут лучше поняты алгоритмом. 

Перед запуском этой технологии ее тщательно тестировали. Ниже — несколько примеров из официального источника Google. 

 


 

Google BERT: без права на ошибку

 

Поисковой запрос «2019 brazil traveler to usa need a visa» прежде был бы воспринят алгоритмом как граждане США, которые хотят поехать в Бразилию, хотя совершенно очевидно обратное. В этом запросе речь идет о бразильце, который хочет поехать в Штаты и потому нуждается в визе. Теперь запрос будет понят правильно: отчасти, из-за возможности обновленного алгоритма учитывать предлоги. 

 

 

Google BERT: без права на ошибку

 

Другой пример: «do estheticians stand a lot at work». Ранее алгоритм воспринял бы слово stand как глагол, означающий оставаться, хотя в этом контексте разумнее было бы воспринять это слово за термин «автономный», то есть стоящий в стороне. Тем не менее, модели BERT понимают, что в этом контексте имеется в виду физическое требование, характеризующее работу — необходимо ли будет много стоять? Такие тонкости языка прежде не могли быть правильно восприняты компьютерами.

Несмотря на то что модели будут обучаются на примере английского языка, в планах разработчиков Google адаптировать поиск для множества языков. Если система научится корректно читать любые запросы на английском, сделать аналогичное на другом языке будет проще. Пока что только несколько десятков стран задействованы в эксперименте. Помимо английского, успехи видны на примере хинди, португальского и корейского языков. Конечно, разработка BERT не сможет целиком решить проблему языка и умения воспринимать его алгоритмом, но, так или иначе, это огромный шаг вперед.