Пошук по фото з телефону в Яндексі – важливі особливості

45

Доброго дня. Ситуація, в якій потрібно терміново визначити «походження» картинки – не таке вже рідкісне явище. Як це зробити швидко відомо не всім. Насправді, зробити це досить просто – функція пошуку з фото з телефону в Яндексі доступна вже кілька років. Давайте ж розберемося, як це працює, а також дізнаємося історію появи подібної технології.

ЗМІСТ СТАТТІ:

  • Пошук за атрибутами
  • «Шок» в картинках
  • «Розумний» пошук зображень Google
  • Аналіз медіаконтенту в Яндексі
    • Як же це працює?
    • Зручність «розумного пошуку»
  • Пошук по фото з телефону в Яндексі
  • Пошук фотографій в Гугл
  • Альтернативний спосіб – TinEye

Пошук за атрибутами

Алгоритм інтелектуального аналізу змісту зображень з’явився не так вже й давно. Спочатку, ПС знаходили картинки по атрибутах, приписаним файлу, що іноді призводило до «дивним» результатами. Наприклад, при спробах знаходження на фото зеленого парасольки з візерунком – Яндекс відображав цегла або ще чого гірше. Пошук потрібного фото з телефону не міг увінчатися успіхом в принципі. Але і це не найстрашніше.

Потихеньку, по певним запитам, «роботи» Google почали збирати фото, скажімо так «непублічного» змісту. Не зовсім зрозуміло, як так вийшло – безглузде збіг обставин або хтось свідомо поширював подібний контент, відомо одне – до початку використання інтелектуального алгоритму сортування та аналізу зображень в пошуковій видачі творився справжній хаос – один з прикладів розглянемо далі.

«Шок» в картинках

До 2011 року користувач, який шукає певний запит на стартовій сторінці в Google натикався на фотографії шокуючого змісту. До речі, подібний механізм видачі залишився до цих пір, з тією лише поправкою, що тепер зображення не відображаються на головній сторінці. А в розділі картинки – будь ласка, все залишилося як є. Цікаво інше: в системі Яндекса подібні запити вже не спрацьовують. Це дозволяє зробити висновок, що спосіб ефективної модерації знайдений – чому ним не скористається Гугл – залишається загадкою.

«Розумний» пошук зображень Google

У 2011 році працівники Гугл потихеньку почали впроваджувати нові алгоритми розпізнавання і сортування зображень. Тепер робот не довіряв тегам, що описує картинки, а розбивав окремо взяте фото на кілька окремих елементів і класів, привласнюючи кожному — окремий, індивідуальний код. Так, непомітно для широкої маси користувачів, стався величезний прорив у сфері розробки технологій штучного інтелекту, адже ще в 2005 році ніхто не міг навіть припускати, що пошукова машина навчиться обробляти титанічна обсяг інформації, видаючи при цьому точні результати.

Пошук по фото з телефону в Яндексі – важливі особливості

Пошук по фото з телефону в Яндексі – важливі особливості

Схожим чином, обробляти і розпізнавати окремі частини фото навчився і Yandex, про який і піде мова далі.

Аналіз медіаконтенту в Яндексі

Не можна сказати, що російський пошуковик пішов повністю «своїм» шляхом. Фундаментальні відмінності в підході до аналізу і обробки фотографій, звичайно є, але «база» все ж загальна. До запуску нового алгоритму пошуку зображень у 2013-му році, видача фотокарток модерировалась спеціальними людьми – асесорами (основне завдання яких – «олюднення» пошукової системи і механізмів індексації). Іншими словами – асесори, це ті, хто допомагають Yandexу «розумнішати». Правда, цей ресурс дуже обмежений, а тому, відділ таких помічників аналізував інформацію тільки з самим популярним запитам. Вони ж, намагалися привести пошук по фото з телефону в Яндексі в адекватний вид.

У середині року, фахівці Яндекса все ж запустили нову систему розпізнавання графіки на базі технології CBIR (пошук фото за змістом). Взагалі, ідея осмисленого пошуку фотографій не нова, і досліджень з 1992 року на цю тему було зроблено дуже багато. Чимало було розроблено і проектів, покликаних вирішити проблему «осмислення» медіаконтенту роботом, але до конкретних результатів прийшли лише найбільші пошукові агрегатори і з десяток компаній, які працюють в інших напрямках розробки технологій штучного інтелекту (наприклад, той же TinEye, який ми також не оминемо).

Пошук по фото з телефону в Яндексі – важливі особливості

Пошук по фото з телефону в Яндексі – важливі особливості

Як же це працює?

CBIR Яндекса спирається на аналіз і класифікацію, так званих «візуальних слів». Це видно на наступній схемі:

Пошук по фото з телефону в Яндексі – важливі особливості
Таким чином, пошукова машина тепер буквально «бачить» файл, завантажений користувачем, і дуже точно знаходить схожі фото, як за кольором, так і за змістом.

В 2016 році, підрозділ Яндекса (YDF) – здійснив пробний запуск сервісу автомодерации фотографій. Це експериментальне рішення для соц. мереж, інтернет-магазинів та інших ресурсів, які потребують унікальному медиаконтенте. Розробка була визнана перспективною, в її основу лягли технології штучного інтелекту та комп’ютерного зору.

Вже на етапі тестування, один з менеджерів проекту повідомив, що використання сервісу буде поставлено на комерційні рейки. На практиці виявилося, що подібна боротьба за легалізацію і унікальність зображень не дуже-то збігається навіть з правовою базою, не кажучи вже про загальні тенденції Рунета.

Загальну картину ми бачимо, давайте ж спробуємо розібратися з практичним застосуванням.

Зручність «розумного пошуку»

Ви перегортаєте новини в улюбленій соц. мережі або щось запекло обговорюєте в груповому чаті месенджера. Потік букв, стікерів, аудіозаписів, документів і тут, вашу увагу притягує невідоме досі художній твір. Але хто це намалював, Ви не знаєте, і друзі знизують плечима – не у всіх в френдлисте прихований мистецтвознавець. Ми шукаємо картину, на якій зображено човен з людьми, поруч зі скелями в шторм. Ось вона:

Пошук по фото з телефону в Яндексі – важливі особливості

Пошук фотографії з опису для нас виглядав би наступним чином:

Пошук по фото з телефону в Яндексі – важливі особливості

Не дуже вдало вийшло, правда? І човен у нас є, і море, і скелі, але все не те. Доведеться трохи поправити запит.

Пошук по фото з телефону в Яндексі – важливі особливості

Ми підібралися ближче, але результату ще немає.

Що ж у нас тут взагалі відбувається? Є море, є буря. Що робить буря? Правильно, вирує.

Трохи змінимо запит.

Пошук по фото з телефону в Яндексі – важливі особливості

Ось наша картина і знайшлася. Це робота Айвазовського «Бущующее Море». Варто зауважити, що Айвазовський – відомий в широких колах, а з деякими його творами знайомлять ще зі шкільної лави. Але у нього дуже багато картин про море, додамо до цього купу інших фотокарток в пошуковій видачі і готово – без «танці з бубном нам не розібратися. А тепер уявіть те ж саме, але з мобільного.

А що робити з творами інших художників? Вони не завжди піддаються опису. Нижче у нас «Спокуса св. Антонія» написане Босхом:

Пошук по фото з телефону в Яндексі – важливі особливості

Цю картину не те що важко описати машині, не кожній людині вдасться пояснити, що тут зображено.

В цьому і проявляється недосконалість пошуку по тегам і описами. І якщо з ПК ми ще можемо трохи посидіти і пошукати мишею потрібний нам фото, то зі смартфона це дуже незручно робити. Екран не такий великий, як на стаціонарному комп’ютері або ноутбуці, а інформації дуже багато – доведеться довго промотувати вниз.

Пошук по фото з телефону в Яндексі

Для того, щоб знайти фотографію нам потрібно зробити наступне в браузері, запустивши Yandex:

  • Робимо 1 «тап» (дотик) в поле вводу;
  • Тиснемо кнопку «Запитати картинкою»:

Пошук по фото з телефону в Яндексі – важливі особливості

  • Подгружаем файл з пам’яті смартфона;
  • Готово, на скріншоті ви можете помітити, що у нас все вийшло – це фото знайшлося, а також знайшлися схожі:

Пошук по фото з телефону в Яндексі – важливі особливості

Пошук фотографій в Гугл

Пристрої під управлінням Андроїд, забезпечені стандартною службою пошуку Google Images. Для її використання, зробіть тривале натискання на потрібному фото.

У меню, що розкрилося тапніте на «Знайти це зображення»:

Пошук по фото з телефону в Яндексі – важливі особливості
Якщо ця фотографія розміщена на якій-небудь сторінці, можна «впізнати» його як за допомогою пошуку по зображенню, так і по посиланню, яку потрібно буде скопіювати та вставити в пошуковий рядок.

А ось так виглядають результати:

Пошук по фото з телефону в Яндексі – важливі особливості

Альтернативний спосіб – TinEye

На телефонах попереднього покоління має сенс скористатися сервісом TinEye. Він, як і Яндекс, базується на принципі «CBIR», але підхід сильно відрізняється. Це один з найбільш точних ресурсів пошуку фото з телефону. Його інтерфейс дуже простий: натисніть на кнопку завантаження і виберіть потрібне зображення.

Пошук по фото з телефону в Яндексі – важливі особливості

Детальніше я розповідав в цьому пості.

Ось ми і розібралися в тонкощах такий простий у використанні функції. Але для того, щоб вона з’явилася – потрібно дуже багато сил і часу. Тепер ви знаєте, як здійснювати пошук по фото з телефону на Яндексі.

З повагою, Віктор!