Доброго дня. Ситуація, в якій потрібно терміново визначити “походження” картинки – не таке вже рідкісне явище. Як це зробити швидко відомо не всім. Насправді, зробити це досить просто – функція пошуку з фото з телефону в Яндексі доступна вже кілька років. Давайте ж розберемося, як це працює, а також дізнаємося історію появи подібної технології.
ЗМІСТ СТАТТІ:
- Пошук за атрибутами
- “Шок” в картинках
- “Розумний” пошук зображень Google
- Аналіз медіаконтенту в Яндексі
- Як же це працює?
- Зручність “розумного пошуку”
- Пошук по фото з телефону в Яндексі
- Пошук фотографій в Гугл
- Альтернативний спосіб – TinEye
Пошук за атрибутами
Алгоритм інтелектуального аналізу змісту зображень з’явився не так вже й давно. Спочатку, ПС знаходили картинки по атрибутах, приписаним файлу, що іноді призводило до “дивним” результатами. Наприклад, при спробах знаходження на фото зеленого парасольки з візерунком – Яндекс відображав цегла або ще чого гірше. Пошук потрібного фото з телефону не міг увінчатися успіхом в принципі. Але і це не найстрашніше.
Потихеньку, по певним запитам, “роботи” Google почали збирати фото, скажімо так “непублічного” змісту. Не зовсім зрозуміло, як так вийшло – безглузде збіг обставин або хтось свідомо поширював подібний контент, відомо одне – до початку використання інтелектуального алгоритму сортування та аналізу зображень в пошуковій видачі творився справжній хаос – один з прикладів розглянемо далі.
“Шок” в картинках
До 2011 року користувач, який шукає певний запит на стартовій сторінці в Google натикався на фотографії шокуючого змісту. До речі, подібний механізм видачі залишився до цих пір, з тією лише поправкою, що тепер зображення не відображаються на головній сторінці. А в розділі картинки – будь ласка, все залишилося як є. Цікаво інше: в системі Яндекса подібні запити вже не спрацьовують. Це дозволяє зробити висновок, що спосіб ефективної модерації знайдений – чому ним не скористається Гугл – залишається загадкою.
“Розумний” пошук зображень Google
У 2011 році працівники Гугл потихеньку почали впроваджувати нові алгоритми розпізнавання і сортування зображень. Тепер робот не довіряв тегам, що описує картинки, а розбивав окремо взяте фото на кілька окремих елементів і класів, привласнюючи кожному — окремий, індивідуальний код. Так, непомітно для широкої маси користувачів, стався величезний прорив у сфері розробки технологій штучного інтелекту, адже ще в 2005 році ніхто не міг навіть припускати, що пошукова машина навчиться обробляти титанічна обсяг інформації, видаючи при цьому точні результати.
Схожим чином, обробляти і розпізнавати окремі частини фото навчився і Yandex, про який і піде мова далі.
Аналіз медіаконтенту в Яндексі
Не можна сказати, що російський пошуковик пішов повністю “своїм” шляхом. Фундаментальні відмінності в підході до аналізу і обробки фотографій, звичайно є, але “база” все ж загальна. До запуску нового алгоритму пошуку зображень у 2013-му році, видача фотокарток модерировалась спеціальними людьми – асесорами (основне завдання яких – “олюднення” пошукової системи і механізмів індексації). Іншими словами – асесори, це ті, хто допомагають Yandexу “розумнішати”. Правда, цей ресурс дуже обмежений, а тому, відділ таких помічників аналізував інформацію тільки з самим популярним запитам. Вони ж, намагалися привести пошук по фото з телефону в Яндексі в адекватний вид.
У середині року, фахівці Яндекса все ж запустили нову систему розпізнавання графіки на базі технології CBIR (пошук фото за змістом). Взагалі, ідея осмисленого пошуку фотографій не нова, і досліджень з 1992 року на цю тему було зроблено дуже багато. Чимало було розроблено і проектів, покликаних вирішити проблему “осмислення” медіаконтенту роботом, але до конкретних результатів прийшли лише найбільші пошукові агрегатори і з десяток компаній, які працюють в інших напрямках розробки технологій штучного інтелекту (наприклад, той же TinEye, який ми також не оминемо).
Як же це працює?
CBIR Яндекса спирається на аналіз і класифікацію, так званих “візуальних слів”. Це видно на наступній схемі:
Таким чином, пошукова машина тепер буквально “бачить” файл, завантажений користувачем, і дуже точно знаходить схожі фото, як за кольором, так і за змістом.
В 2016 році, підрозділ Яндекса (YDF) – здійснив пробний запуск сервісу автомодерации фотографій. Це експериментальне рішення для соц. мереж, інтернет-магазинів та інших ресурсів, які потребують унікальному медиаконтенте. Розробка була визнана перспективною, в її основу лягли технології штучного інтелекту та комп’ютерного зору.
Вже на етапі тестування, один з менеджерів проекту повідомив, що використання сервісу буде поставлено на комерційні рейки. На практиці виявилося, що подібна боротьба за легалізацію і унікальність зображень не дуже-то збігається навіть з правовою базою, не кажучи вже про загальні тенденції Рунета.
Загальну картину ми бачимо, давайте ж спробуємо розібратися з практичним застосуванням.
Зручність “розумного пошуку”
Ви перегортаєте новини в улюбленій соц. мережі або щось запекло обговорюєте в груповому чаті месенджера. Потік букв, стікерів, аудіозаписів, документів і тут, вашу увагу притягує невідоме досі художній твір. Але хто це намалював, Ви не знаєте, і друзі знизують плечима – не у всіх в френдлисте прихований мистецтвознавець. Ми шукаємо картину, на якій зображено човен з людьми, поруч зі скелями в шторм. Ось вона:
Пошук фотографії з опису для нас виглядав би наступним чином:
Не дуже вдало вийшло, правда? І човен у нас є, і море, і скелі, але все не те. Доведеться трохи поправити запит.
Ми підібралися ближче, але результату ще немає.
Що ж у нас тут взагалі відбувається? Є море, є буря. Що робить буря? Правильно, вирує.
Трохи змінимо запит.
Ось наша картина і знайшлася. Це робота Айвазовського “Бущующее Море”. Варто зауважити, що Айвазовський – відомий в широких колах, а з деякими його творами знайомлять ще зі шкільної лави. Але у нього дуже багато картин про море, додамо до цього купу інших фотокарток в пошуковій видачі і готово – без “танці з бубном нам не розібратися. А тепер уявіть те ж саме, але з мобільного.
А що робити з творами інших художників? Вони не завжди піддаються опису. Нижче у нас “Спокуса св. Антонія” написане Босхом:
Цю картину не те що важко описати машині, не кожній людині вдасться пояснити, що тут зображено.
В цьому і проявляється недосконалість пошуку по тегам і описами. І якщо з ПК ми ще можемо трохи посидіти і пошукати мишею потрібний нам фото, то зі смартфона це дуже незручно робити. Екран не такий великий, як на стаціонарному комп’ютері або ноутбуці, а інформації дуже багато – доведеться довго промотувати вниз.
Пошук по фото з телефону в Яндексі
Для того, щоб знайти фотографію нам потрібно зробити наступне в браузері, запустивши Yandex:
- Робимо 1 “тап” (дотик) в поле вводу;
- Тиснемо кнопку “Запитати картинкою”:
- Подгружаем файл з пам’яті смартфона;
- Готово, на скріншоті ви можете помітити, що у нас все вийшло – це фото знайшлося, а також знайшлися схожі:
Пошук фотографій в Гугл
Пристрої під управлінням Андроїд, забезпечені стандартною службою пошуку Google Images. Для її використання, зробіть тривале натискання на потрібному фото.
У меню, що розкрилося тапніте на “Знайти це зображення”:
Якщо ця фотографія розміщена на якій-небудь сторінці, можна “впізнати” його як за допомогою пошуку по зображенню, так і по посиланню, яку потрібно буде скопіювати та вставити в пошуковий рядок.
А ось так виглядають результати:
Альтернативний спосіб – TinEye
На телефонах попереднього покоління має сенс скористатися сервісом TinEye. Він, як і Яндекс, базується на принципі “CBIR”, але підхід сильно відрізняється. Це один з найбільш точних ресурсів пошуку фото з телефону. Його інтерфейс дуже простий: натисніть на кнопку завантаження і виберіть потрібне зображення.
Детальніше я розповідав в цьому пості.
Ось ми і розібралися в тонкощах такий простий у використанні функції. Але для того, щоб вона з’явилася – потрібно дуже багато сил і часу. Тепер ви знаєте, як здійснювати пошук по фото з телефону на Яндексі.
З повагою, Віктор!
