«Наша цель — использовать компьютерное зрение и искусственный интеллект для создания цифрового полевого справочника, который поможет людям научиться распознавать птиц», — говорит Белхьюмер, который вместе с коллегами запустил аналогичный электронный полевой справочник по деревьям Leafsnap два года назад. «Мы смогли собрать невероятную коллекцию данных — тысячи фотографий птиц — и использовать технологии для удобной и увлекательной систематизации данных».Белхумер и его коллега, профессор компьютерных наук Дэвид Джейкобс из Университета Мэриленда, поняли, что многие из разработанных ими методов распознавания лиц в работе, охватывающей более десяти лет, также могут быть применены для автоматической идентификации видов.
Современные алгоритмы распознавания лиц основываются на методах, которые находят соответствия между сопоставимыми частями разных лиц, так что, например, нос сравнивается с носом, а глаз — с глазом. Birdsnap работает таким же образом, обнаруживая части птицы, чтобы можно было проверить визуальное сходство ее сопоставимых частей (каждый вид помечен местоположением 17 частей). Он автоматически обнаруживает визуально похожие виды и делает визуальные подсказки, как их можно отличить.«Категоризация — одна из фундаментальных проблем компьютерного зрения», — говорит Томас Берг, кандидат наук по информатике из Колумбийского университета, который тесно сотрудничает с Belhumeur. «В последнее время был достигнут значительный прогресс в детальной визуальной категоризации, распознавании и различении категорий, которые выглядят очень похожими.
Что действительно интересно в Birdsnap, так это то, что он не только хорошо справляется с идентификацией видов, но и он также может определить, какие части птицы алгоритм использует для идентификации каждого вида. Затем Birdsnap автоматически аннотирует изображения птицы, чтобы показать эти отличительные части — орнитологи называют их «полевыми отметками», чтобы пользователь мог узнать, что искать . "Команда разработала то, что они называют «частичными функциями один на один», или POOF, каждая из которых классифицирует птиц только двух видов на основе небольшой части тела птицы. Система строит сотни POOF для каждой пары видов, каждая из которых основывается на отдельной части птицы, и выбирает части, используемые наиболее точными POOF в качестве полевых отметок. Birdsnap также использует POOF для идентификации загруженных изображений.
Команда также воспользовалась тем фактом, что современные камеры, особенно на телефонах, встраивают дату и местоположение в свои изображения и использовали эту информацию для повышения точности классификации. Они не только придумали полностью автоматический метод, чтобы научить пользователей определять визуально похожие виды, но также разработали систему, которая может точно определять, какие птицы прибывают, улетают или мигрируют. «Вы можете идентифицировать птиц в США, где бы вы ни находились, в любое время года», — отмечает Берг.
На разработку приложения Leafsnap, которое требовало затрат времени и ресурсов на сбор и фотографирование тысяч листьев, потребовалось почти 10 лет, и сейчас у него более миллиона пользователей. Belhumeur запустил Birdsnap примерно через шесть месяцев благодаря распространению онлайн-источников данных и достижениям в области компьютерного зрения и мобильных вычислений. Фотографии были загружены из Интернета, причем обозначения видов были подтверждены работниками Amazon Mechanical Turk, которые также подписали детали.
Описания взяты из Википедии. Карты были основаны на данных eBird, совместного предприятия Лаборатории орнитологии Корнельского университета и Национального общества Одубона, а также BirdLife, международной сети природоохранных организаций.В дальнейшем Белхумер надеется сотрудничать с коллегами из Columbia Engineering над добавлением способности распознавать песни птиц, объединяя аудио и визуальное распознавание.
Он также хочет создать «умный» бинокль, который использует эту технологию искусственного интеллекта для идентификации и маркировки видов в поле зрения.«Биологические области — будь то деревья, собаки или птицы — в которых таксономия диктует четкий набор подкатегорий, прекрасно подходят для решения проблемы детальной визуальной категоризации», — отмечает Белхьюмер. «С учетом всех достижений в области компьютерного зрения и сбора информации, это захватывающее время, чтобы погрузиться в визуальное распознавание и большие данные».
Это исследование финансировалось Национальным научным фондом, Фондом Гордона и Бетти Мур и Управлением военно-морских исследований.Приложение: https://itunes.apple.com/app/birdsnap/id880461148Сайт: http://birdsnap.com/