Этот метод, получивший название LiveLight, постоянно оценивает действие в видео, ищет визуальную новизну и игнорирует повторяющиеся или бессобытийные последовательности, чтобы создать сводку, которая позволяет зрителю понять суть того, что произошло. Он производит миниатюрный трейлер к видео. Хотя он еще не сопоставим с профессионально отредактированным видео, он может помочь людям быстро просмотреть длинное видео события, видео с камеры видеонаблюдения или видео с камеры на лобовом стекле полицейского крейсера.
Особенно интересное приложение использует LiveLight для автоматического переваривания видео, скажем, с GoPro или Google Glass, и быстрой загрузки трейлеров миниатюр в социальные сети. Таким образом, процесс резюмирования позволяет избежать затрат на дорогостоящие Интернет-данные и утомительного ручного редактирования длинных видеороликов. Это приложение, вместе с автоматическим суммированием данных камеры наблюдения, в настоящее время разрабатывается для розничного рынка компанией PanOptus Inc., стартапом, основанным изобретателями LiveLight.Сводка видео LiveLight происходит в «квази-реальном времени» всего за один проход через видео.
Это не мгновенно, но и не занимает много времени — LiveLight может занять 1-2 часа для обработки одного часа необработанного видео, и это можно сделать на обычном ноутбуке. По словам исследователей, с более мощным серверным вычислительным оборудованием время производства может быть сокращено до нескольких минут.Эрик П. Син, профессор машинного обучения, и Бинь Чжао, доктор философии.
Студент факультета машинного обучения представит свою работу на LiveLight 26 июня на конференции по компьютерному зрению и распознаванию образов в Колумбусе, штат Огайо. Примеры видео и резюме доступны в Интернете по адресу http://supan.pc.cs.cmu.edu:8080/VideoSummarization/. Демонстрационное видео доступно по адресу http://youtu.be/pkG3apELN_8.«Алгоритм никогда не оглядывается назад», — сказал Чжао, специализирующийся на компьютерном зрении.
Скорее, когда алгоритм обрабатывает видео, он составляет словарь его содержания. Затем алгоритм использует изученный словарь, чтобы очень эффективно решить, похож ли вновь увиденный сегмент на ранее наблюдаемые события, такие как обычное движение на шоссе. Сегменты, идентифицированные таким образом как тривиальные повторения или несобытийные, исключаются из сводки.
Новые последовательности, не вошедшие в выученный словарь, например, неуравновешенный автомобиль или дорожно-транспортное происшествие, будут включены в резюме.Хотя LiveLight может создавать эти резюме автоматически, люди также могут быть включены в цикл для составления резюме. В этом случае, по словам Чжао, LiveLight предоставляет ранжированный список новых последовательностей, которые редактор-человек может рассмотреть для окончательного видео.
Помимо выбора последовательностей, редактор-человек может решить восстановить некоторые отснятые материалы, которые считаются бесполезными, чтобы обеспечить контекстные или визуальные переходы до и после интересующих последовательностей.«Мы рассматриваем это как потенциально лучший беспилотный инструмент для разблокировки видеоданных», — сказал Син. Обычному человеку никогда еще не было так легко снимать видео, но просмотр и пометка необработанного видео остаются настолько утомительными, что все большие объемы видео остаются незамеченными или выбрасываются.
Он добавил, что интересные моменты, запечатленные в этих видео, остаются незамеченными и недооцененными.Возможность обнаруживать необычное поведение среди длинных отрезков утомительного видео также может быть благом для охранных фирм, которые отслеживают и просматривают видео с камер наблюдения.