Автор: Старинец Арина, Старинец Глеб
- РЕЗЮМЕ
Исследовательская работа проведена с целью усовершенствования процесса поиска пропавших людей с использованием средств дистанционного зондирования Земли (спутников и БПЛА), а также внедрения новых технологий в эту деятельность.
Мы предлагаем концепцию системы, которая объединяет спутники, БПЛА и поисковые отряды в единый комплекс. Она включает базовую программу, сервер, нейронную сеть, программу управления дронами и клиентские приложения на смартфонах поисковиков.
Основа системы — нейронная сеть, которая обрабатывает снимки местности, полученные со спутников и роя дронов, помечая места, где присутствуют следы человека или сам человек. Для этого программа создает коллаж-карту из фотографий, набрасывает сетку с разметкой квадратов и флажками отмечает места, которые нужно проверить. После чего поисковый отряд отправляется в выделенные области и проводит поиск уже с земли.
Практическая значимость работы — предложенный проект поможет повысить эффективность поисково-спасательных работ, благодаря созданию единой системы сбора и обработки информации.
1.1 Ключевые слова
ДЗЗ, спутники, БПЛА, дроны, нейронная сеть, программный комплекс, поиск людей, аэрофотосъемка
1.2 ВВЕДЕНИЕ
Поиск пропавших людей — один из видов деятельности, где дистанционное зондирование земли играет важнейшую роль. Ежегодно в России пропадают тысячи людей и многих из них уже находят с помощью спутниковых снимков и беспилотных летательных аппаратов (дронов), использование которых также возможно только благодаря спутниковой навигации и спутниковым снимкам Земли.
Один из примеров эффективного использования ДЗЗ и дронов — это опыт сотрудничества волонтерской поисковой организации «Лиза Алерт» и «Билайна». Они одними из первых стали использовать спутниковые снимки, фотографии и видео с дронов при поиске людей.
Их опыт подтолкнул нас к мысли о создании единой системы, включающей спутники, дроны и поисково-спасательные отряды. Такая система сможет почти в автономном режиме сканировать местность, анализировать снимки, выделять возможное местоположение человека и отправлять эту информацию поисково-спасательным отрядам. Разработке концепции такой системы посвящена наша работа.
1.3 Методика работы
- Изучение проблемы, постановка задач
- Анализ литературы, интернет-ресурсов и опыта применения ДЗЗ
- Решение поставленной задачи с использованием доступных источников: лекций, курсов, научных и новостных публикаций, мнений экспертов и специалистов
- Проведение экспериментов с использованием дрона, имитирующих поисковые работы в лесной местности
- Систематизация полученной информации и подготовка статьи
- Создание видеоролика с кратким обзором исследования и кадрами эксперимента
2. Применение ДЗЗ при поисково-спасательных работах
2.1 История вопроса
Недавно в СМИ появилась история трехлетней девочки из Якутии, которая ушла в тайгу и пропала. Больше 10 дней она провела в лесу одна. Поисковые отряды использовали все средства и уже почти отчаялись найти ребенка. Но она нашлась. Такие случаи происходят часто, и не только с детьми, но и со взрослыми. Люди увлекаются и теряют дорогу назад.
Телефон со спутниковой навигацией в такой ситуации может спасти жизнь, но он есть не у всех и не всегда заряжен. Но уже сейчас существуют технологии дистанционного зондирования Земли, которые могут спасти людей. Мы говорим не только о спутниках, но и о дронах, которые летают, благодаря спутникам. Их широко и успешно используют для самых разных целей, в том числе и для поиска людей.
Около года назад проходил конкурс проектов для поиска людей. В финал вышли три изобретения — звуко-световые радиомаяки, система поиска с автоматическим обнаружением людей и радиосеть с бортовыми камерами, тепловизорами и ретрансляторами сигнала. Все проекты связаны с ДЗЗ со спутников и БПЛА. Мы считаем, что совместное использование этих технологий ускорит поиск человека и повысит вероятность его выживания.
2.2 Возможности и ограничения спутников при поиске людей
Когда мы слышим аббревиатуру ДЗЗ, то сразу думаем о спутниках, которые регулярно или по запросу фотографируют и сканируют Землю. Но к технологиям зондирования Земли относятся все воздушные устройства способные вести фото- и видеосъемку. Это самолеты, вертолеты, аэростаты и дроны. Даже обычные DJI отлично подходят для сканирования местности.
Чем удобны спутники в зондировании Земли? Они охватывают большую территорию, автономны, так как имеют солнечные батареи, всегда располагаются на орбите Земли и почти всегда готовы к съемке. Но для наших целей они имеют ряд недостатков.
Гражданские спутники имеют низкое разрешение съемки, около тридцати метров на один сантиметр, недостаточно для того, чтобы найти признаки пребывания человека. Из-за высокой стоимости и технических ограничений спутниковые снимки высокого разрешения не всегда можно получить оперативно. Однако даже снимки, сделанные месяц или два назад, помогут найти свежие тропы, просеки, ручьи, возле которых может находиться человек.
Большой проблемой ДЗЗ с помощью спутников являются метеоусловия — небольшое облако может помешать сделать нужный кадр. В своей работе мы отводим спутникам вспомогательную роль — они дают нам общую картину области, в которой пропал человек. С помощью спутниковых фотографий оператор или нейронная сеть могут обозначить места, в которых следует искать человека в первую очередь.
2.3 Возможности и ограничения БПЛА при поиске людей
Беспилотные летательные аппараты или дроны удобны тем, что им не мешает облачность, только дождь, град, снег, сильный ветер. Высота полета коптеров с поисковой целью не превышает 150 метров, а следы человека, вещи, костры или сам человек лучше всего различимы на снимках с высоты 50-100 метров. Эта высота позволяет летать безопасно и при этом получать качественные фотографии и видео высокого разрешения.
Есть и ряд ограничений. Например, дроны в настоящий момент они не могут проводить облет под кронами деревьев, технологии уклонения от препятствий уже существуют, но для поисковых целей они недостаточно эффективны. В дальнейшем можно разработать нейронную систему, благодаря которой дрон сможет обходить стволы деревьев и веток, выполняя поисковые облеты. Еще один значимый недостаток — это ограниченный запас энергии. Большинство квадрокоптеров имеют запас полета 20-30 минут, после чего нужно менять или заряжать батареи.
Важным преимуществом квадрокоптеров является возможность их объединения в рой — группу дронов, управляемых единым алгоритмом. Прямо сейчас рои дронов используются в развлекательных целях, например, в световых шоу. Но их уже можно использовать для поиска пропавших людей.
Рой из 10 дронов, например, позволит сканировать ширину до километра, что позволит за один вылет (20-25 минут) исследовать до 7-9 квадратных километров, получая тысячи снимков местности в высоком разрешении.
В сочетании с нейронной сетью и спутниковыми снимками, можно гораздо эффективней и быстрее проводить поиск. Особенность нейронной сети в ее обучаемости. Чем больше снимков с примерами людей в диких условиях она «отсмотрит», тем точнее будет работать вся система в целом.
ДЗЗ с помощью дронов — эффективный поисковый метод в сочетании со спутниковым зондированием и работой поисковых отрядов. Мы предлагаем объединить космические, авиационные, программные и человеческие ресурсы для создания единой поисково-спасательной системы.
3. Концепция поисково-спасательного комплекса SkyNet
3.1 Краткое описание
Поисково-спасательный комплекс SkyNet должен объединить возможности спутников, беспилотных летательных аппаратов, нейронной сети и поисковых отрядов для эффективного поиска пропавших людей.
3.2 Возможности системы
Комплекс SkyNet запрашивает актуальные спутниковые снимки или использует свежие снимки из открытых источников (Google, Yandex), управляет роем дронов, объединяет и анализирует фото, полученные дронами, выделяет вероятные зоны поиска, рассчитывает ресурсы, необходимые для поисковых работ (количество дронов, волонтеров, время поиска и др.), передает информацию поисковым отрядам, координирует взаимодействие команд, обеспечивает связь и доступ к информации.
3.3 Структура системы (см. рис. 1)
Базовая программа — объединяет все приложения, обеспечивает их синхронизацию. Обрабатывает спутниковые фото, фото с дронов, определяет зону поиска, разбивает и маркирует квадраты, выгружает информацию на сервер.
Сервер — формирует общую карту с квадратами, зонами, флажками, фотографиями, обеспечивает обмен информацией между пользователями, нейронной сетью, администраторами, поддерживает работу встроенного мессенджера.
Нейронная сеть — анализирует фотографии со спутников и дронов, выделяет места возможного пребывания человека, ищет человека и расставляет метки на карте.
Клиентская приложение — установлено на телефонах участников поиска. Содержит карту с поисковыми метками и местоположением других волонтеров, фото с дронов, мессенджер, пользователь может ставить флажки на проверенных квадратах.
Программа для управления роем дронов — получает координаты области поиска, конфигурирует рой дронов, определяет траекторию их полета.
Рой дронов — фотографирует ландшафт, двигаясь на заданной оператором или программой высоте по заданному маршруту.
(рис.1)
3.4 Как это работает
Оператор получает сигнал о потерявшемся человеке и через базовую программу отправляет запрос к спутникам, которые располагаются ближе всего к данным координатам. Спутник делает фотографии и отправляет на Землю. Если такой возможности нет, используются имеющиеся снимки или открытые карты.
По этой фотографии оператор с помощью нейронной сети определяет лучшие области для сканирования дронами, затем система разбивает область на квадраты и с помощью поискового отряда на месте отправляет рой дронов. Дроны располагаются на одинаковом расстоянии и двигаются по одной линии, действуя как сканер.
Полученные фотографии снова отправляются на обработку нейронной сети, которая детально анализирует снимки, находит и отмечает на них флажками признаки пребывания человека: следы, тропы, одежду, а также самого человека.
Основываясь на этой информации, оператор направляет поисковые отряды в наиболее перспективные квадраты или корректирует их маршруты.
Поисковики прочесывают местность квадрат за квадратом, помечая в приложении проверенные квадраты. Метки через сервер передаются на смартфоны других участников поиска. Там же отображается местонахождение всех волонтеров.
Зеленый флажок — человек (не обязательно разыскиваемый)
Желтый флажок — признаки пребывания человека (одежда, костер, места ночлега, следы и т.д.). Желтые флажки могут показать, маршрут движения человека.
Красный флажок — квадрат проверен, ничего не обнаружено (флажок ставят поисковые группы).
Непроверенные квадраты остаются свободными.
(рис. 3)
Поисковые работы с помощью дистанционного зондирования Земли эффективны, если человек или следы его пребывания заметны с воздуха. Поиск с применением спутников невозможен в облачную погоду, а плотная крона деревьев скрывает поверхность земли от дронов. Поэтому важно, чтобы потерявшийся человек участвовал в собственном поиске, обнаруживая себя доступными способами. Мы разработали несколько советов для туристов с учетом ведения поиска методами ДЗЗ.
4. Рекомендации для людей при походе в дикие места
Специально для этой исследовательской работы мы ходили в лес днем и ночью, чтобы посмотреть какой цвет одежды и какие источники света наиболее заметны с дрона. Наша цель состояла в том, чтобы проверить эффективность дрона и, основываясь на результатах теста, разработать рекомендации для туристов.
Во время дневного эксперимента была протестирована обычная одежда цвета хаки, а также розовый и желтый дождевики. Видео снимали с дрона на высоте 30, 50 (рис.4) и 100 (рис. 5) метров, после чего мы осматривали материал и сравнивали видимость разной одежды. Лучше всего было видно дождевик розового цвета. С желтым нужно быть внимательней, некоторые деревья и кусты имеют тот же цвет. Хуже всего было видно одежду цвета хаки — даже при ярком освещении заметить человека непросто.
Второй раз мы были в лесу ночью, чтобы проверить как видны с высоты 50 и 100 метров разные источники света. Мы проверяли видимость экрана смартфона, фонарика смартфона, фонаря среднего размера и большого фонаря.
Лучше всего был заметен фонарь большого размера (с любой высоты), а вот экран смартфона (рис. 6), фонарик смартфона и фонарь среднего размера выглядели примерно одинаково с высоты 50 метров. С высоты 100 метров экран смартфона выглядел как точка, но был различим, особенно при движении, а фонарик смартфона и средний фонарь были хорошо заметны. Если вы оказались в лесу без фонаря, то берегите заряд на телефоне - он может спасти вам жизнь.
Исходя из данных экспериментов мы составили рекомендации для людей, которые собираются в дикие места.
- Надевайте яркую одежду
Есть мнение, что в лес нужно ходить в камуфляже, хотя гораздо правильней надевать яркую одежду или взять с собой дождевик яркого цвета — так вы будете заметны с большего расстояния и с высоты. Очень заметны розовый, голубой и другие яркие цвета, которые редко встречаются в природе.
- Всегда берите с собой спички или зажигалку.
Костер хорошо виден и сверху и при наземном поиске. Кроме того, дым почувствуют поисковики. А ночью костер просто поможет выжить.
- Берите дополнительные источники света и энергии (powerbank) и следите за зарядкой на телефоне.
Любой источник света ночью хорошо виден с воздуха. Телефон может послужить сигнальным фонарем — его горящий экран хорошо виден с дрона.
- Постарайтесь находиться на открытой местности
Лучше всего вас видно, если вы находитесь на поляне в яркой одежде, поскольку над вами нет деревьев перекрывающих обзор.
- Используйте доступные материалы, чтобы привлечь внимание
Выложите из веток, камней, травы или вытопчите на открытой поляне большую надпись «SOS» или другой знак. Они точно привлекут внимание.
- Слышишь шум сверху? Выходи на открытое пространство
Дронам будет гораздо легче заметить тебя, если ты будешь двигаться.
Выводы
- Технологии ДЗЗ используются в поиске людей уже давно, причем они очень серьезно изменили и облегчили процесс поиска.
- Спутники малоэффективны в поиске человека — быстро получить снимки сложно и дорого, разрешение доступных спутников недостаточно высокое, а орбита расположена выше облачности.
- Вместе с тем, спутники дают нам детальные снимки всей поверхности Земли и навигацию для поисковых работ.
- Дроны имеют высокое разрешение, практичны и быстры, но для повышения эффективности нужно использовать группировку дронов — рой.
- Анализ фотографий занимает много времени, поэтому необходимо использовать нейронные сети для первичного анализа.
- Объединение спутников, дронов, нейронной сети и поисковых отрядов в единый комплекс, позволит более продуктивно проводить поисково-спасательные работы.
- К походу в лес нужно готовиться — правильно одеваться, брать с собой телефон и источники энергии, спички или зажигалку. Подготовленного туриста легче найти, если он заблудится.
Заключение
Одними из первых спутники и дроны для поиска людей начали использовать волонтерская организация «Лиза Алерт» совместно с «Билайн». Но, по словам руководителя направления беспилотной авиации волонтерской организации «Лиза Алерт» Евгения Герасимова, спутники малоэффективны и имеют много ограничений, зато дроны, из-за своей компактности и качества съемки постоянно используются в поиске.
Это навело нас на мысль о том, что можно разработать систему, объединяющую средства ДЗЗ, которая практически автономно будет проводить поиски людей и следов их присутствия по спутниковым снимкам и фотографиям с дронов, после чего будет отправлять возможное местоположение потерявшегося человека поисково-спасательным отрядам.
В процессе выполнения исследовательской работы мы разработали концепцию системы, объединяющей в себе технологии ДЗЗ, программный комплекс на базе нейронной сети и поисково-спасательные отряды. Такая система может за короткое время обработать тысячи фотографий, создать карту местности высокого качества и отметить человека или его следы на карте, что позволит поисковым отрядам действовать быстрее и эффективней.
Кроме того, мы провели полевые эксперименты с использованием дрона, чтобы узнать, как человек может сделать себя заметней в дикой природе в дневное и ночное время. Основываясь на результатах эксперимента, мы предложили рекомендации для туристов.
Внедряя новые технологии и разработки во все сферы жизни, мы совершенствуем мир и помогаем людям. ДЗЗ используют для самых разных целей, но в данном случае оно буквально помогает спасать жизни людей. Надеемся, что наш проект будет полезен тем, кто занимается поисковыми работами.
Список литературы и интернет источников
- Волков И., Им видно всё, 2019.
- Всероссийский конкурс поисково-спасательных технологий «Одиссея», 2019.
- Космические снимки помогли спасти жизнь человека, Пресс-служба РКС., 2018.
- Лямин Е., Удивительная история спасения четырехлетней девочки, 2014.
- Михаленко Е. Б., Инженерная геодезия. Использование современного оборудования для решения геодезических задач, 2013.
- Пашина О., Как «Билайн» и «Лиза Алерт» спасают потерявшихся людей, 2019.
- Покатаева Е., Умные технологии «Билайн» помогут «Лиза Алерт» быстрее находить пропавших людей, 2019.
- Старинец А. Интервью с руководителем направления беспилотной авиации волонтерской организации «Лиза Алерт» Евгением Герасимовым, 2020.
- Степанова А., Как дроны и нейросети ищут пропавших людей?, 2019.