Автор: СТРЕЖНЕВ МИХАИЛ АЛЕКСЕЕВИЧ | STREZHNEV MIKHAIL
Аннотация
Использование в будущем квантовых технологий обладает высоким потенциалом для обучения нейросетей, поскольку машинное обучение осуществляется значительно эффективнее за счет сокращения ресурсозатрат.
Ключевые слова: квантовый компьютер, нейросеть, машинное обучение, искусственный интеллект, кубит
Введение
Идеи о создании машин, которые могли бы мыслить, как люди, давно возникают у различных ученых. В истории было немало успешных попыток заставить механизмы копировать движения человека (заводные куклы существуют с 17 века), но заставить их “думать” не удавалось.
Первый существенный шаг на этом пути был сделан в 1943 году, когда Уоррен Маккалок и Уолтер Питтс опубликовали статью [1], в которой описали процесс работы нейронных сетей, а также строение искусственного нейрона (рис. 1).
В 1958 году Фрэнк Розенблатт создал однослойный перцептрон [2], способный распознавать некоторые буквы (это считается первой в мире нейросетью).
Тема развития нейросетей представляет интерес, в том числе потому, что это одно из самых динамичных направлений технологического прогресса. Например, первая нейросеть, способная эффективно распознавать объекты на фотографии появилась всего лишь в 2012 году [3] (AlexNet). В настоящее время данная технология достигла таких успехов, что существует множество беспилотных автомобилей и роботов-доставщиков, которые используют алгоритмы определения объектов вокруг них. Более того, модель по обработке естественного языка ChatGPT-3 даже прошла тест Тьюринга [4], то есть нейросети по генерации текста уже не уступают людям.
Данная область исследований была выбрана в том числе и потому, что достижениями искусственного интеллекта мы пользуемся каждый день (например, технология FaceID или Т9 в наших смартфонах). Более того, эта тема непосредственно связана с направлением обучения в вузе: проектированием нейросетей.
В процессе проектирования нейросетей мы сталкиваемся с проблемой, состоящей в том, что обучение нейросетей является долгим и затратным процессом.
Гипотеза: для оптимизации процесса обучения нейросетей в будущем можно использовать квантовые компьютеры.
Цель исследования: выявить пути оптимизации процесса обучения нейросетей с использованием квантовых компьютеров.
Задачи исследования:
- эмпирически показать актуальность перспектив использования искусственного интеллекта в 2100 году;
- выявить сложности организации обучения нейросетей;
- изучить современное состояние развития технологий квантовых вычислений и раскрыть потенциал использования квантовых компьютеров в развитии искусственного интеллекта.
Перспективы использования нейронных сетей
Чтобы эмпирически проверить, что область нейросетей действительно будет актуальна в будущем, было решено создать модель по сегментированию на фотографиях родимых пятен и злокачественных опухолей. Повседневное использование данной технологии позволило бы сократить время на обнаружение опасных образований на коже человека и тем самым, возможно, спасти ему жизнь, потому что очень важно обнаружить это вовремя.
Для этих целей была использована архитектура UNet [5] (рис. 2), поскольку ее аналоги успешно используются в медицине. Более того, с точки зрения инженерии глубокого обучения она имеет больше преимуществ, чем ее предшественники (SegNet [6]).
Для обучения и тестирования модели использовалась база фотографий ADDI project. Код функции обучения приведен на рис. 3.
Как мы видим, функция потерь убывает. Значит, эффективность нашей модели растет. На рис. 5 представлены результаты сегментирования новообразований на коже, выполненных моделью после обучения.
Как мы видим, нейросеть успешно выделяет интересующие нас области кожи (см. нижний ряд изображений). Она исключает случайные объекты, попавшие в кадр (например, волосы или черные края объектива в углах фотографий), а фокусируется непосредственно на новообразованиях.
Сложности организации обучения нейросетей
В процессе создания модели выяснилось, что процесс ее обучения достаточно долгий. С учетом необходимости подбора оптимальных гиперпараметров на обучение затрачивалось более двух часов при каждом запуске программы.
Для сравнения, чтобы обучить такие крупные модели, как ChatGPT, нужно несколько месяцев непрерывной работы тензорных процессоров и более 4 млн. долларов [7], потому что обслуживание электроники и затраты на электроэнергию колоссальны. Но ресурсоемким является не только обучение, но и дальнейшая эксплуатация нейронных сетей. Например, для OpenAI (компания-разработчик ChatGPT) это составляет около 700 тысяч долларов в день [8]. Для нескольких крупных компаний (например, Microsoft, Google, Adobe [9]) занимающихся разработкой искусственного интеллекта, данный род деятельности является убыточным.
Потенциал использования квантовых компьютеров
в развитии искусственного интеллекта
Если говорить, используя простые термины, то такие компьютеры основаны на использовании кубитов [10] (quantum bit). В обыкновенных компьютерах применяются биты, значение которых всегда известно: 0 или 1 (рис. 6). В кубитах используется принцип суперпозиции - невозможно корректно узнать, какое у них значение в определенный момент времени.
Этот подход имеет важное преимущество в сравнении с привычными нам вычислениями: можно перебирать множество вариантов одновременно. Например, благодаря этому можно быстро изучать возможные сценарии взаимодействия лекарства и организма. Сейчас развитием этой идеи уже занимаются фармацевтические компании (в частности, Boehringer Ingelheim с 2021 года [11]). Более того, Volkswagen Group представила систему управления дорожным трафиком на основе квантовых вычислений [11], применив это в Пекине (2016) и Лиссабоне (2019).
Возникает вопрос: что же является препятствием к обучению на квантовых суперкомпьютерах нейросетей? На самом деле, у кубитов есть существенный недостаток: на состояние кубитов могут влиять такие факторы, как температура, радиация и даже соседние кубиты – это называется явлением декогеренции [12]. Из-за этого для квантового процессора требуется большая холодильная установка и надежная защита от внешних факторов. Поэтому на текущий момент такие технологии очень дорогие, и этим могут заниматься в основном только крупные IT-компании, например, IBM, Google, Honeywell, IonQ, PsiQuantum и D-Wave [13].
Если говорить о потенциале их применения, то на текущий момент эти установки нельзя применять для абсолютно всех вычислительных задач: их функционал сильно ограничен. Тем не менее, они необычайно эффективны – 1000-кубитный компьютер от D-Wave быстрее обычных компьютеров в 100 млн. раз [14].
Опыт обучения моделей машинного обучения на основе квантовых вычислений пока что невелик, но такие эксперименты тоже проводились. Группа исследователей из Уральского федерального университета смогла обучить нейросеть эффективно решать задачи на квантовом компьютере [15]. Другие ученые смогли найти способ применять алгоритм традиционной кластеризации [16] (k-means – известный алгоритм машинного обучения), а специалисты из ETH Zurich и IBM Q [17] использовали простую полносвязную нейросеть на датасете Iris и доказали, что обучение на квантовых компьютерах происходит существенно быстрее (рис. 7).
Заключение
Актуальность перспектив использования искусственного интеллекта в 2100 году экспериментально подтверждается работоспособностью нейросети, обученной распознаванию новообразований на коже. Идеи применения нейросетей также подтверждаются рядом научных исследований.
Организация обучения нейросетей сопровождается следующими сложностями: длительностью, энергозатратами и высокой стоимостью.
Изучение современного состояния развития технологий квантовых вычислений показало их высокую эффективность по сравнению с обычными компьютерами, так как сами вычисления производятся существенно быстрее.
В настоящее время суперкомпьютеры не применяются повседневно для обучения ИИ-моделей, поскольку это затратно и технологически сложно, но тот факт, что это возможно, и за последние годы человечество сделало значительные шаги в этом направлении, говорит о том, что через несколько десятков лет это обязательно станет неотъемлемой и привычной частью жизни людей.
Таким образом, можно утверждать, что использование квантовых компьютеров в развитии искусственного интеллекта обладает высоким потенциалом и действительно осуществимо на практике в обозримом будущем.
Полный документ в приложении