В связи с важностью развития технологий обработки мультимедиа для практической жизни, мы изучили доступные пути развития. В первую очередь были изучены существующие видеоредакторы, их возможности и системы, на которых они работают. Мы остановились на среде Linux, так как она является бесплатной и широко доступной версией системы. Были определены лучшие из доступных видеоредакторов и их возможности. Исходя из этого, мы обнаружили, что текущие версии имеют ограниченные возможности и не расширяют технологии, поддерживающие искусственный интеллект в обработке видео. Мы описали основную проблему, добавив новые возможности и функции в Linux сначала для функциональной оптимизации, а затем расширив ее за счет разработки веб-редактора для практической оптимизации. мы планировали создать версию, которая будет работать на различных устройствах, не заботясь о ресурсах используемого устройства. мы решили работать над аудио более специализированным способом. Мы представили обзор существующих на сегодняшний день технологий обработки звука. В результате мы обнаружили, что в настоящее время не существует четких методов распознавания голосов в присутствии нескольких дикторов. Мы также заметили, что проблема шума влияет на качество распознавания и вызывает проблемы в большинстве современных видеоредакторов. Кроме того, большинство видеоредакторов рассчитаны на работу с английским языком. Версий, способных работать с другими языками, такими как русский или арабский, не существует. Таким образом, мы разделили работу на четыре этапа. Во-первых, мы разработали нейронную сеть для удаления различных типов шума. Во-вторых, мы работали над алгоритмом распознавания речи для нескольких дикторов и определяли наилучшие методы. В-третьих, речь дикторов была прикреплена к видео в качестве дубляжа, и, наконец, мы добавили возможность перевода текста на несколько языков, включая арабский, английский и русский. С другой стороны, мы преобразовали версию для Linux в веб-версию с добавлением прежних функций. Веб-версия позволяет всем пользователям с любого устройства получить доступ к редактору и работать с ним. мы стремились выполнять задачи по обработке видео, независимо от возможностей используемой системы. Для фронтенда мы использовали HTML, CSS и JavaScript, а для бэкенда - сервер NodeJs и платформу искусственного интеллекта python, подключенную к базе данных PostgreSQL для хранения пользовательских данных и проектов. Кроме того, мы разработали и протестировали новый редактор с помощью Docker, причем веб-версия состояла из 3 различных контейнеров. Тестирование проводилось с помощью Jenkins после загрузки разработанных версий на GitHub. Для оценки качества кода мы использовали различные типы тестов, такие как статический анализ и модульные тесты.
По теме диссертации опубликовано 2 работы, в том числе 1 публикация в Международном журнале открытых информационных технологий и 1 в сборнике трудов конференции «Современные технологии в теории и практике программирования в Санкт-Петербурге». Материалы работы отображены достаточно полно. Мы также получили государственную регистрацию компьютерной программы для ЭВМ с названием: Программа с использованием каскада из трех нейронных сетей для раздельной записи речи нескольких спикеров (№ 2025661598).
- Мхаммад С., Молодяков С.А, Применение нейронных алгоритмов для расширения возможностей видеоредактора openshot // Современные технологии в теории и практике программирования : Сборник материалов научно-практической конференции студентов, аспирантов и молодых ученых, Санкт-Петербург, 24–25 апреля 2024 года. – Санкт-Петербург: Санкт-Петербургский политехнический университет Петра Великого, 2024. – С. 194-196. – https://elibrary.ru/rnbjsm;
- Мхаммад С., Молодяков С.А, Разработка и исследование алгоритма для раздельной записи речи нескольких спикеров // International Journal of Open Information Technologies ISSN: 2307-8162 vol. 13, no. 5, 2025. - https://elibrary.ru/item.asp?id=82341423