Семинары 2023-2024 уч.г.

14.11 Архитектура цифровых экосистем на базе интеллектуальных агентов с применением малых, средних и больших языковых моделей

Докладчик: научный сотрудник лаборатории, постдок Александр Сулейкин

На семинаре рассматривали исследовательскую работу Александра в рамках проекта  «Архитектура цифровых экосистем на базе интеллектуальных агентов с применением малых, средних и больших языковых моделей». 

11.10 bXES: бинарном формате для хранения и передачи журналов событий программного обеспечения

Докладчик: стажер-исследователь НУЛ ПОИС Евгений Степанов

На семинаре рассказали о bXES: бинарном формате для хранения и передачи журналов событий программного обеспечения.

Современное программное обеспечение генерирует множество событий, которые могут быть проанализированы с помощью методов интеллектуального анализа процессов. Первым шагом в любом конвейере интеллектуального анализа процессов является сбор журналов событий. Затем эти журналы событий необходимо постоянно сохранять на диске для передачи по локальным и глобальным сетям. Проблема в том, что журналы событий программного обеспечения обычно состоят из множества событий, каждое из которых может указывать десятки атрибутов. В таком контексте журнал событий, хранящийся в обычном XES-формате на основе XML, потребляет огромный объем памяти. Кроме того, он не очень удобен для чтения, т.е. не предоставляет инструментам никаких преимуществ при чтении XES-файла. На семинаре будет представлен bXES, бинарный формат для хранения и передачи журналов событий, заточенный под журналы событий программного обеспечения. Были разработаны инструменты с открытым исходным кодом для преобразования журналов XES в bXES и наоборот. Формат был реализован для экосистем C# и Rust. Основываясь на экспериментальных данных, журналы событий bXES значительно компактнее обычных журналов XES и могут конкурировать с журналами, хранящимися в двоичном формате EXI.
Эксперименты проводились с общедоступными логами событий и с программными логами.

15.05 О применении причинно-следственных моделей в тестировании систем машинного обучени

Докладчик: доцент департамента программной инженерии, кандидат физико-математических наук Антон Хританков

На семинаре рассмотрели задачу верификации систем машинного обучения.

Верификация систем машинного обучения - это нетривиальная задача. Перспективным методом её решения является применение тестирования инвариантами (метаморфное тестирование, metamorphic testing). При таком тестировании проверяется выполнение тестовых инвариантов (метаморфных соотношений, metamorphic relations). Для полноценной верификации системы требуются анализ взаимозависимостей между частями системы и возможность локализации ошибок. В данной работе предлагается использовать причинно-следственные модели для анализа причин невыполнения тестовых инвариантов, заданных для исследуемой системы машинного обучения. На основании рассчитанных оценок могут быть определены компоненты, наиболее сильно влияющие на нарушения тестовых инвариантов. Приоритетное исправление ошибок в этих компонентах помогает уменьшить число ошибок при тестировании. Применимость и полезность метода показаны на примере многокомпонентной генеративной системы искусственного интеллекта.