problem_list.md

Список задач по курсу Моя первая научная статья, весна 2025

Задача 159 (была)

• Название: Восстановление функциональных групп головного мозга с помощью графовых диффузных моделей
• Описание проблемы: Решается задача построения модели анализа активности головного мозга, учитывающей пространственную структуру сигнала. Данные об активности мозга представлены в виде многомерных временных рядов, считываемых электродами, расположенными на голове испытуемого одним из универсальных стандартов размещения. Из-за отсутствия регулярного определения окрестности на сферической поверхности мозга классические сверточные нейронные сети не могут быть эффективно применены для учета пространственной информации. Предлагается использовать графовое представление сигнала, что позволит выявить более сложные взаимосвязи различных областей активности в пространстве и провести нейробиологическую интерпретацию функциональных связей мозга.
• Данные: Юлия Березуцкая, код загрузки у четвертого курса
  • Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
  • [Код предшественников](https://github.com/intsystems/
• Литература Магистерская работа Наталии Вареник
• Базовый алгоритм: Graph Neural Diffusion: https://github.com/twitter-research/graph-neural-pde
• Новизна: Построить карту функциональных групп с изменением во времени в зависимости от внешнего воздействия (видео Пеппи)
• Авторы: Святослав Панченко, Стрижов

Задача 158 (???) (индустриальная) (Необходимо получить согласие эксперта, на данный момент есть стажировка, но задача не утверждена)

• Описание проблемы:
  • Ранжирование риск-сигналов о признаках развития неправомерной торговой стратегии на финансовом рынке. Задача выявления ранних признаков аномального поведения участника торгов [Данные: набор агрегатов, построенных на обезличенных данных торгов].
  • Классификация субъектов ПНИИИМР, ПОД/ФТ, … . Выявление аномального поведения субъектов, классификация, кластеризация стратегий или профилей финансового поведения [Данные: набор агрегатов, построенных на обезличенных данных торгов].
  • Использование (дообучение, «компрессия» / дистиляция, прунинг, квантизация) SOTA LLM/GAN (генеративных моделей) для формирования последовательности тестовых сценариев (тест-кейсов) по заданному набору функциональных требований [Данные: реестр требований, тест-кейсы].
  • Использование (дообучение, «компрессия» / дистиляция, прунинг, квантизация) SOTA LLM/GAN для формирования и актуализации реестра «атомарных» и непротиворечивых функциональных / нефункциональных требований к программной Системе на основе набора функциональных, технических заданий и иных документов [Данные: реестр требований, реестр ФЗ, реестр ТЗ].
• Данные: ВАЖНО! Требуется найти или синтезировать открытые данные
• Авторы: Андрей Сергеевич Инякин

Задача (зафиксирована)

Описание проблемы: При оптимизации различных моделей в Машинном Обучении, часто возникают ситуации, когда стандартные методы типа градиентного спуска, работают не так эффективно. Поэтому приходится придумывать модификации, что сделать процедуру более стабильной и быстрой. В этом проекте предлагается поисследовать sign оператор в следующих постановках: (L0,L1) гладкость минимизируемой функции, борьба с тяжёлым шумом, сходимость с высокой вероятностью, обобщение на выпуклые функции. Проект во многом теоретический, придется доказывать вещи из оптимизации. И не факт, что все получится, это нормально. Но и небольшие эксперименты будут. Релевантные статьи: https://arxiv.org/abs/1802.04434 https://arxiv.org/abs/2502.07923 https://arxiv.org/pdf/2409.14989 Авторы: Корнилов Никита, Марк Иконников

Задача 117 (Вадим Викторович хотел скорректировать, убрать отсюда прогноз фМРТ по звуку)

• Название: Поиск зависимостей биомеханических системах и (Метод Convergence Cross-Mpping, теорема Такенса)
• Задача: При прогнозировании сложноорганизованных временных рядов, зависящих от экзогенных факторов и имеющих множественную периодичность, требуется решить задачу выявления связанных пар рядов. Предполагается, что добавление этих рядов в модель повышает качество прогноза. В данной работе для обнаружения связей между временными рядами предлагается использовать метод сходящегося перекрестного отображения. При таком подходе два временных ряда связаны, если существуют их траекторные подпространства, проекции на которые связаны. В свою очередь, проекции рядов на траекторные подпространства связаны, если окрестность фазовой траектории одного ряда отображается в окрестность фазовой траектории другого ряда. Ставится задача отыскания траекторных подпространств, обнаруживающих связь рядов. Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными, а также предложить метод апроксимации показаний FMRI по прослушиваемому звуковому ряду.
• Литература
  • Все, что написал Сугихара в Science и в Nature (спросить коллекцию)
  • Усманова К.Р., Стрижов В.В. Обнаружение зависимостей во временных рядах в задачах построения прогностических моделей // Системы и средства информатики, 2019, 29(2)
  • Neural CDE
• Данные: Видео, его разметка и ECoG, EEG, движение, глаз из работы Nature, Березуцкая, люди смотрят фильм
  • Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022.
  • [Код предшественников](https://github.com/intsystems/
• Решение
  • Базовое в работе Карины
  • Наше построить Neural ODE для обеих сигналов и решить, относятся ли обе модели к одной динамической системе. Требуется построить модель зависимости показания датчиков FMRI и звуковому сопровождению, который в этот момент прослушивает человек.
  • Построен метод апроксимации показаний FMRI по прослушиваемому звуковому ряду.
• Авторы: Денис Тихонов, Даниил Дорин, Стрижов

Задача 148 (была)

• Название: Средневзвешенная когерентность как мера интерпретируемости тематических моделей
• Описание проблемы: Тематическое моделирование широко используется в социо-гуманитарных исследованиях для понимания тематической структуры больших текстовых коллекций. Типичный сценарий предполагает, что пользователь сам разделяет найденные моделью темы на "хорошие" (интерпретируемые) и "плохие". Для упрощения этой работы можно использовать ряд автоматически вычисляемых критериев качества, один из которых — когерентность (мера "согласованности" слов темы). Однако проблема когерентности в том, что при её вычислении игнорируется бòльшая часть текста, что делает оценку качества темы по когерентности ненадёжной. Задача в том, чтобы проверить новый способ вычисления когерентности, обобщающий классический подход, но при этом учитывающий распределение темы во всём тексте.
• Данные: В качестве данных подойдёт любая коллекция текстов на естественном языке, про которую известна тематическая структура (сколько примерно тем, сколько документов по разным темам). Например, можно взять коллекцию статей с ПостНауки, новостей Lenta, дамп Википедии, посты с Хабрахабра, 20 Newsgroups, Reuters.
• Литература
  • Воронцов К. В. "Вероятностное тематическое моделирование: теория, модели, алгоритмы и проект BigARTM" (https://web.archive.org/web/20230520153443/http://machinelearning.ru/wiki/images/d/d5/Voron17survey-artm.pdf)
  • Воронцов К. В. "Оценивание качества тематических моделей" (из курса лекций "Вероятностные тематические модели"; https://web.archive.org/web/20230811052505/http://www.machinelearning.ru/wiki/images/a/a7/Voron23ptm-quality.pdf
  • Alekseev V. A., Bulatov V. G., Vorontsov K. V. Intra-text coherence as a measure of topic models' interpretability //Komp'juternaja Lingvistika i Intellektual'nye Tehnologii. – 2018. – С. 1-13 (https://www.dialog-21.ru/media/4281/alekseevva.pdf)
  • Newman D. et al. Automatic evaluation of topic coherence //Human language technologies: The 2010 annual conference of the North American chapter of the association for computational linguistics. – 2010. – С. 100-108. (https://aclanthology.org/N10-1012.pdf)
• Базовый алгоритм: Когерентность Ньюмана по топ словам, внутритекстовая когерентность
• Новизна: Использование библиотек тематического моделирование BigARTM и TopicNet. Разработка нового способа вычисления когерентности тем. Предложение и реализация методики измерения интерпретируемости тем (чтобы проверить "адекватность" новой когерентности: в самом ли деле для заведомо хороших тем она показывает качество выше, чем для плохих тем).
• Авторы: Василий Алексеев, Константин Воронцов

Задача 147 (Была) (???) (При наличии времени и желания Александра Владимировича)

• Название: Нижние оценки для min max задач с разной размерностью блоков переменных (Проект 1.)
• Описание проблемы: Для задач малоразмерной выпуклой оптимизации нижние оценки получаются с помощью сопротивляющегося оракула https://www2.isye.gatech.edu/~nemirovs/Lect_EMCO.pdf (3 Methods with linear convergence, II, но начать лучше прямо с самого первого раздела Lecture 1 - на одномерном случае все попонятнее). В то время как для задач большой размерности - c помощью “худшей в мире функции” - см., например, указания к упражнения 1.3 и 2.1 пособия МЦНМО https://opt.mipt.ru/posobie.pdf В работе https://arxiv.org/pdf/2010.02280.pdf, исследуются задачи min max, в которых одна из групп min переменных имеет небольшую размерность, а другая группа, напротив, большую. Получены верхние оценки. Интересно было бы попробовать получить нижние оценки, путем комбинации двух конструкций. Кажется, что в математическом плане пример построения нижней оценки будет содержать новые интересные идеи. В развитие этого проекта интересно было бы подумать и о нижних оценках для min min задач, в которых по одной из групп переменных (негладких) имеется малая размерность. Верхние оценки имеются в работах https://arxiv.org/pdf/2102.00584.pdf и https://arxiv.org/pdf/2103.00434.pdf
• Авторы: Александр Владимирович Гасников

Задача 145 (была) (индустриальная)

• Название: Создание персонализированных генераций изображений
• Описание проблемы: Генеративные модели добились высокого качества генераций в общем домене. Однако, когда возникает запрос на генерацию специфичного объекта, в нашем случае человека, то модель не может сгенерировать человека с необходимой точностью и передать его идентичность. В этой задаче вам предлагается предложить решение, которое будет способно генерировать изображения заданного человека в различных варияциях в высоком разрешении.
• Данные: CelebA (датасет изображений знаменитостей в высоком разрешении)
• Литература:
  • [1] Создание изображений через механизм внимания
  • [2] Создание специальных токенов для генерации специфичного изображения
  • [3] Latent Diffusion Model
• Базовой алгоритм: Базовый алгоритм состоит в обучении метода IP-Adapter[1] на модели Stable Diffusion [3].
• Новизна: Индустриальная
• Авторы: Андрей Филатов
• Контакт: TG: @anvilarth

Проекты пятикурсников и назначенные проекты

Задача 160 (была) (Фанис Хафизов)

• Название: Ускоренные методы нулевого порядка с одноточечным фидбэком
• Задача: Обычно для целевых функций в задачах оптимизации мы можем считать градиенты и даже информацию более высоких порядков. Но также существуют приложения, в которых подсчет градиента или затруднен или вообще невозможен. В таких приложениях на помощь приходят безградиентные методы. Довольно натуральной идеей в данном случае является аппроксимация градиента через конечные разности (https://arxiv.org/pdf/2211.13566.pdf): $\nabla f_\gamma(x, e) = \frac{f(x + \gamma e) - f(x - \gamma e)}{2 \gamma} e.$ Более того, в более близких для практики приложениях мы имеем доступ к зашумленной версии функции. Это порождает дополнительные проблемы. В более простом с точки зрения теоретического анализа, но менее приближенным к реальности случае можно рассматривать так называемый two-point feedback: $\nabla f_\gamma(x, \xi, e) = \frac{f(x + \gamma e, \xi) - f(x - \gamma e, \xi)}{2 \gamma} e.$ Ключевая особенность – одна и та же случайность в обеих точках. Более сложный и неприятный случай – one-point feedback: $\nabla f_\gamma(x, \xi^+, \xi^-, e) = \frac{f(x + \gamma e, \xi^+) - f(x - \gamma e, \xi^-)}{2 \gamma} e,$ который и будет рассматриваться в работе.
• Данные: 1) Датасет mushroom 2) Квадратичная задача
• Литература: Randomized gradient-free methods in convex optimization (https://arxiv.org/pdf/2211.13566.pdf) AN ACCELERATED METHOD FOR DERIVATIVE-FREE SMOOTH STOCHASTIC CONVEX OPTIMIZATION (https://arxiv.org/pdf/1802.09022.pdf)
• Базовой алгоритм: Результаты для two-point feedback (https://arxiv.org/pdf/1802.09022.pdf)
• Решение: В данной работе предлагается разработать и проанализировать сходимость ускоренный безградиентные методы для выпуклой гладкой стохастической задачи минимизации. В частности предлагается адаптировать (или оттолкнуться в качестве стартовой точки) для этого уже существующие результаты в случае two-point feedback (https://arxiv.org/pdf/1802.09022.pdf).
• Авторы: Консультант - Александр Богданов, эксперт - Александр Безносиков

Задача 161 (была) (Алексей Ребриков)

• Название: Методы малоранговых разложений в распределенном и федеративном обучении
• Задача: Подходы распределенного и федеративного обучения становятся все более популярными в обучении современных SOTA моделей машинного обучения. При этом на первый план выходит вопрос организации эффективных коммуникаций, так как процесс передачи информации занимает слишком много времени даже в случае кластерных вычислений. Из-за этого может теряться смысл в распределении/распараллеливании процесса обучения. Одной из ключевой техник борьбы с коммуникационными затратами является использование сжатий передаваемой информации. На данный момент в литературе предлагаются различные техники сжатия (https://arxiv.org/abs/2002.12410, https://arxiv.org/abs/1610.02132, https://arxiv.org/abs/1905.10988), но потенциал в этом вопросе явно не исчерпан. В частности, довольно большой потенциал кроется в малоранговых разложениях (https://gregorygundersen.com/blog/2019/01/17/randomized-svd/). В рамках проекта предлагается сконструировать операторы сжатия на основе данных разложений и встроить в методы распределенной оптимизации (https://arxiv.org/abs/2106.05203).
• Данные: LibSVM https://www.csie.ntu.edu.tw/~cjlin/libsvm/ CIFAR 10 https://www.cs.toronto.edu/~kriz/cifar.html В экспериментах предлагается суммулировать на одном устройстве распределенное обучение 1) логистической регресии на датасетах из LibSVM, 2) ResNet18 на CIFAR 10
• Литература: https://arxiv.org/abs/2002.12410, https://arxiv.org/abs/1610.02132, https://arxiv.org/abs/1905.10988 https://gregorygundersen.com/blog/2019/01/17/randomized-svd/ https://arxiv.org/abs/2106.05203
• Базовой алгоритм: https://arxiv.org/abs/2106.05203 + https://arxiv.org/abs/2002.12410 или https://arxiv.org/abs/1905.13727
• Решение: В рамках проекта предлагается сконструировать операторы сжатия на основе малоранговых разложений (https://gregorygundersen.com/blog/2019/01/17/randomized-svd/) и встроить в методы современные методы распределенной оптимизации (https://arxiv.org/abs/2106.05203).
• Авторы: Безносиков А.Н., Зыль А.В.

Задача 168

• Название: Средневзвешенная когерентность как мера интерпретируемости тематических моделей
• Задача: Тематическое моделирование широко используется в социо-гуманитарных исследованиях для понимания тематической структуры больших текстовых коллекций. Типичный сценарий предполагает, что пользователь сам разделяет найденные моделью темы на "хорошие" (интерпретируемые) и "плохие". Для упрощения этой работы можно использовать ряд автоматически вычисляемых критериев качества, один из которых — когерентность (мера "согласованности" слов темы). Однако проблема когерентности в том, что при её вычислении игнорируется бОльшая часть текста, что делает оценку качества темы по когерентности ненадёжной. Задача в том, чтобы проверить новый способ вычисления когерентности, обобщающий классический подход, но при этом учитывающий распределение темы во всём тексте.
• Данные: В качестве данных подойдёт любая коллекция текстов на естественном языке, про которую известна тематическая структура (сколько примерно тем, сколько документов по разным темам). Например, можно взять коллекцию статей с ПостНауки, новостей Lenta, дамп Википедии, посты с Хабрахабра, 20 Newsgroups, Reuters. Тематика коллекции должна быть интересна самому исследователю, чтобы была мотивация оценивать темы вручную.
• Литература: * Воронцов К. В. "Вероятностное тематическое моделирование: теория, модели, алгоритмы и проект BigARTM" (https://web.archive.org/web/20230520153443/http://machinelearning.ru/wiki/images/d/d5/Voron17survey-artm.pdf)
• Воронцов К. В. "Оценивание качества тематических моделей" (из курса лекций "Вероятностные тематические модели"; https://web.archive.org/web/20230811052505/http://www.machinelearning.ru/wiki/images/a/a7/Voron23ptm-quality.pdf)
• Alekseev V. A., Bulatov V. G., Vorontsov K. V. Intra-text coherence as a measure of topic models' interpretability //Komp'juternaja Lingvistika i Intellektual'nye Tehnologii. – 2018. – С. 1-13 (https://www.dialog-21.ru/media/4281/alekseevva.pdf)
• Newman D. et al. Automatic evaluation of topic coherence //Human language technologies: The 2010 annual conference of the North American chapter of the association for computational linguistics. – 2010. – С. 100-108. (https://aclanthology.org/N10-1012.pdf)
• Базовой алгоритм: Когерентность Ньюмана по топ словам, внутритекстовая когерентность
• Решение: Использование библиотек тематического моделирование BigARTM и TopicNet. Разработка нового способа вычисления когерентности тем. Предложение и реализация методики измерения интерпретируемости тем (чтобы проверить "адекватность" новой когерентности: в самом ли деле для заведомо хороших тем она показывает качество выше, чем для плохих тем).
• Авторы: Старожилец Всеволод Михайлович

Задача 169

• Название: Интерпретируемая иерархическая кластеризация объектов.
• Задача: Требуется на обучающей выборке физических лиц (ФЛ) с меткой принадлежности классу построить такую иерархическую кластеризацию данных, что для каждого кластера можно наиболее полно интерпретировать причину его попадания в конкретный кластер.
• Данные: Для исследования предлагается использовать данные из соревнования Kaggle по классификации мошенников в автостраховании на основе их признакового описания.
• Литература: [Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме. ](https://habr.com/ru/companies/otus/articles/782862/ https://paperswithcode.com/paper/interpretable-clustering-on-dynamic-graphs https://wires.onlinelibrary.wiley.com/doi/full/10.1002/widm.53)
• Базовой алгоритм: Описание baseline решения предоставлено на сайте соревнования: https://exporl.github.io/auditory-eeg-challenge-2024/task2/description/
• Решение: Базовый алгоритм решения задачи состоит в применении методов из пакетов sklearn, umap языка Python. Например, классическим интерпретируемым алгоритмом классификации является дерево решений (sklearn.tree.DecisionTree).
• Авторы: Василий Алексеев, Константин Воронцов

Задача 170

• Title: Detecting Manual Alterations in Biological Image Data Using Contrastive Learning and Pairwise Image Comparison
• Problem: This project aims to develop a model for pairwise comparison of biological and medical images, demonstrating high pairwise comparison metrics to detect manual modifications such as cropping, rotation, duplication, color distortion, or more subtle alterations. These alterations can compromise dataset validity and lead to erroneous conclusions, posing unique detection challenges due to the thematic and structural similarities in medical images. Additionally, the reproducibility of scientific findings is often undermined by the copying of images used as evidence or achievements, highlighting the need for robust detection methods to maintain data integrity in scientific research.
• Data:
  • BioImage Archive: A repository of biological images, including microscopy and experimental images.
  • Cell Image Library: High-resolution cell microscopy images from various biological experiments.
  • Haxby Dataset: The fMRI images dataset, the data are third-order tensors, so it is suggested to take slices.
  • Visible Human Project: Detailed anatomical datasets of the human body, including CT and MRI scans.
• Reference:
  • [1] Melekhov I., Kannala J., Rahtu E. Siamese network features for image matching. ICPR, 2016.
  • [2] Chen T. et al. A simple framework for contrastive learning of visual representations. PMLR, 2020.
  • [3] Radford, A. et al. Learning Transferable Visual Models from Natural Language Supervision (CLIP). ICML, 2021.
  • [4] Zbontar, J. et al. Barlow Twins: Self-Supervised Learning via Redundancy Reduction. ICML, 2021.
• Baseline: Use the Barlow Twins for self-supervised learning of image features. Next, train the head for matching, or train the entire pipeline. It is intended to use parallel augmentations, which you can read more about in the work SimCLR. To simulate manual modifications, augment datasets with: Cropping, resizing, flipping. Brightness/contrast adjustments. Cloning or duplicating parts of an image. Adding artificial noise or subtle distortions.
• Proposed solution: To refine the basic solution, it is possible to retrain the full pipeline for biological data.
• Novelty: At present, the problem of matching biological and medical images has not yet been solved.
• Authors:
  • Expert: Andrey Grabovoy
  • Consultant: Daniil Dorin (tg: @danulkin)

Задача 171

• Title: Robust Detection of AI-Generated Images
• Problem: The rapid evolution of generative models, such as Gans, VAEs, and diffusion-based models, has enabled the creation of highly realistic synthetic images, driving innovation in entertainment, art, and content creation. However, this has also introduced significant challenges in digital trust and authenticity, making the detection of machine-generated images crucial for combating misinformation and ensuring visual data integrity. This paper addresses the problem of identifying whether an image is machine-generated or real, aiming to develop a lightweight, efficient, and interpretable detection framework. The goal is to optimize detection accuracy while minimizing computational complexity, formulated as a binary classification problem. Key challenges include the diversity of generative models and the evolving quality of synthetic images, which increasingly mimic real-world characteristics.
• Data:
  • Real Images:
    • COCO: A large-scale dataset with natural images of various objects and scenes.
    • Flickr-Faces-HQ (FFHQ): A high-quality dataset of human faces for training and evaluation.
    • PASCAL VOC: Standardised image datasets for object class recognition.
  • Hybrid Datasets:
    • CIFAKE: CIFAKE is a dataset that contains 60,000 synthetically-generated images and 60,000 real images.
    • ArtiFact: large-scale image dataset that aims to include a diverse collection of real and synthetic images from multiple categories.
• Reference:
  • [1] Zero-Shot Detection of AI-Generated Images
  • [2] AI vs. AI: Can AI Detect AI-Generated Images?
  • [3] GenImage: A Million-Scale Benchmark for Detecting AI-Generated Image
• Baseline: Use a robust encoder, such as CLIP ViT or Barlow Twins, as a frozen model and train only the last classification layer.
• Authors:
  • Expert: Andrey Grabovoy
  • Consultant: Daniil Dorin (tg: @danulkin)

Задача 172

• Название: Восстановление показаний датчиков фМРТ по прослушиваемому звуковому ряду
• Задача: Рассматривается задача восстановления зависимости между показаниями датчиков функциональной магнитно-резонансной томографии (фМРТ) и восприятием внешнего мира человеком. Основная цель заключается в анализе зависимости между последовательностью снимков фМРТ и звуковым рядом, а также в разработке метода прогнозирования показаний фМРТ на основе прослушиваемого звукового ряда. Кроме того, хочется проверить гипотезу о влиянии параметра задержки BOLD (Blood-oxygen-level-dependent) на качество аппроксимации.
• Литература:
  • Вся литература из работы Forecasting fMRI images from video sequences: linear model analysis. Код данного исследования.
  • Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film
• Данные:
  • Berezutskaya J., et al Open multimodal iEEG-fMRI dataset from naturalistic stimulation with a short audiovisual film // Sci Data 9, 91, 2022. Открытый мультимодальный набор данных, включающий записи внутричерепной электроэнцефалографии (iEEG) и функциональной магнитно-резонансной томографии (фМРТ), полученные во время просмотра короткометражного аудиовизуального фильма. Исследование проводилось на группе участников в возрасте от 7 до 47 лет. Данные собраны с использованием богатого аудиовизуального стимула, что позволяет анализировать реакции мозга на естественные условия.
• Решение
  • Предлагается использовать простейшую линейную модель для прогнозирования независимо значений в каждом вокселе по данным звукового ряда.
  • Код предшественников.
• Новизна: Анализ зависимости между показаниями датчиков и восприятиям внешнего мира человеком. Требуется проверить гипотезу зависимости между данными.
• Авторы:
  • Консультант: Даниил Дорин (tg: @danulkin)
  • Эксперт: Стрижов, Андрей Грабовой

Задача 173

• Название: Дообучение LLM с помощью оптимизации нулевого порядка
• Задача: Описание проблемы: В области обработки естественного языка стандартным подходом является дообучение больших языковых моделей (LLM) с использованием методов оптимизации первого порядка, таких как SGD и Adam. Однако с увеличением размеров LLM существенные затраты памяти, связанные с обратным проходом (back-propagation) для вычисления градиентов, становятся серьезной проблемой из-за нехватки памяти для обучения. Именно поэтому развивается все больше методов оптимизации нулевого порядка (ZO) [1, 2], которые для вычисления градиентов требуют только прямого (forward) прохода модели. В данной работе предлагается придумать новые или модифицировать уже известные ZO подходы [3] для дообучения LLM, таких как LoRA [4].
• Литература:
  • [1] Fine-tuning language models with just forward passes
  • [2] Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models
  • [3] Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark
  • [4] Lora: Low-rank adaptation of large language models
  • [5] New aspects of black box conditional gradient: Variance reduction and one point feedback
• Базовый алгоритм: В статье [2] применяется базовый ZO-SGD на рассматриваемой задаче. В статье [3] рассмотрены более сложные алгоритмы, также в этой статье есть гитхаб с кодом
• Новизна: Предлагается применить уже полученные результаты в области безградиентных методов [5] в реальной задаче дообучения LLM. Идеальным результатом было бы повышение качества относительно других Zero-order методов и снижение памяти относительно First-order методов.
• Авторы: консультант: Веприков А.С., эксперт: Безносиков А.Н.

Задача 174

• Название: Эффекты самоорганизации в рекомендательных системах
• Описание проблемы: Предлагается исследовать эффекты самоорганизации в рекомендательной системе, в которой товары W и потребители C меняются со временем, как процесс многократного машинного обучения [4]. Пусть заданы начальные плотности распределений признаков f_0^c потребителей и f_0^w товаров на X = C U W. Рассмотрим динамическую систему вида f_{t+1} = D_t(f_t) с оператором эволюции D_t, где переход к шагу t+1 состоит в формировании рекомендации потребителю c ~ f_t^c алгоритмом рекомендаций товара w = h_u(c, f^c_t, f^w_t), заключением сделки потребителем с вероятностью ~ q(c,w,z) со скрытым от алгоритма параметром z, обновлении f^c_t и f^w_t по истории предложений и сделок. Можно показать, что при некоторых условиях в системе присутствует петля положительной обратной связи [3], то есть распределение данных системы меняется со временем вследствие искажений, вносимых алгоритмом рекомендаций. Используя нейронную коллаборативную фильтрацию (NCF) научиться восстанавливать и обновлять функцию q(c,w,z) по истории сделок и экспериментально уточнить условия возникновения положительной петли обратной связи в такой системе [3].
• Данные: Для инициализации используем MovieLens 100K Dataset по аналогии со статьей [2]
• Литература
  • [1] Debiasing the Human-Recommender System Feedback Loop in Collaborative Filtering
  • [2] Breaking Feedback Loops in Recommender Systems with Causal Inference
  • [3] Positive feedback loops lead to concept drift in machine learning systems
  • [4] Задача 119, Моя первая научная статья 2023, https://arxiv.org/abs/2405.02726
  • [5] PyTorch NCF, NeuMF etc, https://github.com/guoyang9/NCF, LibMF
  • [6] см. hidden feedback loop user drift recommender systems в scholar.google.com
• Базовый алгоритм: Исходный код - доработанная версия кода из [3, 4] при решении [5].
• Новизна: В сравнении с [6] впервые применяем многократное машинное обучение для изучения эффектов самоорганизации в многоагентных системах с рекомендательным алгоритмом. Разработанная имитационная модель и полученные условия существования скрытой петли обратной связи позволят предсказывать долгосрочное поведение такой системы.
• Авторы:
  • Консультант - Веприков А.С.,
  • Эксперт - Хританков А.С.

Задача 175

• Title: Adaptive Loss Scaling for Splitting Mods

• Problem: In machine learning, numerous challenges can degrade model performance, including noisy features in tabular data and incorrect labeling in reinforcement learning from human feedback. Various approaches exist to mitigate these issues; however, this project proposes addressing them through adaptive loss scaling.

  The core idea is to weight the overall loss function at the sample level, with these weights being learned on a unit simplex. This approach formulates the problem as a minimax optimization task. As a result, the learned weights converge to a certain distribution, which may exhibit multiple modes corresponding, for example, to noisy samples or poorly labeled data.

  To improve data quality, the project suggests correcting target labels or discarding samples associated with these problematic modes, followed by retraining on the refined dataset and potentially ensembling models. This strategy is expected to enhance model performance by generating a higher-quality dataset.

• Data:

  • Tabular Data
  • RLHF data
  • Some toys datasets

• Reference:

  • Mirror-Prox Algorithm with Linear Convergence Rate and its Application for Dynamic Loss Scaling.
  • Tabular DL reference:
    • First paper about Tabular DL (On embeddings for numerical features, 2023 oct)
    • Second paper (Tabred, 2024 jun)
    • Third paper (TabM, 2024 nov)

• Baseline: Some benchmark model corresponding to the selected dataset, trained on it.

• Proposed solution: Improvement of the acquisition pipelines of benchmark models: Apply ALSO optimizer to the benchmark model, discard some data according to the obtained weights, or replace incorrect targets, continue training the model on the corrected dataset but with a normal optimizer.

• Novelty: The novelty lies in the approach of discarding one or more data modes corresponding to different modes of weight distribution at losses in the minimax setting.

• Authors:

  • Ignashim Igor
  • Aleksandr Beznosikov

Задача 176

• Название: Использование методов подсчета неопределенности для борьбы с атаками на детекторы машинно-сгенерированного текста
• Задача: Для того, чтобы обойти детекторы машинно-сгенерированного текста, иногда используются различные атаки на текст, вроде использования гомоглифов, перифразы и т.д. С другой стороны, эти же атаки можно использовать, чтобы проверять устойчивость разрабатываемых детекторов. Существуют несколько типов атак, некоторые из которых детекторы легко обнаруживают. Многие атаки можно обходить если дообучивать детектор на текстах с этими атаками, однако хотелось бы найти подход, который бы не требовал постоянного дообучения. Нужно проверить гипотезу, что мы можем использовать методы подсчета неопределенности для этого в случае, когда у нас есть только текст и в случае, когда еще есть и к доступ к внутренним состояниям модели.
• Данные:
  • Сам датасет c атаками
  • Статья
• Литература:
  • Методы подсчета определенности: хорошая обзорная статья, в аппендиксе который приведены все текущие методы подсчета
  • Статья-вдохновение1: Как методы подсчета неопределенности работают для обнаружения изображений-дипфейков: arXiv
  • Статья-вдохновение2: Как можно перевзвешивать матрицу внимания для детекции с учетом неопределенности arXiv
  • При желании, данную проблему можно порассматривать больше с точки зрения математики (пример), так как подсчет неопределенности - это задача байесовского моделирования.
• Авторы:
  • Консультант: Вознюк Анастасия,
  • Эксперт: Андрей Грабовой

Задача 177

• Название: Кодирование дискриминативных и генеративных моделей
• Задача: В работе исследуются различные методы энкодинга нейронных сетей, применяемые в дискриминативных и генеративных моделях. Основная цель проекта — имплементация и сравнительный анализ существующих методов энкодинга, представленных в научных статьях. Результатом проведенного исследования ожидается разработанная библиотека, объединяющая различные методы энкодинга, что позволит упростить их применение в практических задачах. В рамках проекта также предлагается изучить возможность комбинирования нескольких методов энкодинга и теоретически обосновать их совместную применимость. Например, рассмотреть ортогональности методов в функциональном пространстве, что может способствовать улучшению качества и эффективности кодирования нейронных сетей.
• Данные: CIFAR
• Литература:
  • [1]
  • [2]
  • [3]
• Базовый алгоритм: https://github.com/HSG-AIML/SANE — интересный метод кодирования сеток, подходящий как для генеративных, так и дискриминативных моделей.
• Авторы:
  • Консультант: Никитина Мария
  • Эксперт: Бишук Антон

Задача 178

• Title: Low-rank self-play fine-tuning for small LLMs
• Problem: Fine-tuning of even relatively small LLM takes considerable resources. Different techniques has been proposed in the last years to accelerate that process. The most common approach for SFT stage nowadays is LoRA. However, LLMs greatly benefits from reinforcement learning, which requires human annotators and that requirement might be demanding. Recently RL-based approaches, that do not rely on human preferences were proposed for ~7B models. This project focuses on applying these to smaller ones with limited resources. The goal is to get some gains over traditional SFT without additional need of human annotation.
• Baseline: Small pretrained LLM without RLHF tuning like Qwen2.5-0.5B/1.5B/....
• Proposed solution: Self-Play fIne-tuNing SPIN - an approach using just ground truth data from the dataset along with old model version replies and which is claimed to outperform DPO (common go-to RL-based method) along with LoRA.
• Data:
  • GSM8K
  • Hellaswag
  • Winogrande
  • MMLU-Pro
  • MMLU
• Reference:
  • Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models
  • LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
  • Direct Preference Optimization: Your Language Model is Secretly a Reward Model
  • Qwen2.5 Technical Report
• Authors:
  • Expert: Andrey Grabovoy
  • Consultant: Nikita Okhotnikov

Задача 179

• Title: Бандиты для Query selection
• Problem: In today's world, tools are needed for efficient data processing. Databases underlie all such systems, but as their complexity increases, the task of Query Optimization arises. In this paper, you will have to figure out this problem, implement a solution based on the Multi-Armed Bandits method proposed in [4], and also suggest a way to improve the proposed algorithm.
• Data: Will be determined after the algorithm is developed.
• Reference:
  • [1] Hazan E. et al. Introduction to online convex optimization //Foundations and Trends® in Optimization. – 2016. – Vol. 2. – No. 3-4. – Pp. 157-325.
  • [2] Cesa-Bianchi N., Lugosi G. Prediction, learning, and games. – Cambridge University Press, 2006.
  • [3] Bandits M. A. Introduction to Multi-Armed Bandits.
  • [4] Marcus R. et al. Bao: Making learned query optimization practical //Proceedings of the 2021 International Conference on Management of Data. – 2021. – С. 1275-1288.
• Baseline: Implement [4] and check it in work.
• Proposed solution: To implement contextual bandit algorithm in [4]. Improve the quality using contextual bandits.
• Novelty: There is a rumour, that the result in [4] is not reproduced in practice. It is necessary to check this and suggest an improvement.
• Authors:
  • Expert Yuriy Dorn
  • Consultant: Ilgam Latypov

Задача 181

• Название: Эволюционный метод создания ансамбля нейронных сетей с использованием предикаторных функций
• Задача: Ансамбли нейронных сетей обладают более высоким предсказательным потенциалом по сравнению с одиночными нейронными сетями. Однако пространство возможных архитектур нейронных сетей само по себе огромно, а пространство поиска ансамблей растет экспоненциально с увеличением размера ансамбля. Это делает задачу поиска оптимального ансамбля крайне ресурсоемкой. Таким образом, необходимо разработать методы эффективного поиска ансамблей, которые минимизируют вычислительные затраты.
• Данные:
  • CIFAR-100 — стандартный датасет для задач классификации изображений.
  • AE-CNN-code — код эволюционного алгоритма, на базе которого предлагается проводить исследования.
• Литература:
  • [1] AE-CNN — современный (SOTA) эволюционный алгоритм для поиска архитектуры нейронной сети.
  • [2] E2EPP — пример эволюционного алгоритма с предикаторной функцией для поиска одной архитектуры.
  • [3] SSENAS — использование предикаторной функции для оценки сходства моделей, однако в статье рассматривается поиск только одной модели.
• Базовый алгоритм: Сравнение ансамбля с одиночной моделью, полученной с помощью эволюционного алгоритма. Сравнение предложенного метода построения ансамбля с другими методами создания ансамблей.
• Предлагаемое решение: В работе предлагается разработать алгоритм создания ансамбля нейронных сетей на основе одного из современных подходов к поиску архитектур — эволюционного алгоритма с использованием суррогатных функций. Эти функции будут использоваться для оценки предсказательной способности моделей. Основной акцент будет сделан на исследовании суррогатной функции, которая сможет отбирать для следующего поколения не только архитектуры с высокой предсказательной способностью, но и достаточно разнообразные, чтобы обеспечить эффективность ансамбля.
• Новизна: Исследование свойств суррогатной функции для построения оптимального ансамбля.
• Авторы:
  • Эксперт: Бахтеев Олег
  • Консультант: Бабкин Пётр

Задача 182

• Название: Сходимость поверхности функции потерь в трансформерных архитектурах нейронных сетей
• Задача: Обучение нейронной сети подразумевает поиск точки минимума функции потерь, которая задает поверхность в пространстве параметров модели. Свойства этой поверхности определяются выбранной архитектурой, функцией потерь, а также данными для обучения. Существующие исследования показывают, что с ростом числа объектов в выборке поверхность функции потерь перестает значимо меняться. В работе предлагается получить оценку на сходимость поверхности функции потерь для трансформерной архитектуры нейронной сети со слоями внимания, а также провести вычислительные эксперименты, подтверждающие полученные теоретические результаты.
• Литература:
  • [1] Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes: в работе предлагается использовать Гессиан нейронной сети для оценки сходимости, доказываются результаты для полносвязной сети
  • [2] Attention Is All You Need: базовая работа по архитектуре трансформер и механизму внимания
  • [3] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale: применение трансформерных архитектур для классификации изоражений — Vision Transformer (ViT)
• Данные: Предлагается проводить вычислительный эксперимент на задаче классификации изображений [3], используя наборы данных
  • MNIST
  • FashionMNIST
  • CIFAR10
  • CIFAR100
• Базовый алгоритм: Использовать подход, предложенный в [1], при этом рассмотреть вместо последовательности линейных слоев один трансформерный блок с механизмом внимания [2]
• Решение:
  • Рассмотреть нейронную сеть, состояющую из последовательности трансформеных блоков с механизмом внимания, представить ее в виде произведения матричных преобразований
  • Используя полученное представление, вывести формулу для Гессиана функции потерь в задаче многоклассовой классификации
  • Свести оценку абсолютной разности функции потерь к норме разности Гессианов в точке локального минимума
• Новизна: Ранее никем не были получены такие оценки сходимости. Развитие исследований в этом направлении позволит связать размер модели и необходимое количество данных для ее обучения.
• Авторы:
  • Консультант: Никита Киселев (tg: @kisnikser)
  • Эксперт: Андрей Грабовой

Задача 183

• Название: Сравнение Монте-Карло оценок в различных низкоразмерных подпространствах для оценки сходимости поверхности функции потерь
• Задача: Обучение нейронной сети подразумевает поиск точки минимума функции потерь, которая задает поверхность в пространстве параметров модели. Свойства этой поверхности определяются выбранной архитектурой, функцией потерь, а также данными для обучения. Существующие исследования показывают, что с ростом числа объектов в выборке поверхность функции потерь перестает значимо меняться. Один из возможных способов практической оценки сходимости — численно измерять изменение поверхности в окрестности локальных минимумов. Делать это можно, например, методом Монте-Карло, однако сэмплирование в пространстве параметров модели осложняется его большой размерностью. В работе предлагается сравнить несколько подпространств, в которых можно производить сэмплирование: натянутое на случайные вектора, собственное подпространство Гессиана нейронной сети и другие. Вычислительный эксперимент на задаче классификации изображений позволит обозначить практическое применение предложенных методов.
• Литература:
  • [1] Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes: в работе предлагается использовать Гессиан нейронной сети для оценки сходимости, доказываются результаты для полносвязной сети
  • [2] Работа консультанта и эксперта, находящаяся на стадии подачи в журнал: наиболее релевантная к теме задачи
• Данные: Предлагается проводить вычислительный эксперимент на задаче классификации изображений, используя наборы данных
  • MNIST
  • FashionMNIST
  • CIFAR10
  • CIFAR100
• Базовый алгоритм: Случайно выбирать несколько направлений в пространстве параметров, а затем сэмплировать точки в подпространстве, натянутом на эти вектора. Теоретические результаты и код для базового эксперимента в определенном виде уже имеются.
• Решение:
  • Расширить уже полученные результаты [2] для сэмплирования во всем пространстве параметров, вводя матрицу проективного преобразования на выбранное подпространство
  • Рассматривая различные матрицы проекции, сравнить между собой эти способы с точки зрения оценки на скорость сходимости поверхности функции потерь [1]
• Новизна: Ранее никем не проводилось такое сравнение. Развитие исследований в этом направлении позволит связать размер модели и необходимое количество данных для ее обучения.
• Авторы:
  • Консультант: Никита Киселев (tg: @kisnikser)
  • Эксперт: Андрей Грабовой

Problem 184

• Title: Metric analysis of deep network space parameters
• Problem: The structure of a neural work is exhaustive. The dimensionality of the parameter space should be reduced. The autoencoder in the subject of the investigation. Due to the continuous-time nature of the data, we analyze several types of autoencoders. We reconstruct spatial-time data, minimizing the error.
• Data:
  • Synthetic data sine for 2D visualizaion of the parameter distributions
  • Accelerometer quasiperiodic data
  • Limb movement quasiperiodic data (if any)
  • Video periodic data (cartoon, walking persona)
  • Video, fMRI, ECoG from the s41597-022-01173-0
• References:
  • SSA and Hankel matrix construction or in wiki
  • Open multimodal iEEG-fMRI dataset from naturalistic stimulation
  • Variational autoencoders to estimate parameters
  • RNN in the 5G book
  • Neural CDE
• Baseline: RNN-like variational autoencoder in the criteria: error vs. complexity (number of parameters)
• Roadmap:
  • Prepare data so that the reconstruction work on a basic model (like SSA)
  • Estimate expectation and covariance of parameters (using VAE or else, to be discussed)
  • Reduce dimensionality, plot the error/complexity, plot the covariance
  • Run RNN-like model, plot
  • Assign the expectation and covariation matrix to each neuron of the model
  • Plot the parameter space regarding covariance as its metric tensor (end of minimum part)
  • Suggest a dimensionality reduction algorithm (naive part)
  • Run Neuro ODE/CDE model and plot the parameter space
  • Analyse the data distribution as the normalized flow
  • Suggest the parameter space modification in terms of the normalized flow (paradoxical part, diffusion model is needed)
  • Compare all models according to the criterion error/complexity (max part)
  • Construct the decoder model for any pair of data like fMRI-ECoG tensor and neuro CDE (supermax part)
• Proposed solution: description of the idea to implement in the project
• Novelty: Continous-time models are supposed to be simple due to their periodic nature. Since they approximate the vector fields, these models are universal. The model selection for the continuous time is not considered now, but at the time, it is acute for wearable multimedia devices for metaverse and augmented reality.
• Supergoal To join two encoders in a signal decoding model to reveal the connection between video and fMRI, between fMRI and ECoG.
• Authors: Expert Стрижов, consultant Ernest Nasyrov

Problem 185

• Title Operator learning in PINN
• Problem Many machine learning tasks require working with operators over multidimensional vectors. For example, when working on images, the task is to find an operator that transforms the discretized image into another vector: in the case of a classification task, a probabilistic vector, and in the case of generation, it will also be the image space. If the dimensionality of the space is large, it makes sense to represent the image as a function on the coordinates, yielding a color from the RGB space. A similar problem exists for physical systems. Unlike images, they operate in three-dimensional space. And it is impossible to discretize the space for them. In a general way, this problem is solved by Operator Learning. In this problem, it is proposed to learn an operator on a continuous space. It is proposed to extend this idea to physical systems. The ultimate goal is to provide an efficient solution that compresses the space in which the operator operates, analogous to PCA for matrices.
• Data
  • [1] MacCallum S, Merchant C (2011) Arc-lake v1.1-per-lake, 1995–2009 https://doi.org/10.7488/ds/159
  • [2] Reiss, A. (2012). PAMAP2 Physical Activity Monitoring [Dataset]. UCI Machine Learning Repository. https://doi.org/10.24432/C5NW2H
  • [3] Bousseljot R, Kreiseler D, Schnabel, A. Nutzung der EKG-Signaldatenbank CARDIODAT der PTB über das Internet. Biomedizinische Technik, Band 40, Ergänzungsband 1 (1995) S 317https://doi.org/10.13026/C28C71
• Reference
  • [1] Kovachki, Nikola B., Samuel Lanthaler, and Andrew M. Stuart. "Operator learning: Algorithms and analysis." arXiv preprint arXiv:2402.15715 (2024). https://doi.org/10.48550/arXiv.2402.15715
  • [2] Palummo, A., Arnone, E., Formaggia, L. et al. Functional principal component analysis for incomplete space–time data. Environ Ecol Stat 31, 555–582 (2024). https://doi.org/10.1007/s10651-024-00598-7
  • [3] Gruber, Anthony, and Irina Tezaur. "Canonical and noncanonical Hamiltonian operator inference." Computer Methods in Applied Mechanics and Engineering 416 (2023): 116334. https://doi.org/10.1016/j.cma.2023.116334
  • [4] Olivieri, M., Karakonstantis, X., Pezzoli, M. et al. Physics-informed neural network for volumetric sound field reconstruction of speech signals. J AUDIO SPEECH MUSIC PROC. 2024, 42 (2024). https://doi.org/10.1186/s13636-024-00366-2
• Baseline Apply The Fourier operator or other similar operator and use this transformation to predict the time series.
• Proposed solution Using an operator learning framework, propose a solution for different types of operators used in physics, image analysis, etc. Propose an idea to implement ICA to reduce the dimensionality of an operator to compute it in an efficient way.
• Novelity There are no soluton to learning the operators used in physics.
• Authors
  • Expert: Стрижов
  • Consultant: Alexander Terentyev

Задача 186

• Название: Исследование нестационарных и неоднородных динамических систем

• Задача: По временным рядам будем восстанавливать порождающую динамическую систему и смотреть, зависят ли её свойства от времени или более общего множества параметров. Как пример, можно взять показатели акселерометра легкоатлета и их поведение во времени, зависимость от физической подготовки и т.д. В ходе работы выразим математически "степень" неоднородности системы; по восстановленным фазовым траекториям будем оценивать параметры "неоднородности", находить точки разладки; нарисуем красивые фазовые кривые.

• Данные: сгенерируем синтетику + примеры реальных данных: Run or Walk, The Weather Dataset

• Литература:

  • теорема Такенса
  • метод SSA на wiki и от его авторов
  • Neural ODE
  • Grabovoy A. V., Strijov V. V. Quasi-periodic time series clustering for human activity recognition, Lobachevskii Journal of Mathematics. – 2020.
  • ваши знания диффуров

• Базовой алгоритм: поиск разладки через SSA, метод А. Грабового (см. работу выше)

• Решение:

  1. Используем SSA (a.k.a. теорему Такенеса + PCA), чтобы восстановить фазовые траектории скрытой динамической системы, которая порождает наблюдаемые временные ряды. Также этот метод поможет оценить "эффективную" размерность фазового пространства.
  2. Если наблюдаем зависимость фазового пространства от времени/других параметров, то система неоднородна.
  3. На основе изменения фазового пространства возможен инференс состояния системы по фазовым траекториям, определение разладки. В простых случаях визуально выразим поведение системы на разных режимах.

  Предстоит математически сформулировать проблему, определить все сущности и найти решение. Также будем проверять нашу теорию на синтетических и реальных рядах.

• Новизна: заключается в неоднородности рассматриваемой системы, а также объединения ML-подходов и теории динамических систем

• Авторы:

  • Консультант: Кирилл Сёмкин
  • Эксперт: Стрижов

Задача 187

• Title: Hybrid Memory System for Personalized AI Agent Responses Using Knowledge Graphs
• Problem: Modern AI assistants, particularly in banking risk assessment, require personalized and context-aware interactions. However, they often lack effective memory mechanisms for recalling and utilizing past interactions, leading to impersonalized responses. This research develops a hybrid memory system that integrates short-term and long-term memory to improve personalization while maintaining computational efficiency. The proposed system combines short-term memory for preserving recent interactions and long-term memory for accumulating knowledge. Knowledge graphs (AriGraph) structure semantic and episodic memory, while an intelligent memory selection mechanism dynamically adjusts storage strategies based on interaction complexity and computational constraints. Additionally, triplets and subgraphs from the knowledge graph are transformed into structured memory storage for efficient retrieval and response generation.
• Data: The study uses open-source datasets. Potential sources include banking risk assessment interaction logs, knowledge graph datasets such as Wikidata and DBpedia, and conversation datasets.
• Reference:
  • Li, X., Wang, S., Zeng, S., Wu, Y., & Yang, Y. (2024). A survey on LLM-based multi-agent systems: workflow, infrastructure, and challenges. Vicinagearth, 1(1), p.9.
  • Huang, X., Liu, W., Chen, X., Wang, X., Wang, H., Lian, D., Wang, Y., Tang, R., & Chen, E. (2024). Understanding the planning of LLM agents: A survey. arXiv preprint arXiv:2402.02716.
  • Anokhin, P., Semenov, N., Sorokin, A., Evseev, D., Burtsev, M., & Burnaev, E. (2024). Arigraph: Learning knowledge graph world models with episodic memory for LLM agents. arXiv preprint arXiv:2407.04363.
  • Hu, M., Chen, T., Chen, Q., Mu, Y., Shao, W., & Luo, P. (2024). Hiagent: Hierarchical working memory management for solving long-horizon agent tasks with large language models. arXiv preprint arXiv:2408.09559.
• Baseline: The baseline approaches compared with the proposed solution include retrieval-augmented generation (RAG), and hierarchical memory models like Hiagent.
• Proposed solution: The research develops a hybrid memory system integrating different approaches for structured memory management. A modular architecture combines short-term (context-aware) and long-term (knowledge-based) memory with an intelligent selection mechanism optimizing retrieval efficiency. Knowledge graph triplets and subgraphs are transformed into structured memory representations. Experimental validation on a banking risk assessment AI assistant evaluates personalization, retrieval efficiency, and response quality. Performance metrics include retrieval time, contextual accuracy using semantic similarity metrics, and storage efficiency versus response accuracy trade-offs.
• Authors:
  • Consultant: Ivan Novikov - Ph.D stident at MIPT Seminarist on Quantitative Finance, research Scientist at Skolkovo. Consultant at InteRData and Scientific Programming Centre. Participated in 7 industrial projects for banks and steel industry.

Задача 188

• Title: Multi-Agent Simulation for Economic and Social Behavior Modeling: From Individual Agents to Synthetic Populations and Integrated Environments

• Problem: This project aims to develop a multi-agent simulation framework to model social and economic behavior in financial contexts, progressively advancing from individual agent decision-making to population-scale interactions and a fully integrated simulation environment. The research is structured into three phases:

  • 1. Single-Agent Simulation: Modeling an LLM-based consumer agent that simulates decision-making, spatial mobility, and responses to financial stimuli.
  • 2. Synthetic Population Modeling: Extending the framework to generate a heterogeneous synthetic population with realistic socio-economic characteristics and network interactions.
  • 3. Integrated Multi-Agent Environment: Creating a large-scale, data-driven simulation that incorporates real socio-economic data, spatial topology, and agent synchronization for financial behavior analysis.

  This research bridges the gap between theoretical consumer behavior models and empirical financial decision-making. The findings can be applied in banking, financial risk assessment, and economic policy optimization.

• Data: The computational experiments will use the following datasets:

  • Nielsen Consumer Panel Data – Consumer purchase behavior and spending trends.
  • Public Census and Financial Data – Socio-economic and demographic datasets.
  • Bank Transactional Data (Anonymized) – Patterns in financial decisions and responses to market changes.
  • GIS Data for Spatial Analysis – Geospatial information to model mobility and location-based financial decisions.

• Reference:

  • Park et al. (2023). "Generative Agents: Interactive Simulacra of Human Behavior."
  • Leng, Y. (2024). "Can LLMs Mimic Human-Like Mental Accounting and Behavioral Biases?"
  • Wang, J. et al. (2024). "Large Language Models as Urban Residents: An LLM Agent Framework for Personal Mobility Generation."
  • Azamuke, D., et al. (2024). "MoMTSim: A Multi-agent-based Simulation Platform Calibrated for Mobile Money Transactions." IEEE Access.
  • Guo, T. et al. (2024). "Large Language Model-based Multi-Agents: A Survey of Progress and Challenges." arXiv.

• Baseline:

  • 1. Baseline for agent-based simulations can be taken from AgentScope, an existing multi-agent framework optimized for large-scale simulations (arXiv:2407.17789).
  • 2. Existing financial decision models and LLM-based decision-making (Generative Agents).

• Proposed solution:

  • Phase / Project 1: Individual LLM-Based Consumer Agent An LLM-based agent is developed with structured financial reasoning, decision-making capabilities, and adaptive learning. It models consumer behavior by optimizing budget constraints, managing credit usage, and responding to financial incentives such as banking offers and interest rate changes. The agent navigates a simulated financial environment, making purchasing decisions and interacting with virtual financial entities. Its behavior is validated by comparing simulation results with real-world consumer transaction data.

  • Phase / Project 2: Synthetic Population and Network Interactions A synthetic population is generated using LLM-based personas with diverse demographic, financial, and psychographic characteristics. Network structures such as small-world and scale-free models capture peer influence, social interactions, and collective financial trends. The system models the emergence of financial behaviors such as herd effects, viral banking trends, and shifts in credit adoption. The synthetic population’s behavior is compared with empirical financial datasets to ensure representativeness and realism.

  • Phase / Project 3: Large-Scale Multi-Agent Environment A spatially structured multi-agent system is developed, integrating GIS data to model consumer mobility in urban and regional settings. Agents interact dynamically with banking institutions, businesses, and financial markets, responding to real-time macroeconomic changes. The simulation incorporates real-world socio-economic data, enabling predictive modeling of financial behavior under different economic policies. Optimization techniques ensure the framework scales efficiently for large simulations. The model is validated against historical financial events and economic trends.

• Authors

  • Consultant: Ivan Novikov - Ph.D stident at MIPT Seminarist on Quantitative Finance, research Scientist at Skolkovo. Consultant at InteRData and Scientific Programming Centre. Participated in 7 industrial projects for banks and steel industry.

Задача 189

• Title: Learning to Rank problems

• Problem: In the field of Learning-to-Rank (LTR), two key challenges persist: determining an appropriate surrogate loss function for training and designing an effective architecture for ranking problems. In this work, we address both aspects comprehensively. Leveraging the attention mechanism in transformers, we explicitly model the inter-document relationships directly within the neural network architecture, rather than relying solely on the loss function. Despite the conventional view that pointwise methods resign to pair- and listwise, we demonstrate that incorporating them into our transformer-based architecture yields promising results. Furthermore, we enhance the training process by introducing a ListNet-inspired term to the loss function, leading to our best performance, which significantly surpasses many state-of-the-art results.

• Data: The links to the most popular datasets being used in l2r community are presented below:

  • https://www.tensorflow.org/datasets/catalog/istella?hl=ru
  • https://www.tensorflow.org/datasets/catalog/mslr_web?hl=ru

• Reference:

  • [Links to the literature](https://arxiv.org/abs/2012.06731
  • https://arxiv.org/abs/2005.10084
  • https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/MSR-TR-2010-82.pdf (A must-have for understanding the basics))

• Baseline: We are unable to provide our code at this time as our paper is currently under review. However, we can outline the key components verbally. A related implementation that utilizes a transformer for ranking can be found here: https://github.com/allegro/allRank

• Proposed solution: The idea of the proposed solution and methods for conducting the research. Ways of visualizing data and error analysis Exploring Different Architectures with Attention Mechanisms. In our study, we examined only a basic transformer architecture. However, GNNs or another neural networks may offer superior performance.

  Developing Novel Loss Functions. Our results demonstrated that even a pointwise approach can be effective when combined with attention mechanisms, sometimes outperforming other techniques. Extending this line of research by designing new loss functions tailored to these architectures could open new avenues for improvement and innovation.

  Incorporating Riemannian Optimization for Working with Unimodal Matrices. The PiRank paper employs permutation matrices as a core component of its approach. A promising idea is to integrate Riemannian optimization techniques into this framework to handle unimodal matrices more effectively. However, the feasibility and benefits of this approach require further investigation.

• Authors: Sapronov Yuri, Aletov Vladimir

Задача 191

• Title: Synthetic generation of transactions data
• Problem: Recently bank seriously improved modeling integrating SOTA models. However, some research still require experiments and/or datasets are sparse. Thus synthetic data generation is expected to be helpful for the task.
• Data: No dataset available. We are on the way to access, but there is no certainty on that point. In case of any delay search of the dataset is a challenge
• Reference: Links to the literature Paper is dedicated to the timeseries data. The idea is apply the same (or similar) methods to transactions data. However, additional research required. This approach could be already tested)
• Baseline: Cited paper has a link to the repo
• Proposed solution: GAN or VAE for synthetic transactions generation
• Authors: Taniushkina Daria

Problem template (EN)

Problem 101

• Title: Title
• Problem: Problem description
• Data: Data description
• Reference: Links to the literature
• Baseline: baseline description
• Proposed solution: description of the idea to implement in the project
• Novelty: why the task is good and what does it bring to science? (for editorial board and reviewers)
• Authors: supervisors, consultants, experts

Шаблон задачи (RU)

Задача 101

• Название: Название, под которым статья подается в журнал.
• Задача: Описание или постановка задачи. Желательна постановка в виде задачи оптимизации (в формате argmin). Также возможна ссылка на классическую постановку задачи.
• Данные: Краткое описание данных, используемых в вычислительном эксперименте, и ссылка на выборку.
• Литература: Список научных работ, дополненный 1) формулировкой решаемой задачи, 2) ссылками на новые результаты, 3) основной информацией об исследуемой проблеме.
• Базовой алгоритм: Ссылка на алгоритм, с которым проводится сравнение или на ближайшую по теме работу.
• Решение: Предлагаемое решение задачи и способы проведения исследования. Способы представления и визуализации данных и проведения анализа ошибок, анализа качества алгоритма.
• Новизна: Обоснование новизны и значимости идей (для редколлегии и рецензентов журнала).