From 29ff1ecff83e9fe6709bc4a26f20a16ca719dc3c Mon Sep 17 00:00:00 2001 From: "copilot-swe-agent[bot]" <198982749+Copilot@users.noreply.github.com> Date: Sun, 5 Apr 2026 16:28:11 +0000 Subject: [PATCH 1/4] docs: localize and polish README in Russian with full author list Agent-Logs-Url: https://github.com/Tecevik/Multi-Agent/sessions/ef83dd9d-6163-4588-9024-d29bb2cd6520 Co-authored-by: Daredevil5223 <219683611+Daredevil5223@users.noreply.github.com> --- README.md | 95 +++++++++++++++++++++++++++++-------------------------- 1 file changed, 51 insertions(+), 44 deletions(-) diff --git a/README.md b/README.md index c8e0aa7..da33abe 100644 --- a/README.md +++ b/README.md @@ -1,84 +1,91 @@ # Multi-Agent ---- - [![OSA-improved](https://img.shields.io/badge/improved%20by-OSA-yellow)](https://github.com/aimclub/OSA) +Проект для экспериментов с мультиагентными LLM-системами, которые автоматически формируют спецификации, use case’ы и пользовательские истории по заданным задачам. + --- -## Overview +## Содержание -This project uses multiple AI agents to automatically create detailed project specifications and use cases from user tasks. It allows for experimenting with different agent strategies, comparing their effectiveness, and ensuring high-quality outputs, supporting streamlined and dependable project planning. +- [О проекте](#о-проекте) +- [Возможности](#возможности) +- [Быстрый старт](#быстрый-старт) +- [Авторы](#авторы) +- [Как внести вклад](#как-внести-вклад) +- [Цитирование](#цитирование) --- -## Table of Contents +## О проекте + +**Multi-Agent** помогает запускать воспроизводимые эксперименты с разными стратегиями взаимодействия AI-агентов и сравнивать качество их результатов. -- [Overview](#overview) -- [Core features](#core-features) -- [Installation](#installation) -- [Contributing](#contributing) -- [Citation](#citation) +Репозиторий включает: +- генерацию проектных артефактов из пользовательских задач; +- оценку качества (правила + LLM-as-a-judge); +- сбор артефактов экспериментов, времени и стоимости запусков; +- инструменты анализа и визуализации метрик. --- -## Core features +## Возможности -1. **Multi-Agent Specification Generation**: Generates comprehensive project specifications from user-defined tasks using multiple LLM-based agents configured in different experimental modes. -2. **Use Case Derivation**: Automatically creates use cases and user stories from generated specifications to cover functional scope and support detailed analysis. -3. **Experimental Mode Comparison**: Supports various experimental modes (e.g., external critic, self-critique) to test and compare different multi-agent strategies for performance optimization. -4. **Integrated Quality Assessment**: Combines rule-based metrics and LLM-as-a-judge evaluations to comprehensively assess the quality, clarity, and consistency of generated artifacts. -5. **Reproducible Experiment Pipeline**: Provides a structured pipeline for running reproducible experiments with automated artifact saving, cost estimation, and batch processing capabilities. +1. **Генерация спецификаций мультиагентной системой** + Автоматическое создание детальных спецификаций в разных экспериментальных режимах. +2. **Автоматическое построение use case’ов и user story** + Получение структурированных сценариев использования на основе сгенерированных спецификаций. +3. **Сравнение экспериментальных режимов** + Поддержка режимов (например, внешний критик, self-critique) и их количественное сравнение. +4. **Комплексная оценка качества** + Комбинация rule-based метрик и LLM-оценивания для анализа полноты, ясности и согласованности. +5. **Воспроизводимый пайплайн экспериментов** + Запуск сценариев с сохранением результатов, подсчётом затрат и пакетной обработкой задач. --- -## Installation +## Быстрый старт -Install Multi-Agent using one of the following methods: - -**Build from source:** - -1. Clone the Multi-Agent repository: ```sh git clone https://github.com/Tecevik/Multi-Agent -``` - -2. Navigate to the project directory: -```sh cd Multi-Agent ``` --- -## Contributing +## Авторы -- **[Report Issues](https://github.com/Tecevik/Multi-Agent/issues)**: Submit bugs found or log feature requests for the project. -- **[Submit Pull Requests](https://github.com/Tecevik/Multi-Agent/tree/main/.github/CONTRIBUTING.md)**: To learn more about making a contribution to Multi-Agent. +- [Tecevik](https://github.com/Tecevik) +- [HammonDDDDD](https://github.com/HammonDDDDD) +- [Daredevil5223](https://github.com/Daredevil5223) --- -## Citation +## Как внести вклад -If you use this software, please cite it as below. +- **Сообщить о проблеме:** [Issues](https://github.com/Tecevik/Multi-Agent/issues) +- **Предложить изменения:** [CONTRIBUTING](https://github.com/Tecevik/Multi-Agent/tree/main/.github/CONTRIBUTING.md) + +--- -### APA format: +## Цитирование + +Если вы используете этот проект, пожалуйста, укажите ссылку на репозиторий и авторов. + +### APA ```text -Tecevik (2026). Multi-Agent repository [Computer software]. https://github.com/Tecevik/Multi-Agent +Tecevik, HammonDDDDD, & Daredevil5223. (2026). Multi-Agent repository [Computer software]. https://github.com/Tecevik/Multi-Agent ``` -### BibTeX format: +### BibTeX ```bibtex -@misc{Multi-Agent, - author = {Tecevik}, - title = {Multi-Agent repository}, - year = {2026}, - publisher = {github.com}, - journal = {github.com repository}, - howpublished = {\url{https://github.com/Tecevik/Multi-Agent.git}}, - url = {https://github.com/Tecevik/Multi-Agent.git} +@misc{multi-agent-2026, + author = {Tecevik and HammonDDDDD and Daredevil5223}, + title = {Multi-Agent repository}, + year = {2026}, + howpublished = {\url{https://github.com/Tecevik/Multi-Agent}}, + url = {https://github.com/Tecevik/Multi-Agent} } ``` - ---- \ No newline at end of file From 62e96a8fd135a9a747dbab0b967c0a31fb80a1d7 Mon Sep 17 00:00:00 2001 From: "copilot-swe-agent[bot]" <198982749+Copilot@users.noreply.github.com> Date: Sun, 5 Apr 2026 16:46:46 +0000 Subject: [PATCH 2/4] docs: translate remaining markdown files and make README more vivid Agent-Logs-Url: https://github.com/Tecevik/Multi-Agent/sessions/852c8527-324f-43e9-8b3e-8a092a5e5a15 Co-authored-by: Daredevil5223 <219683611+Daredevil5223@users.noreply.github.com> --- .github/CODE_OF_CONDUCT.md | 77 +++++++------------ .github/CONTRIBUTING.md | 60 ++++++--------- .github/ISSUE_TEMPLATE/BUG_ISSUE.md | 34 ++++---- .github/ISSUE_TEMPLATE/FEATURE_ISSUE.md | 66 +++++----------- .github/PULL_REQUEST_TEMPLATE.md | 56 ++++++-------- .github/SECURITY.md | 10 +-- README.md | 57 ++++++++------ .../analysis/async_compute_metrics.md | 6 +- osa_docs/experiments/analysis/common.md | 6 +- .../experiments/analysis/compute_metrics.md | 6 +- osa_docs/experiments/analysis/index.md | 10 +-- osa_docs/experiments/analysis/plot_metrics.md | 6 +- osa_docs/experiments/analysis/promts.md | 6 +- .../experiments/analysis/quality_metrics.md | 6 +- osa_docs/experiments/index.md | 11 +-- .../runners/async_run_full_pipeline.md | 6 +- osa_docs/experiments/runners/common.md | 6 +- osa_docs/experiments/runners/index.md | 10 +-- .../experiments/runners/run_full_pipeline.md | 6 +- osa_docs/index.md | 10 +-- 20 files changed, 189 insertions(+), 266 deletions(-) diff --git a/.github/CODE_OF_CONDUCT.md b/.github/CODE_OF_CONDUCT.md index abecce4..c1dc68f 100644 --- a/.github/CODE_OF_CONDUCT.md +++ b/.github/CODE_OF_CONDUCT.md @@ -1,69 +1,46 @@ -# Contributor Covenant Code of Conduct +# Кодекс поведения сообщества -## Our Pledge +## Наше обязательство -In the interest of fostering an open and welcoming environment, we as -contributors and maintainers pledge to make participation in our project and -our community a harassment-free experience for everyone, regardless of age, body -size, disability, ethnicity, sex characteristics, gender identity and expression, -level of experience, education, socio-economic status, nationality, personal -appearance, race, religion, or sexual identity and orientation. +Мы, участники и сопровождающие проекта, стремимся поддерживать открытое и дружелюбное сообщество. Для каждого участие в проекте должно быть безопасным и уважительным вне зависимости от возраста, внешности, инвалидности, этнической принадлежности, гендерной идентичности, уровня опыта, образования, социального статуса, национальности, расы, религии и сексуальной ориентации. -## Our Standards +## Нормы поведения -Examples of behavior that contributes to creating a positive environment -include: +Мы приветствуем: -* Using welcoming and inclusive language -* Being respectful of differing viewpoints and experiences -* Gracefully accepting constructive criticism -* Focusing on what is best for the community -* Showing empathy towards other community members +- уважительную и инклюзивную коммуникацию; +- внимательное отношение к разным мнениям и опыту; +- спокойное принятие конструктивной критики; +- фокус на пользе для сообщества; +- эмпатию и взаимную поддержку. -Examples of unacceptable behavior by participants include: +Недопустимо: -* The use of sexualized language or imagery and unwelcome sexual attention or - advances -* Trolling, insulting/derogatory comments, and personal or political attacks -* Public or private harassment -* Publishing others' private information, such as a physical or electronic - address, without explicit permission -* Other conduct which could reasonably be considered inappropriate in a - professional setting +- сексуализированные высказывания и нежелательное внимание; +- троллинг, оскорбления, уничижительные комментарии, личные или политические атаки; +- публичные или приватные формы преследования; +- публикация личной информации других людей без явного согласия; +- любое поведение, которое разумно считается неприемлемым в профессиональной среде. -## Our Responsibilities +## Ответственность сопровождающих -Project maintainers are responsible for clarifying the standards of acceptable -behavior and are expected to take appropriate and fair corrective action in -response to any instances of unacceptable behavior. +Сопровождающие проекта отвечают за разъяснение стандартов поведения и вправе предпринимать справедливые корректирующие меры в ответ на нарушения. -Project maintainers have the right and responsibility to remove, edit, or -reject comments, commits, code, wiki edits, issues, and other contributions -that are not aligned to this Code of Conduct, or to ban temporarily or -permanently any contributor for other behaviors that they deem inappropriate, -threatening, offensive, or harmful. +Они могут удалять, редактировать или отклонять комментарии, коммиты, код, правки в wiki, issues и другие вклады, не соответствующие данному Кодексу поведения, а также временно или постоянно ограничивать участие нарушителей. -## Scope +## Область действия -This Code of Conduct applies within all project spaces, and it also applies when -an individual is representing the project or its community in public spaces. -Examples of representing a project or community include using an official -project e-mail address, posting via an official social media account, or acting -as an appointed representative at an online or offline event. Representation of -a project may be further defined and clarified by project maintainers. +Кодекс действует во всех пространствах проекта, а также в публичных ситуациях, где участник представляет проект или сообщество (например, при использовании официальной почты, аккаунтов в соцсетях или во время онлайн/оффлайн-мероприятий). -## Enforcement +## Применение -Project maintainers who do not follow or enforce the Code of Conduct in good -faith may face temporary or permanent repercussions as determined by other -members of the project's leadership. +Если сопровождающий не следует этому Кодексу поведения или применяет его недобросовестно, к нему также могут быть применены меры со стороны руководства проекта. -## Attribution +## Источник -This Code of Conduct is adapted from the [Contributor Covenant][homepage], version 1.4, -available at https://www.contributor-covenant.org/version/1/4/code-of-conduct.html +Документ адаптирован из [Contributor Covenant][homepage], версия 1.4: +https://www.contributor-covenant.org/version/1/4/code-of-conduct.html [homepage]: https://www.contributor-covenant.org -For answers to common questions about this code of conduct, see -https://www.contributor-covenant.org/faq +Ответы на частые вопросы: https://www.contributor-covenant.org/faq diff --git a/.github/CONTRIBUTING.md b/.github/CONTRIBUTING.md index e4570b1..d702e0b 100644 --- a/.github/CONTRIBUTING.md +++ b/.github/CONTRIBUTING.md @@ -1,68 +1,54 @@ -# Contributing to Multi-Agent +# Вклад в Multi-Agent -We welcome you to [check the existing issues](https://github.com/Tecevik/Multi-Agent/issues) for bugs or enhancements to work on. -If you have an idea for an extension to Multi-Agent, please [file a new issue](https://github.com/Tecevik/Multi-Agent/issues/new) so we can discuss it. +Будем рады вашему участию в развитии проекта! -Make sure to familiarize yourself with the project layout before making any major contributions. +- Посмотрите [открытые issues](https://github.com/Tecevik/Multi-Agent/issues), где можно помочь с багами и улучшениями. +- Если у вас есть идея, создайте [новый issue](https://github.com/Tecevik/Multi-Agent/issues/new), чтобы обсудить её до реализации. -## How to contribute +Перед крупными изменениями рекомендуем ознакомиться со структурой проекта. -1. Fork the [project repository](https://github.com/Tecevik/Multi-Agent/): click on the 'Fork' button near the top of the page. This creates a copy of the code under your account on the GitHub server. +## Как внести вклад -2. Clone this copy to your local disk: +1. Сделайте форк репозитория. +2. Клонируйте форк локально: ```bash git clone git@github.com:YourUsername/Multi-Agent.git ``` -3. Create a branch to hold your changes: +3. Создайте отдельную ветку: ```bash git checkout -b my-contribution ``` -4. Make sure your local environment is correctly set up for development and that all required project dependencies are installed. - -5. Start making changes on your newly created branch, remembering to - never work on the ``master`` branch! Work on this copy on your - computer using Git to do the version control. - -6. To check that your changes haven’t broken existing tests and that new tests pass, run the tests. - -7. When you're done editing and local testing, run: +4. Убедитесь, что локальное окружение настроено, а зависимости установлены. +5. Вносите изменения только в своей ветке (не работайте напрямую в `master/main`). +6. Прогоните локальные проверки и убедитесь, что ничего не сломано. +7. Сохраните изменения: ```bash git add modified_files git commit ``` - to record your changes in Git, then push them to GitHub with: +8. Отправьте ветку в свой форк: ```bash git push -u origin my-contribution ``` -Finally, go to the web page of your fork of the Multi-Agent repo, and click -'Pull Request' (PR) to send your changes to the maintainers for review. - -When creating your PR, please make sure to enable the "Allow edits from maintainers" option (known as maintainer_can_modify). -This allows the maintainers to make minor changes or improvements to your PR branch if necessary during the review process. - -(If it looks confusing to you, then look up the [Git -documentation](http://git-scm.com/documentation) on the web.) - -## Before submitting your pull request - -Before you submit a pull request for your contribution, please work -through this checklist to make sure that you have done everything -necessary so we can efficiently review and accept your changes. +9. Откройте Pull Request из форка в основной репозиторий. -If your contribution changes Multi-Agent in any way: +При создании PR включите опцию **Allow edits from maintainers** (`maintainer_can_modify`), чтобы сопровождающие могли вносить небольшие правки в вашу ветку во время ревью. -If your contribution involves any code changes: +## Перед отправкой Pull Request -- Make sure that your code is properly commented with [docstrings](https://peps.python.org/pep-0257/) and comments explaining your rationale behind non-obvious coding practices. +Если ваш вклад затрагивает код: +- добавьте понятные docstring/комментарии там, где логика неочевидна; +- убедитесь, что изменения отражены в документации (если требуется); +- убедитесь, что локальные проверки пройдены. -## Acknowledgements +## Благодарности -This document guide is based at well-written contributung guide of [TPOT](https://github.com/EpistasisLab/tpot) and [FEDOT](https://github.com/aimclub/FEDOT) frameworks. +Этот гайд вдохновлён практиками проектов [TPOT](https://github.com/EpistasisLab/tpot) и [FEDOT](https://github.com/aimclub/FEDOT). diff --git a/.github/ISSUE_TEMPLATE/BUG_ISSUE.md b/.github/ISSUE_TEMPLATE/BUG_ISSUE.md index 8c1ca71..941b207 100644 --- a/.github/ISSUE_TEMPLATE/BUG_ISSUE.md +++ b/.github/ISSUE_TEMPLATE/BUG_ISSUE.md @@ -1,32 +1,28 @@ --- -name: Bug report -about: Is something not working as expected? +name: Сообщение о баге +about: Что-то работает не так, как ожидалось? title: "[Bug]: " labels: bug assignees: '' --- -Hi! Thank you for taking the time to report a bug with Multi-Agent. +Спасибо, что нашли время сообщить о проблеме в Multi-Agent! -Additionally, please note that this platform is meant for bugs in Multi-Agent only. -Issues regarding dependencies and libraries should be reported in their respective repositories. +Пожалуйста, используйте этот шаблон только для ошибок самого проекта Multi-Agent. +Проблемы зависимостей и сторонних библиотек лучше создавать в их репозиториях. - +## Ожидаемое поведение + -## Expected Behavior - +## Текущее поведение + -## Current Behavior - +## Возможное решение + -## Possible Solution - - +## Шаги для воспроизведения + -## Steps to Reproduce - - -## Context [OPTIONAL] - - +## Контекст [необязательно] + diff --git a/.github/ISSUE_TEMPLATE/FEATURE_ISSUE.md b/.github/ISSUE_TEMPLATE/FEATURE_ISSUE.md index 46146c6..982692b 100644 --- a/.github/ISSUE_TEMPLATE/FEATURE_ISSUE.md +++ b/.github/ISSUE_TEMPLATE/FEATURE_ISSUE.md @@ -1,68 +1,44 @@ --- -name: Feature request -about: Want us to add any features to Multi-Agent? +name: Запрос функциональности +about: Хотите предложить новую возможность для Multi-Agent? title: 'enh: ' labels: enhancement assignees: '' --- - +Спасибо за идею по развитию Multi-Agent! Постарайтесь описать предложение как можно конкретнее. -## Summary +## Краткое описание - + -## Motivation +## Мотивация - + -## Guide-level explanation +## Объяснение на пользовательском уровне -## Reference-level explanation +## Техническое объяснение -## Drawbacks +## Недостатки - + -## Unresolved Questions +## Открытые вопросы - + diff --git a/.github/PULL_REQUEST_TEMPLATE.md b/.github/PULL_REQUEST_TEMPLATE.md index b230f67..6828527 100644 --- a/.github/PULL_REQUEST_TEMPLATE.md +++ b/.github/PULL_REQUEST_TEMPLATE.md @@ -1,53 +1,47 @@ - - - - - - + + + + + + --- -## Checklist +## Чеклист -Please check all that apply (`x` inside `[ ]`): +Пожалуйста, отметьте всё, что подходит (`x` внутри `[ ]`): -- [ ] I've performed a self-review of my code -- [ ] I've run linters and tests locally before submission -- [ ] I've added tests (if it's a bug, feature or enhancement) -- [ ] I've adjusted the documentation (if it's a feature or enhancement) +- [ ] Я самостоятельно проверил(а) свои изменения +- [ ] Я запустил(а) линтеры и тесты локально перед отправкой +- [ ] Я добавил(а) тесты (если это багфикс, фича или улучшение) +- [ ] Я обновил(а) документацию (если это фича или улучшение) -## Summary +## Краткое описание -## Context +## Контекст -## Additional Notes +## Дополнительные заметки -Add any additional context for reviewers (questions, implementation details, suggestions): +Добавьте любой дополнительный контекст для ревьюеров (вопросы, детали реализации, предложения): diff --git a/.github/SECURITY.md b/.github/SECURITY.md index 3d11fe0..038172e 100644 --- a/.github/SECURITY.md +++ b/.github/SECURITY.md @@ -1,8 +1,6 @@ - -# Reporting Security Issues +# Сообщение об уязвимостях -Our team take security bugs seriously. We appreciate your efforts to responsibly disclose your -findings, and will make every effort to acknowledge your contributions. +Мы серьёзно относимся к вопросам безопасности и благодарим за ответственное раскрытие уязвимостей. -To report a security issue, please use the GitHub Security Advisory -["Report a Vulnerability"](https://github.com/Tecevik/Multi-Agent/security/advisories/new) tab. +Чтобы сообщить о проблеме безопасности, используйте вкладку GitHub Security Advisory: +[**Report a Vulnerability**](https://github.com/Tecevik/Multi-Agent/security/advisories/new). diff --git a/README.md b/README.md index da33abe..c6a506e 100644 --- a/README.md +++ b/README.md @@ -1,35 +1,39 @@ # Multi-Agent +
+ [![OSA-improved](https://img.shields.io/badge/improved%20by-OSA-yellow)](https://github.com/aimclub/OSA) -Проект для экспериментов с мультиагентными LLM-системами, которые автоматически формируют спецификации, use case’ы и пользовательские истории по заданным задачам. +**Исследуем, как команда AI-агентов превращает задачу в качественные проектные артефакты.** + +_Проект для живых, воспроизводимых экспериментов и презентации результатов на Конгрессе молодых учёных ИТМО._ + +
--- -## Содержание +## 🚀 О проекте -- [О проекте](#о-проекте) -- [Возможности](#возможности) -- [Быстрый старт](#быстрый-старт) -- [Авторы](#авторы) -- [Как внести вклад](#как-внести-вклад) -- [Цитирование](#цитирование) +**Multi-Agent** — это экспериментальная платформа, где несколько LLM-агентов совместно: +- формируют спецификацию проекта; +- строят use case’ы и user story; +- проходят оценку качества; +- сравниваются между собой в разных режимах работы. ---- +Итог — не просто «ответ модели», а прозрачный конвейер, который удобно анализировать, сравнивать и показывать на постере. -## О проекте +--- -**Multi-Agent** помогает запускать воспроизводимые эксперименты с разными стратегиями взаимодействия AI-агентов и сравнивать качество их результатов. +## ✨ Почему это интересно -Репозиторий включает: -- генерацию проектных артефактов из пользовательских задач; -- оценку качества (правила + LLM-as-a-judge); -- сбор артефактов экспериментов, времени и стоимости запусков; -- инструменты анализа и визуализации метрик. +- **Научная воспроизводимость:** одинаковые пайплайны для честного сравнения режимов. +- **Практическая польза:** быстрый черновик проектной документации из текстовой постановки задачи. +- **Измеримое качество:** rule-based метрики + LLM-as-a-judge. +- **Наглядные результаты:** артефакты, таблицы, графики и агрегированные оценки. --- -## Возможности +## 🧩 Возможности 1. **Генерация спецификаций мультиагентной системой** Автоматическое создание детальных спецификаций в разных экспериментальных режимах. @@ -44,7 +48,7 @@ --- -## Быстрый старт +## 🛠 Быстрый старт ```sh git clone https://github.com/Tecevik/Multi-Agent @@ -53,7 +57,7 @@ cd Multi-Agent --- -## Авторы +## 👥 Авторы - [Tecevik](https://github.com/Tecevik) - [HammonDDDDD](https://github.com/HammonDDDDD) @@ -61,16 +65,25 @@ cd Multi-Agent --- -## Как внести вклад +## 🤝 Как внести вклад - **Сообщить о проблеме:** [Issues](https://github.com/Tecevik/Multi-Agent/issues) - **Предложить изменения:** [CONTRIBUTING](https://github.com/Tecevik/Multi-Agent/tree/main/.github/CONTRIBUTING.md) --- -## Цитирование +## 📚 Дополнительная документация + +- [Обзор документации OSA](./osa_docs/index.md) +- [Модуль экспериментов](./osa_docs/experiments/index.md) +- [Модуль анализа](./osa_docs/experiments/analysis/index.md) +- [Модуль запуска экспериментов](./osa_docs/experiments/runners/index.md) + +--- + +## 📌 Цитирование -Если вы используете этот проект, пожалуйста, укажите ссылку на репозиторий и авторов. +Если вы используете проект в исследованиях или учебных работах, пожалуйста, укажите ссылку на репозиторий и авторов. ### APA diff --git a/osa_docs/experiments/analysis/async_compute_metrics.md b/osa_docs/experiments/analysis/async_compute_metrics.md index 001376f..728a9f9 100644 --- a/osa_docs/experiments/analysis/async_compute_metrics.md +++ b/osa_docs/experiments/analysis/async_compute_metrics.md @@ -1,5 +1,3 @@ -# Async Compute Metrics +# Асинхронный расчёт метрик (Async Compute Metrics) - - -::: experiments.analysis.async_compute_metrics \ No newline at end of file +::: experiments.analysis.async_compute_metrics diff --git a/osa_docs/experiments/analysis/common.md b/osa_docs/experiments/analysis/common.md index b690a23..c6dab8b 100644 --- a/osa_docs/experiments/analysis/common.md +++ b/osa_docs/experiments/analysis/common.md @@ -1,5 +1,3 @@ -# Common +# Общие компоненты (Common) - - -::: experiments.analysis.common \ No newline at end of file +::: experiments.analysis.common diff --git a/osa_docs/experiments/analysis/compute_metrics.md b/osa_docs/experiments/analysis/compute_metrics.md index 8405be7..c5b2d6c 100644 --- a/osa_docs/experiments/analysis/compute_metrics.md +++ b/osa_docs/experiments/analysis/compute_metrics.md @@ -1,5 +1,3 @@ -# Compute Metrics +# Расчёт метрик (Compute Metrics) - - -::: experiments.analysis.compute_metrics \ No newline at end of file +::: experiments.analysis.compute_metrics diff --git a/osa_docs/experiments/analysis/index.md b/osa_docs/experiments/analysis/index.md index 624d108..34b7ee8 100644 --- a/osa_docs/experiments/analysis/index.md +++ b/osa_docs/experiments/analysis/index.md @@ -1,7 +1,7 @@ -# Analysis +# Анализ (Analysis) -## Overview -The Analysis module is the core evaluation component within the Multi-Agent Experiments framework. It provides a comprehensive suite of tools designed to automatically assess the quality of artifactssuch as specifications, use cases, and user storiesgenerated by different multi-agent system configurations during experiments. The module operates on collected experiment results, applying both rule-based algorithms and LLM-as-a-judge evaluation to produce quantitative and qualitative metrics. +## Обзор +Модуль `Analysis` — ключевой компонент оценки во фреймворке Multi-Agent Experiments. Он предоставляет набор инструментов для автоматической проверки качества артефактов (спецификации, use case’ы и user story), сгенерированных разными конфигурациями мультиагентной системы. Модуль работает поверх собранных результатов экспериментов и применяет как rule-based алгоритмы, так и подход LLM-as-a-judge для получения количественных и качественных метрик. -## Purpose -The purpose of this module is to deliver a standardized, automated pipeline for evaluating the output quality of multi-agent workflows. It systematically processes the results from various experimental modes, calculating a wide range of metrics that measure completeness, coverage, detail, traceability, and other quality dimensions of the generated artifacts. The module supports both synchronous and asynchronous evaluation pipelines to handle large-scale experiments efficiently. It further aggregates the results, provides summary statistics, and generates visualizations and tables to facilitate the quantitative comparison of different agent strategies' performance and output quality. Its design ensures reproducible and consistent quality assessment across all experiment runs. \ No newline at end of file +## Назначение +Задача модуля — дать стандартизированный и автоматизированный пайплайн оценки качества выходов мультиагентных workflow. Он системно обрабатывает результаты из разных режимов, вычисляет широкий спектр метрик (полнота, покрытие, детализация, трассируемость и др.), поддерживает синхронные и асинхронные сценарии для больших объёмов данных, агрегирует итоги и строит визуализации/таблицы для количественного сравнения стратегий. diff --git a/osa_docs/experiments/analysis/plot_metrics.md b/osa_docs/experiments/analysis/plot_metrics.md index acda2f0..1d1f2b5 100644 --- a/osa_docs/experiments/analysis/plot_metrics.md +++ b/osa_docs/experiments/analysis/plot_metrics.md @@ -1,5 +1,3 @@ -# Lot Metrics +# Визуализация метрик (Plot Metrics) - - -::: experiments.analysis.plot_metrics \ No newline at end of file +::: experiments.analysis.plot_metrics diff --git a/osa_docs/experiments/analysis/promts.md b/osa_docs/experiments/analysis/promts.md index 912173e..15a5a60 100644 --- a/osa_docs/experiments/analysis/promts.md +++ b/osa_docs/experiments/analysis/promts.md @@ -1,5 +1,3 @@ -# Romts +# Промпты (Promts) - - -::: experiments.analysis.promts \ No newline at end of file +::: experiments.analysis.promts diff --git a/osa_docs/experiments/analysis/quality_metrics.md b/osa_docs/experiments/analysis/quality_metrics.md index a16b4b8..f0fd958 100644 --- a/osa_docs/experiments/analysis/quality_metrics.md +++ b/osa_docs/experiments/analysis/quality_metrics.md @@ -1,5 +1,3 @@ -# Quality Metrics +# Метрики качества (Quality Metrics) - - -::: experiments.analysis.quality_metrics \ No newline at end of file +::: experiments.analysis.quality_metrics diff --git a/osa_docs/experiments/index.md b/osa_docs/experiments/index.md index 311f32f..f985a93 100644 --- a/osa_docs/experiments/index.md +++ b/osa_docs/experiments/index.md @@ -1,6 +1,7 @@ -# Experiments -## Overview -The Experiments module is the central orchestration and evaluation component within the Multi-Agent Experiments framework. It integrates the automated execution of multi-agent workflows with a comprehensive, subsequent analysis pipeline. This module handles the complete lifecycle from running tasks under different experimental configurations to systematically assessing the quality of all generated artifacts. +# Эксперименты -## Purpose -The purpose of this module is to provide a unified, automated system for conducting reproducible multi-agent experiments. It operationalizes the execution of various agent strategies on defined tasks, collecting runtime data and outputs. Subsequently, it automatically evaluates the quality of these outputssuch as specifications and user storiesusing standardized metrics. Its design enables the scalable comparison of different multi-agent system performances and their resultant artifact quality through quantitative results and aggregated summaries. \ No newline at end of file +## Обзор +Модуль `Experiments` — центральный компонент оркестрации и оценки во фреймворке Multi-Agent Experiments. Он объединяет автоматический запуск мультиагентных workflow с полноценным этапом последующего анализа. Модуль покрывает весь цикл: от выполнения задач в разных режимах до системной оценки качества сгенерированных артефактов. + +## Назначение +Задача модуля — предоставить единый автоматизированный контур для воспроизводимых мультиагентных экспериментов. Он запускает различные агентные стратегии на заданных задачах, собирает runtime-данные и результаты, а затем автоматически оценивает качество этих результатов (например, спецификаций и user story) по стандартизированным метрикам. Такой подход позволяет масштабно сравнивать производительность стратегий и качество артефактов на основе количественных показателей и агрегированных сводок. diff --git a/osa_docs/experiments/runners/async_run_full_pipeline.md b/osa_docs/experiments/runners/async_run_full_pipeline.md index 25c512e..00afeb9 100644 --- a/osa_docs/experiments/runners/async_run_full_pipeline.md +++ b/osa_docs/experiments/runners/async_run_full_pipeline.md @@ -1,5 +1,3 @@ -# Async Run Full Pipeline +# Асинхронный полный запуск пайплайна (Async Run Full Pipeline) - - -::: experiments.runners.async_run_full_pipeline \ No newline at end of file +::: experiments.runners.async_run_full_pipeline diff --git a/osa_docs/experiments/runners/common.md b/osa_docs/experiments/runners/common.md index 403b82e..8a7db78 100644 --- a/osa_docs/experiments/runners/common.md +++ b/osa_docs/experiments/runners/common.md @@ -1,5 +1,3 @@ -# Common +# Общие компоненты (Common) - - -::: experiments.runners.common \ No newline at end of file +::: experiments.runners.common diff --git a/osa_docs/experiments/runners/index.md b/osa_docs/experiments/runners/index.md index 6128558..6b4e45e 100644 --- a/osa_docs/experiments/runners/index.md +++ b/osa_docs/experiments/runners/index.md @@ -1,7 +1,7 @@ -# Runners +# Запуск экспериментов (Runners) -## Overview -This module serves as the execution engine for running multi-agent experimental pipelines. It provides the functionality to load tasks, invoke processing graphs, and handle both synchronous and asynchronous execution flows. The module includes mechanisms for data extraction, serialization, and cost estimation during pipeline runs. +## Обзор +Этот модуль выступает движком исполнения мультиагентных экспериментальных пайплайнов. Он загружает задачи, запускает графы обработки и поддерживает как синхронные, так и асинхронные сценарии выполнения. В модуле также реализованы механизмы извлечения данных, сериализации результатов и оценки затрат во время прогона. -## Purpose -The purpose of this module is to operationalize the execution of multi-agent workflows by running tasks under various experimental configurations. It enables batch processing of tasks with concurrency control, collects runtime metrics such as token usage and costs, and ensures output persistence, thereby supporting the systematic and scalable evaluation of different agent strategies. \ No newline at end of file +## Назначение +Назначение модуля — операционализировать запуск мультиагентных workflow в различных экспериментальных конфигурациях. Он поддерживает пакетную обработку задач с контролем параллелизма, собирает runtime-метрики (например, токены и стоимость), сохраняет результаты и тем самым обеспечивает системную и масштабируемую оценку агентных стратегий. diff --git a/osa_docs/experiments/runners/run_full_pipeline.md b/osa_docs/experiments/runners/run_full_pipeline.md index 7490c88..bb3c7b0 100644 --- a/osa_docs/experiments/runners/run_full_pipeline.md +++ b/osa_docs/experiments/runners/run_full_pipeline.md @@ -1,5 +1,3 @@ -# Run Full Pipeline +# Полный запуск пайплайна (Run Full Pipeline) - - -::: experiments.runners.run_full_pipeline \ No newline at end of file +::: experiments.runners.run_full_pipeline diff --git a/osa_docs/index.md b/osa_docs/index.md index a318f1d..c3f3afd 100644 --- a/osa_docs/index.md +++ b/osa_docs/index.md @@ -1,7 +1,7 @@ -# Multi-Agent Experiments +# Документация Multi-Agent Experiments -## Overview -This project is a framework for conducting and evaluating multi-agent system experiments. It provides automated pipelines to run agent-based tasks under various experimental modes and subsequently assess the quality of the generated outputs. The system features both synchronous and asynchronous executors for running experiment pipelines and a comprehensive, modular analysis suite for calculating rule-based and LLM-judged metrics. +## Обзор +Этот проект представляет собой фреймворк для проведения и оценки мультиагентных экспериментов. Он включает автоматизированные пайплайны запуска задач в разных экспериментальных режимах и последующий анализ качества полученных результатов. В системе доступны синхронные и асинхронные исполнители, а также модульный набор инструментов для расчёта rule-based и LLM-метрик. -## Purpose -The purpose of this project is to facilitate large-scale, reproducible experimentation with multi-agent workflows. It is designed to systematically test different agent configurations or "modes" on a set of tasks, collect detailed runtime artifacts (including token usage and execution time), and automatically evaluate the quality of the resulting specifications, use cases, and user stories. The final aim is to quantitatively compare the performance and output quality of different multi-agent strategies. \ No newline at end of file +## Назначение +Цель проекта — упростить масштабные и воспроизводимые эксперименты с мультиагентными сценариями. Система позволяет системно проверять разные конфигурации агентов (режимы), собирать артефакты выполнения (включая расход токенов и время), а затем автоматически оценивать качество спецификаций, use case’ов и user story. Финальная задача — количественно сравнивать эффективность стратегий мультиагентного взаимодействия. From 4280593e6d594d0d3c3959b26c70a9cec0bd36ab Mon Sep 17 00:00:00 2001 From: "copilot-swe-agent[bot]" <198982749+Copilot@users.noreply.github.com> Date: Sun, 5 Apr 2026 16:47:20 +0000 Subject: [PATCH 3/4] docs: fix prompts heading typo in analysis docs Agent-Logs-Url: https://github.com/Tecevik/Multi-Agent/sessions/852c8527-324f-43e9-8b3e-8a092a5e5a15 Co-authored-by: Daredevil5223 <219683611+Daredevil5223@users.noreply.github.com> --- osa_docs/experiments/analysis/promts.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/osa_docs/experiments/analysis/promts.md b/osa_docs/experiments/analysis/promts.md index 15a5a60..9abed7c 100644 --- a/osa_docs/experiments/analysis/promts.md +++ b/osa_docs/experiments/analysis/promts.md @@ -1,3 +1,3 @@ -# Промпты (Promts) +# Промпты (Prompts) ::: experiments.analysis.promts From 93277ac1dbb37d8fbbac4328d7c891f0553852a7 Mon Sep 17 00:00:00 2001 From: "copilot-swe-agent[bot]" <198982749+Copilot@users.noreply.github.com> Date: Sun, 5 Apr 2026 17:39:35 +0000 Subject: [PATCH 4/4] docs: remove congress line and replace em dashes in README Agent-Logs-Url: https://github.com/Tecevik/Multi-Agent/sessions/f974d523-056c-4cb8-9609-96c74b682615 Co-authored-by: Daredevil5223 <219683611+Daredevil5223@users.noreply.github.com> --- README.md | 6 ++---- 1 file changed, 2 insertions(+), 4 deletions(-) diff --git a/README.md b/README.md index c6a506e..f68b6a6 100644 --- a/README.md +++ b/README.md @@ -6,21 +6,19 @@ **Исследуем, как команда AI-агентов превращает задачу в качественные проектные артефакты.** -_Проект для живых, воспроизводимых экспериментов и презентации результатов на Конгрессе молодых учёных ИТМО._ - --- ## 🚀 О проекте -**Multi-Agent** — это экспериментальная платформа, где несколько LLM-агентов совместно: +**Multi-Agent** - это экспериментальная платформа, где несколько LLM-агентов совместно: - формируют спецификацию проекта; - строят use case’ы и user story; - проходят оценку качества; - сравниваются между собой в разных режимах работы. -Итог — не просто «ответ модели», а прозрачный конвейер, который удобно анализировать, сравнивать и показывать на постере. +Итог - не просто «ответ модели», а прозрачный конвейер, который удобно анализировать, сравнивать и показывать на постере. ---