New Release!

Here’s a summary of the changes made to the app over the last 4 months.

A lot of work went into this release: improved C# scripting (for Triggers/Actions and Overlays), an upgraded Send Sequence system (which now fully replaces Send Input in terms of functionality), a better configuration subsystem, and much faster, more efficient Image Effects that can now downscale images for better performance.

To support the needs of the new and rapidly growing machine learning community, I also developed a separate app to make it easier to create and train Yolo models, which are fully supported by the ML Search feature. In my experience, this is much faster than preparing data manually, even though the app is still in an early alpha stage. For more information, see: Getting Started | EyeAuras Wiki.

Transition to a new UI technology

One of the main ongoing initiatives is the move to a new UI technology. This change is intended to solve current responsiveness issues in the software, such as switching between auras or creating new triggers/actions.

Although this is a slow transition and may take another 6–12 months, the expected result should bring major improvements. You can already see this in the new Import/Export and Bindings dialogs, which now use this technology. Over the coming months, more parts of the app will be replaced and rewritten one by one (Aura Tree, I’m looking at you).

What’s next?

Performance: The main focus of the next update is performance. I’ve completely redesigned the configuration system; it is currently in testing and should make app startup and overall operation much faster, especially on lower-end PCs. As mentioned above, I’ll also continue rewriting slower parts of the app, such as the Aura Tree, to improve the overall user experience.

Behavior Trees: Currently in development and testing, Behavior Trees are the next major feature to look forward to. They fundamentally change how you work with the app. They also use the new UI technology, so they are much more responsive :)

Stay tuned for updates, and thank you for your continued support and for using the software!

New features and improvements

• Send Sequence 2.0: Combines all action types into an improved input sequencing system.
• New C# Scripting engine: Now available in Triggers/Actions (alpha stage), expanding capabilities with new and improved APIs
• Bindings improvements: The Bindings editor has been rewritten for better performance and usability. It is much, much, much more responsive and flexible.
• Improved scripting with Visual Studio/Rider compatibility: Export and save your code as a C# project for more advanced development workflows.
• Import/Export dialog redesign: More responsive, more detailed, and more user-friendly. The Sync dialog is expected to be updated in one of the upcoming releases.

Performance and usability improvements

• Network messaging improvements: Infrastructure changes for better performance and reduced latency.
• Overlay UI and general UI performance: Significant changes for better performance and responsiveness.
• General performance improvements: Focused on improving overall user experience and software responsiveness.
• Aura Tree responsiveness: Interface improvements for smoother interaction with the Aura Tree.

Other improvements

• Image scaling in the Recalculate Image effect: Now supports scaling on both the X and Y axes. You can now also downscale images using effects to improve performance, and the app will still be able to calculate the correct coordinates of the detected image and click it. This works for ALL trigger types: ML, Color, and Image.
• New Image Effects: Added color range replacement and noise removal effects for better image analysis.
• ML Search improvements: Significant performance improvements and new features in ML Search. This is especially relevant for scripting, since scripts unlock the full potential of ML.

Bug fixes

• [Send Sequence/Input/Text]: Fixed a crash issue.
• [Volume Trigger]: Temporarily disabled due to conflicts.
• [Image Trigger]: Added new features for working with image templates.
• [C# Code Editor]: Performance improvements and future plans to move to the Monaco editor.
• [Bindings]: Multiple UI/UX changes for a better user experience.
• [Send Input]: Fixed issues with driver installation scripts.
• [WebUI Overlay]: Fixed rare crashes related to UI controls.
• [Bug Fix]: Fixed a window restore issue after minimizing.
• [Image/Color/Text Search]: Fixed various issues, including region selection and the FPS selection UI.
• [Overlays]: Fixed offset issues and crashes in certain scenarios.
• [Dependency Graph/Viewer]: Fixed display issues.
• [Network Message]: Fixed a crash caused by a server/client version mismatch.
• [Text Search]: Fixed a crash related to Tesseract memory access.

For more detailed information, please refer to the individual update changelogs available on the website.

Bug Fixes / Improvements

• [Send Sequence/Input/Text]: Fixed the crash "Attempt to delete something that was already deleted..."

Completely redesigned Import/Export dialogs

They’re now more responsive, more informative, easier to use, and hopefully less error-prone :)

P.S. The sync dialog is not ready yet — it will be included in a separate set of changes related to the publishing/sync system.

Новый движок скриптов C# доступен в Триггерах/Действиях - альфа

В ближайшие дни я опубликую больше информации, но в общем и целом, движок C#, который уже использовался в WebUI для использования преимуществ Blazor, был портирован и теперь он также доступен в действиях и триггерах C#. Это означает, что ТЕПЕРЬ каждая функция, которую вы могли использовать в WebUI, доступна и в триггерах/действиях, таких как:

• использование новых и улучшенных API, таких как Interface IAuraTreeScriptingApi | EyeAuras Docs, Interface IVariablesScriptingApi | EyeAuras Docs, Interface IAuraAccessor | EyeAuras Docs и т.д.
  • Гарантируется, что эти API будут совместимы в будущих версиях, я буду прилагать усилия в этом направлении. Когда мне придется внести изменения, которые нарушат совместимость, будет создан специальный слой совместимости поверх старых API, чтобы избежать нарушения кода.
  • План заключается в том, чтобы позволить скриптам внедрять набор API (например, SendInputScriptingApi), которые обеспечат легкий доступ к анализу изображений, отправке ввода и всем другим функциям, которые в настоящее время присутствуют в EyeAuras
  • API триггеров/действий/оверлеев все еще могут изменяться, так как у меня еще нет хорошего решения для слоя совместимости
• использование нескольких файлов для структурированного хранения вашего исходного кода
• ссылка на другие ауры на основе C# для доступа к реализованным там классам/методам. То есть вы можете подготовить одну ауру со всеми вспомогательными функциями и использовать ее в своих проектах
• экспорт csproj и редактирование кода в Visual Studio / JetBrains Rider
• редактирование проекта в реальном времени через Monitor. Это не так полезно, как с WebUI.

Автозавершение на данный момент отключено, я еще не решил, стоит ли сразу переходить на редактор Monaco или внести некоторые улучшения в существующий текстовый редактор. Обновлю информацию как можно скорее.

Одно из лучших нововведений в этом - теперь, когда система скриптов однородна, любое улучшение будет мгновенно отражено везде - WebUI/C# действие/триггер и Behaviour Trees.

P.S. Behaviour trees, скорее всего, будут выпущены в декабре и будут основываться на том же движке. Оставайтесь с нами, это будет очень-очень круто, я вам обещаю :)

Новый сайт документации API

Новый сайт, на котором размещена документация API для EyeAuras, теперь доступен по адресу https://docs.eyeauras.net.

Это будет особенно полезно для тех, кто использует EyeAuras в качестве платформы для скриптов. Однако Wiki остается основным источником для неразработчиков.

В настоящее время в документации отсутствует раздел демонстраций и примеров, который является неотъемлемой частью любой документации. Усилия, которые я и linqse предпримем в декабре, будут направлены на обогащение этой области. Кроме того, большинство публичных интерфейсов и классов теперь включают комментарии XML.

Если какая-либо важная информация отсутствует, пожалуйста, сообщите нам об этом.

Улучшенный механизм отчетности об ошибках

Понимание специфики того, что пошло не так, критически важно при возникновении проблем. Наш новый механизм отчетности об ошибках собирает все ошибки в рамках Действия/Триггера или всей Ауры. Эти ошибки иерархические, то есть ошибки Ауры включают все ошибки из их действий/триггеров, подобно папкам. Пользователи могут отметить ошибки как прочитанные по своему усмотрению.

Улучшение производительности - Кэширование свойств (Альфа)

Введение новой функции, направленной на значительное сокращение количества чтений/записей на диск и незначительное снижение нагрузки на процессор. Эта функция все еще находится в стадии тестирования и может быть включена в настройках в опции Кэширование свойств.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• [Триггер громкости]: Временно отключен из-за конфликтов с подсистемой.
• Безопасный режим: Улучшен механизм, который обнаруживает неправильные выходы из приложения.
• [Триггер изображения]: Добавлена функция копирования образца изображения в буфер обмена и вставки из него.
• [Редактор кода C#]: Улучшения производительности делают редактор более отзывчивым. Мы планируем в конечном итоге перейти на редактор Monaco.

CVATAAT Improvements (also known as YoloEase)

A collection of fixes and quality-of-life improvements. The biggest change is support for working with multiple projects at the same time — you can now save, load, and share configuration files, and train multiple models.

Oh, and yes — I renamed it to better reflect what the tool actually does.

Fixes and improvements

• Improved startup time, especially noticeable if you use scripts
• Added logging configuration options to minimize performance impact
• Multiple UX/UI improvements in the binding editor

Улучшения привязок

Привязки | EyeAuras Wiki - это механизм, который позволяет связывать между собой несколько свойств действий/триггеров. Например, получить координаты найденного изображения из Поиск изображений и переместить туда мышь через Отправить последовательность

Я полностью переписал Редактор привязок, где вы настраиваете все это. Теперь он работает быстрее, отзывчивее и с ним проще работать.

Улучшения CVATAAT

МНОГО различных улучшений и исправлений - производительность, UX, ошибки. Перечисление всех кажется пустой тратой времени. Попробуйте сами - Начало работы | EyeAuras Wiki

Я знаю, что есть некоторые успешные случаи использования, поэтому технология работает, и обучение через CVATAAT определенно проще, чем делать все вручную.

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• Исправлена утечка памяти, которая происходила при некоторых обстоятельствах, когда использовались эффекты изображений

Отправка последовательности 2.0

Добро пожаловать в улучшенное действие Отправка последовательности, которое теперь объединяет ВСЕ типы действий - оно может отправлять клики, вводить текст, двигать мышь и кликать мышью (включая поддержку ссылок и привязок).

О чем весь шум?

Примерно 1,5 года было 3 разных типа действий Отправки - Отправка ввода, Отправка текста и Отправка последовательности. Они все покрывали свой специфический набор функций, Отправка ввода была больше сосредоточена на кликах где-то (местоположение изображения, привязки и т.д.), Отправка текста имела несколько способов ввода текста (по символам, буфер обмена и т.д.). Отправка последовательности всегда сосредоточена на "воспроизведении" длинных последовательностей ввода, но без точности Отправки ввода. Теперь это в прошлом, поскольку новая переработанная версия имеет те же возможности, что и все типы Отправки, и добавить в нее новые функции, новые "блоки" с любым типом функциональности - например, выбрать координату, выполнить некоторые математические операции и использовать их для перемещения мыши.

Какие преимущества?

Основное преимущество заключается в том, что теперь можно легко создавать последовательности ввода - вам не нужно чередовать Отправку последовательностей с Отправкой ввода, если вы хотите кликнуть по какому-то изображению, например. Также я собираюсь сосредоточиться на улучшении Отправки последовательности в ближайшем будущем, делая ее более гибкой, а не тратя время на 3 разных типа Отправки.

Что делать со "старыми" Отправкой ввода и Отправкой текста?

С этого момента Отправка текста и Отправка ввода находятся на поддержке жизни - я не буду добавлять туда новые опции и вообще их не трогать. В какой-то момент в будущем они будут полностью устаревшими и автоматически преобразованы в Отправку последовательности.

Вы можете выполнить преобразование вручную в любой момент, нажав кнопку "Преобразовать в Отправку последовательности", отображаемую в верхней части каждого действия Отправки. Пока преобразование на самом деле не удаляет исходное действие, давая вам возможность проверить, что новое действие действительно делает то, что вы от него ожидаете.

Улучшение поиска изображений/цветов/текста - режим без рамок

Как говорится в заголовке, я добавил новую опцию ко всем этим триггерам, которая позволяет захватывать любое окно без его рамки. Более того, все действия, которые работают путем связывания/привязки позиции найденного изображения, учтут отсутствие рамки и соответствующим образом скорректируют координаты.

Это означает, что отслеживание объекта в приложениях, которые не находятся в полноэкранном режиме, теперь проще, чем когда-либо.

Улучшение поиска цвета

Добавлена новая опция, которая позволяет искать специфические "блоки" пикселей определенного цвета. Есть ограниченный набор блоков (например, 2x2, 4x4 и т.д.), и код оптимизирован для лучшего общего использования более производительным способом. Оптимальными (по моим тестам) являются блоки 4x4. Имейте в виду, что под капотом этот механизм очень похож на то, как работает поиск изображений, поэтому в некоторых сценариях может быть лучше просто придерживаться его. Но в других сценариях этот новый режим в поиске цвета будет сиять. И о, конечно, вы можете настроить привязки/ссылки на найденные блоки.

Посмотрите видео здесь

Улучшения CVATAAT

Добавлена довольно подробная документация, которая должна ответить на большинство ваших вопросов относительно конфигурации. Инструмент работает и может быть действительно полезным даже со своей текущей функциональностью.

Добавлена поддержка обучения Google Colab

Изначально инструмент позволял обучать модели только локально, на вашем собственном ПК, используя ваше собственное оборудование. Но у этого есть свои ограничения - у вас должно быть это оборудование. Обучение в облаке позволяет использовать корпоративные графические процессоры (например, A100) для более быстрого и эффективного обучения в некоторых случаях. У него есть свои ограничения, но может быть полезным во многих-многих случаях. Пока поддержка ограничена (например, пока нет автоаннотаций для этого режима), но я буду работать над ее расширением.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• [Список изменений] Исправлена ошибка, которая приводила к неправильному отображению списков изменений - текст был "смешан" вместе
• [Смещение, Якоря] Исправлена ошибка, которая приводила к сбоям при корректировке Смещения/Якорей в поиске изображений/текста/цвета в некоторых случаях

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [Оверлеи] Исправлено функционирование смещений и исправлен сбой, который происходил в некоторых случаях, когда пользователь пытался обновить якоря/смещения
• [Граф/Просмотрщик зависимостей] Исправлена проблема, которая приводила к некорректному отображению графа (отсутствовал JS-файл)

Улучшение возможностей вашего бота с помощью анализа изображений на основе машинного обучения

Машинное обучение, особенно обнаружение объектов, классификация и сегментация, может революционизировать ботов в играх. Представьте себе ботов, которые могут точно определять предметы в игре, врагов и местность, или классифицировать поведение игроков, что приводит к более эффективным и умным решениям в игре. Однако погружение в этот мир может быть сложным. Проблемы? Часто сложно начать, нужно просеять тонну информации, и настройка может быть сложной.

Встречайте инструмент автоматической аннотации CVAT - ваш новый основной инструмент для обучения моделей ML

CVATAAT здесь, чтобы упростить этот путь. Созданный для новичков в ботах, он помогает вам легко подготовить и обучить ваши игровые данные. Это бесплатно, работает на вашем компьютере и сфокусировано на игровых потребностях. Просто подайте ему свои игровые изображения, пометьте их, и CVATAAT делает тяжелую работу, быстро обучая и предоставляя ваши оптимизированные модели, которые вы затем можете использовать с EyeAuras, чтобы получить полную мощь ML-Search trigger.

Это все еще ранняя альфа, поэтому что-то может пойти не так, пожалуйста, сообщайте о проблемах, и вместе мы сможем сделать процесс подготовки моделей как можно проще. Я действительно думаю, что это путь в будущее, с этим инструментом я хотел бы убрать некоторые обломки с дороги.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• [SendSequence] Добавлена поддержка колесика мыши вверх/вниз, доступна только в SendSequence на данный момент
• [Dependencies Viewer/Graph] Теперь использует другой способ отображения аур/зависимостей. Теперь должно быть гораздо более отзывчивым.

Bug Fixes / Improvements

• [Network Message] Fixed a crash caused by a server/client version mismatch