Два новых эффекта изображения

Бинарный порог

Очень полезен для анализа, так как позволяет преобразовать изображение в черно-белое. Это значительно упрощает дальнейшие проверки.

Например, вместо красной полоски HP с множеством оттенков можно получить черно-белое изображение, где белый цвет обозначает заполненную часть полосы.

Квантование цвета

Еще один способ упростить изображение: он уменьшает общее количество цветов в изображении. Сам по себе этот эффект чаще всего бесполезен, но может хорошо работать в сочетании с другими эффектами.

Исправления и улучшения

• В ExecuteScriptNode свойство IsMaximized теперь хранится в самом узле
• [MLSearch] Если модель имеет неверный формат, теперь будет показана понятная ошибка
• [UI] Если отключен Check for Updates, приложение больше не будет выполнять эту проверку при запуске
• [ImageSearch] Load from preview pane теперь не копирует отладочные данные

Sleep() rework

Awaiting for something is a mandatory part of any automation. EyeAuras constantly does that - timeouts between keypresses, ensuring that capture FPS is consistent, user-driven timeouts in scripts. Default instruments provided by operating system and default methods (like Thread.Sleep, Task.Delay and few others) are not accurate enough, so at some point I had to implement a combination of methods which ensured better accuracy. This mechanism allowed sub-millisecond awaits and worked for the last 5-6 months. Unfortunately, accuracy comes with a cost and for most operations it not really needed.

That is why for the next few months we'll be trying a 3rd version of Sleep(), which is expected to meet middle-ground between accuracy and performance cost. On average, it is expected that it will reach accuracy of up 0.5 - 5ms.

This means that if you are setting EA to wait for 1ms, the effective wait time will be in range 1 - 1.5ms, which is more than enough for most use cases. For larger timeouts, such as 100ms, it may vary in range of 100 - 105ms.

To counterweight loss of accuracy, you'll get much better performance. We'll see how it goes in real world scenarios. As a part of development for this feature, I've added integration layer which will allow you to use whatever Sleep() mechanism you see fit for your scenarios. Will post information on this later.

Variables editor rework

• Editor is now the same for Blackboard and Variables
• It is now possible to edit values directly (not all of them, only primitive ones for starters)
• You can now add new variables - should make things a bit easier to setup
• Prepared the mechanism which will generated boiler-plate code for C# scripts and will automatically generated Properties which would allow you to get/set. Will be published a bit later.

Bugfixes/Improvements

Made is to IsMaximized in ExecuteScriptNode is stored in the node itself

• [BehaviorTrees] ExecuteScript node now remembers whether it was Maximized or not
• [Scripting] Added Listen() to ScriptVariable - you can now use it instead of WatchCurrentValue
• [Scripting] Fixed a problem with folders not being found via relative path in some cases
• [Scripting] Fixed a problem with code rewriter in some cases generating uncompilable code

Исправления и улучшения

• [BehaviorTrees] Исправлена проблема, из-за которой в некоторых случаях выделение сбрасывалось некорректно #EA-589 v7464 by dutiful6005
• [BehaviorTrees] Исправлена проблема, из-за которой в некоторых случаях содержимое редактора узлов обновлялось некорректно

Улучшение времени запуска — поначалу возможны проблемы

Это первое из 5 запланированных исправлений, направленных на повышение производительности и ускорение запуска в Q4.

Как и всегда, такие изменения связаны с повышенным риском, поэтому, если заметите что-то странное, пожалуйста, сообщите об этом.

Разница во времени запуска не должна быть слишком заметной — примерно около -10%, то есть EyeAuras будет запускаться всего на 1–2 секунды быстрее, чем раньше. Но самое главное в том, что это изменение открывает дополнительные возможности для дальнейшего ускорения, которыми я планирую воспользоваться в ближайшее время.

Исправления и улучшения

• [UI] Немного усилены меры безопасности: очистка последних действий теперь должна работать надежнее, а также будет очищаться всё, что связано с родительской папкой, из которой запущен EyeAuras
• [BehaviorTrees] При ручном запуске узла (из редактора) его выполнение будет автоматически отменяться, когда главное окно выводится на передний план — как и у аур
• [UI] Несколько небольших исправлений ошибок в новом селекторе аур

Прототип нового редактора ссылок

Выпущена новая версия редактора, который открывается каждый раз, когда вы настраиваете связь с чем-либо (AuraIsActive, Enabling Conditions и т. д.).

Новый вариант намного гибче, поэтому вносить изменения в него будет проще.
Когда текущая версия немного стабилизируется, я добавлю Recent, Favourites и ещё несколько улучшений, которые уже запланированы.

Если заметите проблемы или у вас будут идеи, что ещё стоит улучшить — пожалуйста, сообщайте. Первая реализация может быть сыроватой, но, надеюсь, довольно быстро превзойдёт старый вариант.

Исправления и улучшения

• [BehaviorTrees] Исправлена проблема с потерей фокуса при переключении между BT — из-за этого операция Paste работала некорректно #EA-592 v7458 by oddessax
• [UI] Исправлена проблема, из-за которой copy-paste не работал в корневой папке #EA-591 v7458 by oddessax

Исправления и улучшения

• [BehaviorTrees] Исправлена проблема при переименовании BT
• [Packs] Улучшена упаковка — теперь packs включают ресурсы, такие как изображения/модели и т. д., как часть zip-архива
• [UI] Исправлена проблема, из-за которой UI не загружался, если программа не могла получить список логических дисков #EA-588 WMI Logical drives v7349
• [UI] Исправлен сбой, который происходил, если программа запускалась без распаковки через WinRAR #EA-585 CreateFile WinRAR v7406

Bugfixes/Improvements

• [AuraTree] Items are no longer being selected automatically when you click on load/unload/remove
• [BehaviorTrees] Fixed a problem with C# scripts not being editable

ImageSearch improvement - added "Include All Matches"

Added new option "Include All Matches" which is intended to be used for some corner-case scripting purposes. By default, Image search finds best possible match and then tracks its movement - that way it can avoid scanning the whole image every frame. This new option disables all such optimizations and image is fully scanned on every tick. On a positive side - this gives you access to multiple candidates and their similarities. On negative - it destroys performance.

To get access to all found objects, you can use TemplateMatches which is returned as a part of ImageSearchTrigger.Refresh result

public interface IImageSearchDetectionResult : ICaptureTriggerDetectionResult
{
...

    /// <summary>
    /// Contains an array of all successful template matches and their bounds/similarity
    /// Will contain more than 1 element only if Include All Matches is enabled in ImageSearchTrigger
    /// </summary>
    public ImmutableArray<TemplateMatchResult> TemplateMatches { get; init; }

...
}

This is extremely CPU-heavy task. On 1920x1080 you'll probably have at most 2-3 FPS to do a full scan. This is a huge contrast to ML search, which on the same resolution for the same task can give you up to 60 FPS, so if you really need to detect multiple instances of some object, I would highly recommend to look into training Yolo model and using it instead.

Bugfixes/Improvements

• [BehaviorTrees] Optimized how BTs work with deep nested structures a bit, increased max depth size from 64 to 1024 #EA-578 Nested tree v7444 by oddessax

Улучшения MouseMove, KeyPress и TextSearch

Улучшения узлов MouseMove

В узлах MouseMove появилось много новых опций, доступных в макросах и деревьях поведения.

Как и в Send Sequence, теперь можно привязывать X и Y, связывать ауры и точно задавать, куда именно нажимать на найденном изображении или объекте.

Есть два режима редактирования: простой и расширенный.

Расширенный режим выглядит так (да, элементов управления тут многовато).

Узел KeyPress теперь поддерживает клики мышью и прокрутку колеса

Сейчас за отправку ввода, связанного с мышью, тоже отвечает узел KeyPress.

Пока я не уверен на 100%, что несколько отдельных узлов ввода действительно дадут лучший UX, так что посмотрим, как это покажет себя на практике.

C# scripting — улучшения TextSearch: добавлена сегментация

Триггер TextSearch теперь отдает текстовые сегменты и их координаты. Пока это доступно только через C# scripts, но уже позволяет кликать по конкретному слову.

Пример использования: https://wiki.eyeauras.net/scripting/examples/basic/click-on-text

В будущем похожая функциональность появится и в UI.

Folder Defaults — добавлен выбор Input Smoother

В свойствах папки теперь можно выбирать Input Smoother.

Input Smoother определяет, как именно курсор будет перемещаться из точки A в точку B и за сколько шагов это произойдет.

Как и остальные настройки, эта будет применяться ко всем элементам в папке: узлам, действиям, триггерам и т. д.

Исправления и улучшения

• [Macroses] Улучшен UX: drag'n'drop работает лучше, снижены задержки, исправлено несколько мелких проблем
• [EventLog] Полоса прокрутки журнала событий теперь остается внизу даже после очистки лога
• [BehaviorTrees] Исправлена проблема, из-за которой в некоторых случаях добавлялась лишняя связь
• [Scripting] Исправлена ошибка в CancellableMethodStatementRewriter, из-за которой некоторые скрипты не компилировались