4

Пишу автокликер для одной мобильной игры (скрин ниже). Задача находить на карте объекты. Точнее, программа делает скриншот экрана игры запущенной в эмуляторе Bluestacks, получаю bitmap, и нужно искать объекты на карте по фрагментам на скриншоте. Подскажите алгоритм поиска фрагмента на изображении?

введите сюда описание изображения

1
  • Живой кликер зовут Mod CoC :) есть на Гугл плее, есть и сторонние разработки конечно. На эмуляторе можно, но это жуткие тормоза, лучше девайс по usb + adb.
    – NewView
    15 апр 2019 в 13:25

4 ответа 4

12

Использование OpenCV конечно должно быть более успешным. Я поэкспериментировал с AForge

подгруженная библиотека

получилось тоже неплохо

пример работы приложения

Вот класс работы с библиотекой, фактически само использование занимает 2 строки, каюсь, взял эту часть из интернета, остальное написал сам

public class AforgeService
{
    //найденные совпадения
    private TemplateMatch[] _matchings;

    /// <summary>
    /// Количество найденных совпадений
    /// </summary>
    public int CountMatchings
    {
        get => _matchings != null ?  _matchings.Length : 0;
    }


    //ctor
    public AforgeService()
    {

    }

    /// <summary>
    /// Содержит ли исходное изображение представленый образец
    /// </summary>
    /// <param name="pathOriginalImage">путь к файлу исходного изображения</param>
    /// <param name="pathSampleImage">путь к файлу образца</param>
    /// <returns>true если содержит</returns>
    public async Task<bool> IsContains(string pathOriginalImage, string pathSampleImage)
    {
        if (String.IsNullOrEmpty(pathOriginalImage)) throw new ArgumentNullException(nameof(pathOriginalImage));
        if (String.IsNullOrEmpty(pathSampleImage)) throw new ArgumentNullException(nameof(pathSampleImage));

        var sample = new Bitmap(pathSampleImage);
        var orig = new Bitmap(pathOriginalImage);

        //пользуемся библиотекой
        ExhaustiveTemplateMatching tm = new ExhaustiveTemplateMatching(0.921f);
        _matchings = await Task.Run(() => tm.ProcessImage(orig, sample));

        return _matchings.Any();
    }


    /// <summary>
    /// Получение коллекции найденных мест где находится образец
    /// </summary>
    /// <returns>коллекция найденных мест</returns>
    public List<FoundPlace> GetPlaces()
    {
        List<FoundPlace> result = new List<FoundPlace>();
        if (CountMatchings == 0) return result;

        int id = 0;
        foreach (var match in _matchings)
        {
            FoundPlace place = new FoundPlace
            {
                Id = ++id,
                Similarity = match.Similarity,
                Top = match.Rectangle.Top,
                Left = match.Rectangle.Left,
                Height = match.Rectangle.Height,
                Width = match.Rectangle.Width
            };

            result.Add(place);
        }

        return result;
    }

}

Этот класс для сохранения найденного места

public class FoundPlace
{
    public int Id { get; set; }
    public double Left { get; set; }
    public double Top { get; set; }
    public double Width { get; set; }
    public double Height { get; set; }
    public double Similarity { get; set; }
}

Это класс вьюмодели

public class MainViewModel : INotifyPropertyChanged, IDisposable
{
    public event PropertyChangedEventHandler PropertyChanged;

    private readonly IMainWindow _mainWindow;
    private string _pathOriginalImage;

    //ctor
    public MainViewModel(IMainWindow mainWindow)
    {
        _mainWindow = mainWindow;
    }

    /// <summary>
    /// Флаг запуска поиска, для выкл./вкл. кнопок
    /// </summary>
    private bool _IsSearching;
    public bool IsSearching
    {
        get => _IsSearching;
        set
        {
            _IsSearching = value;
            SelectSampleCommand.RaiseCanExecuteChanged();
            SearchCommand.RaiseCanExecuteChanged();
        }
    }

    /// <summary>
    /// Исходное изображение (поле игры)
    /// </summary>
    public string OriginalImage
    {
        get => @"~\..\Assets\Original.jpg";
    }

    /// <summary>
    /// Образец для поиска
    /// </summary>
    private string _SampleImage;
    public string SampleImage
    {
        get => _SampleImage;
        set
        {
            _SampleImage = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(SampleImage)));
            SearchCommand.RaiseCanExecuteChanged();
        }
    }

    /// <summary>
    /// Текстовое сообщение о процессе
    /// </summary>
    private string _Message;
    public string Message
    {
        get => _Message;
        set
        {
            _Message = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(Message)));
        }
    }

    /// <summary>
    /// Список найденных мест для ListBox
    /// </summary>
    private List<FoundPlace> _Places;
    public List<FoundPlace> Places
    {
        get { return _Places; }
        set
        {
            _Places = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(Places)));
        }
    }

    private FoundPlace _SelectedPlace;
    public FoundPlace SelectedPlace
    {
        get => _SelectedPlace;
        set
        {
            _SelectedPlace = value;
            PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(SelectedPlace)));
            _mainWindow.DrawPlace(_SelectedPlace);
        }
    }



    /// <summary>
    /// Кнопка Выбрать
    /// </summary>
    private RelayCommand _SelectSampleCommand;
    public RelayCommand SelectSampleCommand
    {
        get => _SelectSampleCommand = _SelectSampleCommand ?? new RelayCommand(OnSelectSample, CanSelectSample);
    }
    private bool CanSelectSample()
    {
        if (IsSearching)
        {
            return false;
        }
        return true;
    }
    private void OnSelectSample()
    {
        string file = _mainWindow.SelectSample();
        if (String.IsNullOrEmpty(file)) return;

        SampleImage = file;
    }

    /// <summary>
    /// Кнопка Искать
    /// </summary>
    private RelayCommand _SearchCommand;
    public RelayCommand SearchCommand
    {
        get => _SearchCommand = _SearchCommand ?? new RelayCommand(OnSearch, CanSearch);
    }
    private bool CanSearch()
    {
        if (String.IsNullOrEmpty(SampleImage) || IsSearching)
        {
            return false;
        }
        return true;
    }
    private async void OnSearch()
    {
        Message = "Ждите...";
        IsSearching = true;
        AforgeService service = new AforgeService();

        try
        {
            using (OverrideCursor cursor = OverrideCursor.GetWaitOverrideCursor())
            {
                string pathOrigin = GetOriginalImage();
                bool isContains = await service.IsContains(pathOrigin, SampleImage);
                if (isContains)
                {
                    Places = service.GetPlaces();
                }
                else
                {
                    Places = new List<FoundPlace>();
                }
            }
        }
        catch (Exception ex)
        {
            var message = $"Возникла ошибка: {ex.Message}";
            _mainWindow.ShowMessage(message, "Ошибка");
        }
        finally
        {
            Message = $"Найдено мест: {service.CountMatchings}";
            IsSearching = false;
        }
    }

    /// <summary>
    /// Получение пути к оригинальному изображению (полю игры)
    /// </summary>
    /// <returns></returns>
    private string GetOriginalImage()
    {
        if (!String.IsNullOrEmpty(_pathOriginalImage) && File.Exists(_pathOriginalImage))
        {
            return _pathOriginalImage;
        }

        _pathOriginalImage = Path.Combine(Path.GetTempPath(), "Original.jpg");


        Uri imgUri = new Uri("pack://application:,,,/Assets/Original.jpg");
        StreamResourceInfo imgStream = Application.GetResourceStream(imgUri);

        using (Stream imgs = imgStream.Stream)
        using (FileStream fs = File.Create(_pathOriginalImage))
        {
            byte[] ar = new byte[imgs.Length];
            imgs.Read(ar, 0, ar.Length);

            fs.Write(ar, 0, ar.Length);
        }

        return _pathOriginalImage;
    }

    /// <summary>
    /// IDisposable
    /// </summary>
    public void Dispose()
    {
        if (!String.IsNullOrEmpty(_pathOriginalImage) && File.Exists(_pathOriginalImage))
        {
            File.Delete(_pathOriginalImage);
        }
    }
}

Весь пример можно скачать здесь

7
  • OpenCV обучается же на сколько я знаю? Возможно ли обучить его так чтобы он определял находятся ли строения в нутри забора или снаружи?
    – VikiMayson
    11 апр 2018 в 16:01
  • @VikiMayson я не работал с OpenCV, потому, извините, что-либо вразумительное сказать не могу. Я просто на скорую руку набросал пример, т.к. меня заинтересовал ваш вопрос.
    – Bulson
    11 апр 2018 в 16:15
  • aforge вижу тоже имеет машинное обучение и нейронки. По ней нечего в моей задаче не подскажете? Просто бывают моменты когда одни объекты перекрываются другими и обязательно хочу реализовать чтобы определяло где находятся объекты, внутри или за забором. Поэтому хочется обучить.
    – VikiMayson
    11 апр 2018 в 16:23
  • 2
    @VikiMayson, опять же извините, я же говорю, что на скорую руку... Сам надеюсь найти время и почитать доки, поэкспериментировать :)
    – Bulson
    11 апр 2018 в 16:28
  • 1
    В конце моего ответа есть ссылка на пример, который можно скачать. В папке проекта найдете папку bin в ней есть папка Debug. Скопируйте ее со всеми файлами и запустите exe файл, должно работать (важно чтоб все файлы были в одной папке). Только это пример, а не полноценная программа. В ней нет возможности заменить изображение по кот.нужно искать.
    – Bulson
    29 янв 2019 в 20:53
5

Думаю, тебе хватит функционала реализованного в OpenCV

OpenCV (англ. Open Source Computer Vision Library, библиотека компьютерного зрения с открытым исходным кодом) — библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом.

(с) Википедия.

Вот неплохие уроки по ней, а вот то, что тебе в теории может пригодиться.

4

Есть большая, сложная и популярная область технологий, называемая распознанием образов. По большей части там используются глубокие нейронные сети, но не только. И вряд ли в Вашем случае нужна такая сложность (хотя и может вдохновить на правильный вектор дальнейших действий).

Простой способ – разбить игровое поле на части (кажется, в данной игре это особенно актуально) и сверять каждую часть на сходство с известными предметами. Если же предметы могут находиться в случайных местах, а не только на заданной сетке, то нужен более продвинутый анализ: можно сначала сверять по сетке, затем по той же сетке со смещение на половину (или даже треть и две трети). Ещё можно масштабировать, брать некий хэш от части изображения...

Кстати, если не удастся добиться 99% точности (что в принципе возможно, ведь все предметы будут статично, а не поворачиваться под разным освещением, как в реальном мире), то можно компенсировать точность продуманностью кликов: сохранять позиции, куда уже безуспешно кликах, чтобы в следующие разы не тупить, не тратить время. Тогда главное, чтобы алгоритм поиска выдавал как можно меньше ложно отрицательных срабатываний, а ложно положительные будут быстро отсекаться на практике.

Полезные ссылки:

4

Если нужно искать на изображении фрагмент этого изображения, а не что-то отдаленно напоминающее фрагмент, нет ничего лучше, чем корреляционный метод. Быстро и надежно. И не нужно никакого распознавания.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.