2

Делаю мобильный клиент для этого сайта. Тут есть очень много однообразных постов, которые разбиты на однообразные страницы и в каждой где-то по 15 постов. Эти посты я хочу вывести в ListView. В идеале я хочу сделать так, чтобы приложение парсило одну страницу с постами, потом пользователь доходит до конца списка, делает свайп снизу вверх (использовал библиотеку SwipyRefreshLayout), приложение парсит следующую страницу с постами и их выводит. Я лишь сумел либо вывести одну такую страницу, либо вывести все посты из сайта (очень плохой и медленный вариант). Уже долго мучаюсь и не могу придумать способ как парсить и подгружать данные частями - писал несколько костылей, но все они оказались нерабочими. Можете мне помочь?

Вот код моего приложения. Тут вариант парсера всех постов на сайте, но с ограничением до конкретной страницы, чтобы не ждать пол часа пока все загрузится. Это все происходит в методе doInBackground в классе NewPostsAsyncTask.

    public class MainActivity extends AppCompatActivity implements NavigationView.OnNavigationItemSelectedListener, SwipyRefreshLayout.OnRefreshListener {

    private static final String TAG = "MainActivity";
    private static final int LAYOUT = R.layout.activity_main;
    private static final String URL = "http://killpls.me";
    private static final String URL_MODERATION = "http://killpls.me/moderation/";

    private Toolbar toolbar;
    private DrawerLayout drawerLayout;
    private NavigationView navigationView;
    private ActionBarDrawerToggle toggle;
    private FloatingActionButton fab;
    private ProgressDialog progressDialog;
    private SwipyRefreshLayout mSwipyRefreshLayout;

    private NewPostsAsyncTask newPostsAsyncTask;
    private ModerationAsyncTask moderationAsyncTask;

    public Elements content;
    public ArrayList<String> titleList = new ArrayList<String>();
    private ArrayAdapter<String> adapter;
    private ListView listView;

    private int navigationDrawerItemId;
    private boolean isRefreshed = false;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(LAYOUT);

        initToolbar();
        initNavigationView();
        initActionBarDrawerToggle(); // Добавляет возможность открыть NavigationDrawer через значок
        initFloatingActionButton();
        initSwipeRefreshLayout();

        listView = (ListView) findViewById(R.id.listView);
    }

    private void initToolbar() {
        toolbar = (Toolbar) findViewById(R.id.toolbar);
        setSupportActionBar(toolbar);
        toolbar.setOnMenuItemClickListener(new Toolbar.OnMenuItemClickListener() {
            @Override
            public boolean onMenuItemClick(MenuItem item) {
                return false;
            }
        });
    }

    private void initNavigationView() {
        drawerLayout = (DrawerLayout) findViewById(R.id.drawer_layout);
        navigationView = (NavigationView) findViewById(R.id.nav_view);
        navigationView.setNavigationItemSelectedListener(this);
    }

    private void initActionBarDrawerToggle() {
        toggle = new ActionBarDrawerToggle(this, drawerLayout, toolbar, R.string.navigation_drawer_open, R.string.navigation_drawer_close);
        drawerLayout.setDrawerListener(toggle);
        toggle.syncState();
    }

    private void initFloatingActionButton() {
        fab = (FloatingActionButton) findViewById(R.id.fab);
        fab.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View view) {
                Snackbar.make(view, "Replace with your own action", Snackbar.LENGTH_LONG)
                        .setAction("Action", null).show();
            }
        });
    }

    private void initSwipeRefreshLayout() {
        mSwipyRefreshLayout = (SwipyRefreshLayout) findViewById(R.id.swipyrefreshlayout);
        mSwipyRefreshLayout.setOnRefreshListener(this);
        mSwipyRefreshLayout.setColorSchemeResources(android.R.color.holo_blue_bright,
                android.R.color.holo_green_light,
                android.R.color.holo_orange_light,
                android.R.color.holo_red_light);
    }

    @Override
    public void onBackPressed() {
        DrawerLayout drawer = (DrawerLayout) findViewById(R.id.drawer_layout);
        if (drawer.isDrawerOpen(GravityCompat.START)) {
            drawer.closeDrawer(GravityCompat.START);
        } else {
            super.onBackPressed();
        }
    }

    @Override
    public boolean onCreateOptionsMenu(Menu menu) {
        // Inflate the menu; this adds items to the action bar if it is present.
        getMenuInflater().inflate(R.menu.main, menu);
        return true;
    }

    @Override
    public boolean onOptionsItemSelected(MenuItem item) {
        // Handle action bar item clicks here. The action bar will
        // automatically handle clicks on the Home/Up button, so long
        // as you specify a parent activity in AndroidManifest.xml.
        int id = item.getItemId();

        //noinspection SimplifiableIfStatement
        if (id == R.id.action_settings) {
            return true;
        }

        return super.onOptionsItemSelected(item);
    }

    @SuppressWarnings("StatementWithEmptyBody")
    @Override
    public boolean onNavigationItemSelected(MenuItem item) {
        // Handle navigation view item clicks here.
        navigationDrawerItemId = item.getItemId();

        if (navigationDrawerItemId == R.id.new_posts) {
            Log.i(TAG, "Выбрано раздел \"Новые\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            isRefreshed = false;
            newPostsAsyncTask = new NewPostsAsyncTask();
            newPostsAsyncTask.execute();
            if (!adapter.isEmpty()) adapter.clear();
        } else if (navigationDrawerItemId == R.id.moderation) {
            Log.i(TAG, "Выбрано раздел \"Модерация\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            isRefreshed = false;
            moderationAsyncTask = new ModerationAsyncTask();
            moderationAsyncTask.execute();
            if (!adapter.isEmpty()) adapter.clear();
        } else if (navigationDrawerItemId == R.id.tell_story) {
            Log.i(TAG, "Выбрано раздел \"Рассказать историю\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            if (!adapter.isEmpty()) adapter.clear();
        } else if (navigationDrawerItemId == R.id.most_terrible_stories) {
            Log.i(TAG, "Выбрано раздел \"Самые страшные\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            if (!adapter.isEmpty()) adapter.clear();
        } else if (navigationDrawerItemId == R.id.random_story) {
            Log.i(TAG, "Выбрано раздел \"Случайная\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            if (!adapter.isEmpty()) adapter.clear();
        } else if (navigationDrawerItemId == R.id.happy_end) {
            Log.i(TAG, "Выбрано раздел \"Happy end\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            if (!adapter.isEmpty()) adapter.clear();
        } else if (navigationDrawerItemId == R.id.about_project) {
            Log.i(TAG, "Выбрано раздел \"О проекте\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            if (!adapter.isEmpty()) adapter.clear();
        } else if (navigationDrawerItemId == R.id.help_all) {
            Log.i(TAG, "Выбрано раздел \"Хочу помочь всем\" в Navigation Drawer");
            adapter = new ArrayAdapter<String>(this, R.layout.list_item, R.id.item, titleList);
            if (!adapter.isEmpty()) adapter.clear();
        }

        DrawerLayout drawer = (DrawerLayout) findViewById(R.id.drawer_layout);
        drawer.closeDrawer(GravityCompat.START);
        return true;
    }

    @Override
    public void onRefresh(SwipyRefreshLayoutDirection direction) {
        new Handler().postDelayed(new Runnable() {
            @Override
            public void run() {
                if (navigationDrawerItemId == R.id.new_posts) {
                    Log.i(TAG, "Обновленно раздел \"Новые\" в Navigation Drawer");
                    isRefreshed = true;
                    // adapter.clear();
                    newPostsAsyncTask = new NewPostsAsyncTask();
                    newPostsAsyncTask.execute();
                } else if (navigationDrawerItemId == R.id.moderation) {
                    Log.i(TAG, "Обновленно раздел \"Модерация\" в Navigation Drawer");
                    isRefreshed = true;
                    moderationAsyncTask = new ModerationAsyncTask();
                    moderationAsyncTask.execute();
                } else if (navigationDrawerItemId == R.id.tell_story) {
                    Log.i(TAG, "Обновленно раздел \"Рассказать историю\" в Navigation Drawer");
                } else if (navigationDrawerItemId == R.id.most_terrible_stories) {
                    Log.i(TAG, "Обновленно раздел \"Самые страшные\" в Navigation Drawer");
                } else if (navigationDrawerItemId == R.id.random_story) {
                    Log.i(TAG, "Обновленно раздел \"Случайная\" в Navigation Drawer");
                } else if (navigationDrawerItemId == R.id.happy_end) {
                    Log.i(TAG, "Обновленно раздел \"Happy end\" в Navigation Drawer");
                } else if (navigationDrawerItemId == R.id.about_project) {
                    Log.i(TAG, "Обновленно раздел \"О проекте\" в Navigation Drawer");
                } else if (navigationDrawerItemId == R.id.help_all) {
                    Log.i(TAG, "Обновленно раздел \"Хочу помочь всем\" в Navigation Drawer");
                } else {
                    Log.i(TAG, "Попытка обновить главную страницу");
                }

                // Когда обновление закончено, вызываем метод setRefreshing(boolean) и передаем ему false.
                mSwipyRefreshLayout.setRefreshing(false);
            }
        }, 4000);
    }

    class NewPostsAsyncTask extends AsyncTask<String, Void, String> {

        @Override
        protected void onPreExecute() {
            super.onPreExecute();

            if (!isRefreshed) {
                progressDialog = new ProgressDialog(MainActivity.this);
                progressDialog.setTitle("Новые");
                progressDialog.setMessage("Загрузка...");
                progressDialog.setIndeterminate(false);
                progressDialog.show();
            }
        }

        @Override
        protected String doInBackground(String... params) {
            Document doc;
            try {
                doc = Jsoup.connect(URL).get(); // Считываем заголовок страницы
                Elements pageSpan = doc.select("div.paginator > span:first-child");
                int pageCount = Integer.parseInt(pageSpan.first().text());
                // Стоит еще проверить, что элементы нашлись, вызовом !pageSpan.isEmpty(),
                // first() для пустого списка возвращает null.

                for (int i = pageCount; i > 0; i--) {
                    String pageCountString = Integer.toString(i);
                    doc = Jsoup.connect("http://killpls.me/page/" + pageCountString).get();
                    parseDocument(doc);
                    if (i == 1697) {
                        break; // Ограничение до 1697 страницы, чтобы не лагало. Надо исправить.
                    }
                }

            } catch (IOException e) {
                e.printStackTrace(); // Если не получилось считать
            }
            return null;
        }

        public void parseDocument(Document doc) {

            // Парсит посты на странице
            content = doc.select("[style=margin:0.5em 0;line-height:1.785em]");

            for (Element contents : content) {
                if (!contents.text().contains("18+")) {
                    // Выводит только посты без ссылки на 18+
                    titleList.add(contents.text());
                }
            }
        }

        @Override
        protected void onPostExecute(String s) {
            super.onPostExecute(s);
            listView.setAdapter(adapter);
            if (navigationDrawerItemId == R.id.new_posts) progressDialog.dismiss();
        }
    }

    class ModerationAsyncTask extends AsyncTask<String, Void, String> {

        @Override
        protected void onPreExecute() {
            super.onPreExecute();

            if (!isRefreshed) {
                progressDialog = new ProgressDialog(MainActivity.this);
                progressDialog.setTitle("Модерация");
                progressDialog.setMessage("Загрузка...");
                progressDialog.setIndeterminate(false);
                progressDialog.show();
            }
        }

        @Override
        protected String doInBackground(String... params) {
            Document doc;
            try {
                doc = Jsoup.connect(URL_MODERATION).get();
                parseDocument(doc);
            } catch (IOException e) {
                e.printStackTrace();
            }
            return null;
        }

        public void parseDocument(Document doc) {

            // Парсит посты на странице
            content = doc.select("[style=margin:0.5em 0;line-height:1.785em]");

            for (Element contents : content) {
                titleList.add(contents.text());
            }
        }

        @Override
        protected void onPostExecute(String s) {
            super.onPostExecute(s);
            listView.setAdapter(adapter);
            if (navigationDrawerItemId == R.id.moderation) progressDialog.dismiss();
        }
    }
}

1 ответ 1

0

Вам надо:

  1. Завести переменную счётчик для хранения текущего кол-ва загруженных страниц.
  2. При загрузке постов передавать значение счётчика в таск и грузить нужную страницу +1 (чтобы следующую относительно загруженных грузить)
  3. По завершении задачи увеличить на 1 счётчик и добавить загруженные посты в ListView
10
  • Это по сути и было моим костылем, но у меня как-то не вышло :) Это и есть единственный правильный способ?
    – user178191
    6 янв 2016 в 20:30
  • @Kostya, а какие ещё варианты можете предложить?.. Мне вот в голову ничего больше не приходит)
    – ЮрийСПб
    6 янв 2016 в 20:32
  • Ну я просто опыта не имею, может есть там какие-то шаблоны для этого, а то я велосипеды изобретаю и не очень удачно...
    – user178191
    6 янв 2016 в 20:34
  • @Kostya, ну, лично я за годы причастности ко всему этому иных подходов не встречал.
    – ЮрийСПб
    6 янв 2016 в 20:40
  • Ну допустим я ввел счётчик, сделал метод runOnUiThread в методе doInBackground с телом из onPostExecute. Для приличия сделал маленькую задержку. Мои посты подгружаются через равные промежутки времени. Как мне сделать так, чтобы тело цикла приостановилось и продолжило выполнятся только после свайпа снизу вверх (какой-то может слушатель на это событие)?
    – user178191
    6 янв 2016 в 20:52

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.