0

Почитал разные источники. Типа есть CURL библиотека, она это может. Но она огромная, куча не нужных мне функций. Большая часть из примеров не работает, выводит ошибку типов и т.д. из библиотек. Мне нужно всего лишь получить HTML текст странички, для дальнейшего парсинга. Пишут что можно с помощью winsock2 получить что угодно :) Но примеры тоже не работают :( Разрабатываю в CodeBlocks с компилятором MinGWx64/gcc под Windows 10 64.

Может кто уже делал подобное?

Ссылки и примеры приветствуются (РАБОЧИЕ без танцев с бубном). Я недавно занялся Си, перешел с другого ЯП.

Спасибо заранее за ответы ;)

19
  • Последуй знаку на аватарке и используй curl.
    – eri
    Commented 17 нояб. 2023 в 21:14
  • Ну накрайняк буст boost.org/doc/libs/1_71_0/libs/beast/example/http/client/…
    – eri
    Commented 17 нояб. 2023 в 21:19
  • Я описал, почему CURL не подходит ;)
    – FrancNet
    Commented 17 нояб. 2023 в 21:20
  • 2
    "Копирую текст, вставляю." - А надо было понять, как оно работает и написать свою программу самостоятельно. Commented 18 нояб. 2023 в 5:49
  • 1
    @FrancNet, а может попробовать перейти в linux, раз там примеры работают?
    – avp
    Commented 18 нояб. 2023 в 13:15

3 ответа 3

0

Я недавно занялся Си, перешел с другого ЯП.

Совет таков, что если вы только начали знакомиться с данным языком, то вам стоило бы сначала изучить его основы, работу со строками, как выводить текст на экран, и т.д.

В данный момент, предлагать в ответах то что вы хотите, не разумно по несколькис причинам, одна из них, это то, что у вас не указан компилятор которым вы пользуетесь, не указана ОС.

Средствами самого языка, этого сделать нельзя, здесь необходимо использовать средства которые предлагают платформа и ОС на которой вы работаете, а также некоторые библиотеки, например curl.

Есть 2 варианта получения контента страницы:

  1. Запустить curl с параметрами вывода контента в терминал, и считать его через pipe.

  2. Написать и подключить библиотеку curl.

В любом случае, это не то что необходимо делать начиная знакомство с языком.

#include <stdio.h>
#include <stdlib.h>

#ifdef __cplusplus
extern "C" {
#endif /* __cplusplus */

#include <curl/curl.h>

#ifdef __cplusplus
}
#endif /* __cplusplus */

#define REQUEST_URL ("https://curl.se/libcurl/c/CURLOPT_URL.html")

/* https://curl.se/libcurl/c/CURLOPT_WRITEFUNCTION.html */
struct memory {
  char *response;
  size_t size;
};

static size_t cb(void *data, size_t size, size_t nmemb, void *clientp) {
  size_t realsize = size * nmemb;
  struct memory *mem = (struct memory *)clientp;

  char *ptr = realloc(mem->response, mem->size + realsize + 1);
  if(ptr == NULL)
    return 0;  /* out of memory! */

  mem->response = ptr;
  memcpy(&(mem->response[mem->size]), data, realsize);
  mem->size += realsize;
  mem->response[mem->size] = 0;

  return realsize;
}

void
abort_on_error_check(CURLcode code, void(*callback)(void *), void *opaque) {
  if (CURLE_OK != code) {
    fprintf(stderr, "CURL Error: %s\n", curl_easy_strerror(code));
    callback(opaque);
    exit(code);
  }
}

#define abort_on_error(code) \
abort_on_error_check(code, curl_easy_cleanup, p_curl)

int
main(int argc, char *argv[]) {
  CURL *p_curl;

  struct memory mem = { 0 };

  p_curl = curl_easy_init();
  if (NULL == p_curl) {
    (void) fprintf(stderr, "CURL init failed\n");
  }

  abort_on_error(curl_easy_setopt(p_curl, CURLOPT_URL, REQUEST_URL));
  abort_on_error(curl_easy_setopt(p_curl, CURLOPT_WRITEDATA, &mem));
  abort_on_error(curl_easy_setopt(p_curl, CURLOPT_WRITEFUNCTION, cb));
  abort_on_error(curl_easy_perform(p_curl));

  fprintf(stdout, mem.response);

  free(mem.response);
  curl_easy_cleanup(p_curl);
}

gcc main.c -lcurl -o test.exe

output:

evo@evo-pc UCRT64 /d/evo-i/so
$ ./a.exe 
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head> <title>CURLOPT_URL</title>
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
<link rel="stylesheet" type="text/css" href="/curl.css">
<link rel="shortcut icon" href="/favicon.ico">
<link rel="icon" href="/logo/curl-symbol.svg" type="image/svg+xml">
<link rel="alternate" type="application/rss+xml" title="cURL Releases" href="https://github.com/curl/curl/releases.atom">
<link rel="STYLESHEET" type="text/css" href="https://curl.se/manpage.css">
</head>
<body>
<div class="main">
<div class="menu">
<a href="/libcurl/c/libcurl.html" class="menuitem" title="Overview">API Overview</a>
<div class="dropdown">

....
....
....
21
  • Разрабатываю под Windows. GCC (MinGW). Опыт есть, но в Delphi. Всё едино, но есть нюансы ;) CURL. Я её скачал, описания что нужно что-то компилировать (вроде) нет. В Codeblocks проект, вставляю код из примера работы с CURL. Выходят ошибки компиляции, не понимает заголовки функций из библиотеки CURL. В тексте только #include <curl\curl.h>. Эта и другие библиотеки и заголовки скопированы в GCC в include и lib. Как я понял нужно в Codeblocks в линковщике указать какие библиотеки нужно добавить к проекту. Я видел пишут #pragma comment(....) для включения откомпилированных библиотек в проект.
    – FrancNet
    Commented 19 нояб. 2023 в 17:02
  • 1
    Линковщику нудно указать библиотеку -lcurl
    – evo
    Commented 19 нояб. 2023 в 17:05
  • С работой стандартных библиотек проблем нет =) А CURL это большой проект, и вот с его подключением есть проблемы.
    – FrancNet
    Commented 19 нояб. 2023 в 17:06
  • Нет, вы просто не стали ничего о компиляторе, и порядке сборки.
    – evo
    Commented 19 нояб. 2023 в 17:07
  • Да, порядок сборки и компиляции я еще не понимаю полностью.
    – FrancNet
    Commented 19 нояб. 2023 в 17:09
0

В принципе, тут нужно только сокеты и немного знания протокола http. И просто послать запрос. Вот как можно поиграть:

(venv) pooh@dell ~ $ telnet httpbin.org 80
Trying 3.234.71.36...
Connected to httpbin.org.
Escape character is '^]'.
GET /ip HTTP/1.1
Host: httpbin.org

HTTP/1.1 200 OK
Date: Tue, 21 Nov 2023 17:35:08 GMT
Content-Type: application/json
Content-Length: 33
Connection: keep-alive
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

{
  "origin": "46.123.245.170"
}

Все, что после пустой строки, уже прислал сервер. Так что если простые запросы, то курл можно не тащить. Однако, если https, то все несколько сложнее…

7
  • 4
    А при чём тут Си?
    – andreymal
    Commented 21 нояб. 2023 в 17:49
  • Дык это метод, подсказка, не больше. А как это реализовать на Си, уж это к автору вопроса, если захочет:)
    – aikipooh
    Commented 21 нояб. 2023 в 18:27
  • @aikipooh Я пробовал на сокетах. К примеру маил.ру делает 301 редирект, я из ответа получаю строку адреса, отправляю ему повторно, он опять 301 редирект :) Потом из статьи понимаю что 80 порт и https это разные фишки, у https порт 443(вроде). Ну там тоже 301 редиректы и т.п. Но мне понравилось, что это без всяких дополнительных средств работает. Я в общем это дело параллельно изучаю :) Т.к. конкретных примеров нет. Все аля чаты делают на сокетах :)
    – FrancNet
    Commented 21 нояб. 2023 в 22:41
  • Думаю, первый редирект еще устанавливает печеньки, так что их надо передавать. И вот когда накопится критическая масса того, что придется реализовать, самое время подумать про уже готовый curl:) Кстати, можно curl, который утилита командной строки, запускать в подпроцессе, вместо той написанной утилиты на Delphi.
    – aikipooh
    Commented 22 нояб. 2023 в 13:58
  • Кстати, у меня (на питоне) тоже иногда запускается curl в подпроцессе, потому что так проще, чем патчить установление TLS-соединения в стандартном питоне. Те люди, что поставили -4 твоему ответу, они просто пороха не нюхали :)))
    – aikipooh
    Commented 22 нояб. 2023 в 14:00
-4

В итоге поиска и рабочих вариантов не найдено. CURL слишком большой для моих задач и сложен в реализации. Написал на Delphi консольную программку, которая в параметре принимает https адрес и записывает в файл контент. Ну а из Си я это могу парсить и искать то что мне нужно, и сразу в ASCII кодировке.

Всем спасибо.

1
  • Отменил ответ. Т.к. думал что Ваш интерес к этой теме очень низок. А тут до сих пор приходят с идеями ;)
    – FrancNet
    Commented 21 нояб. 2023 в 22:54

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.