На сайте установил возможность при постинге со ссылкой на Twitter скрапить твит и отображать его во фрейме. Использую https://github.com/oscarotero/Embed/ (и это просто для понимания проблемы - проблема не в этой библиотеке совсем).
Все шло нормально в течение года-два. Но в начале недели начал замечать, что Твиттер не отдает нормальный вид и при поиске проблемы обнаружил, что банально блокируется IP моего сервера.
Например,
Со своего сервера посылаю: lynx https://twitter.com/QuinnyPig/status/1250910042246660096
Возвращает 404
С localhost или любого иного IP - все нормально.
Соответственно, делаю вывод, что блокируется лично IP моего сервера.
Замечу, что таких embed постов на сайте не более 10-20 в день.
При поиске решения проблемы не нашел ничего вразумительно насчет ограничения oEmbed вставок твитов. Да и зачем Твиттеру это делать?
Убрал все ограничения из фаерволла и fail2ban правил - проверил - проблема осталась.
При этом другие oEmbed вставки, например с FB, Instagram, работают нормально.
Да, и как я указал выше, причина исключительно в подозрительном блокировании IP моего сервера.
Что и как делать?
Если проблема в превышении каких-либо лимитов на такой oEmbed-постинг, то подскажите, где искать, потому что не нашел я такого в Твиттерном хелпе.
Я, конечно. могу воспользоваться прокси и т.п. средствами для скраппинга, но меня интересует суть проблемы - я (сервер) в этом виноват или Твиттер лимитирует такое дело. Если последнее, то как тогда справляются другие сайты.
Обновление:
Наш team leader задал вопрос службе поддержки Twitter и в ходе обсуждений было выяснено, что (по невыясненной, пока, причине) происходит "блокировка" IP-адреса нашего сервера, т.е. на любой запрос, исходящего с нашего сервера, мы получаем ответ с 404 кодом.
При этом авторизированные запросы с использованием выданных нам ключей, а также работа наших приложений не блокируется!
Но такой обычный запрос, как:
curl https://twitter.com
Приходит с ответом о не найденной странице.