Microsoft Edge WebView2

если он такой волшебный, значит нужно отловить его UA и использовать.

просто зная как это всё работает у меня нет никаких иных объяснений кроме того, как сайту представляется этот WebView2 и именно по имени его и пропускает без вопросов CloudFlare

установил. теперь просто ничего не происходит

user agent сайты говорят такой
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 Edg/109.0.1518.78

Как у edge

Всё. я спатеньки. Ничего не понятно, но очень интересно.

а что по твоему должно было произойти?
ты код то прочти, хотя-бы наискосок.

этот кусок всего лишь сохраняет страничку в файл gis.html

значит и не было никакой магии - простое совпадение.

еле нашел его
вроде смотрел в папке пользователя, но глаза искали txt

Как возникнет облачнаявспышка, проверю еще раз

Дык КлаудФлэйр это CDN - его поведение будет зависеть от погоды на Луне. Поэтому изначальный посыл действительно неверный - если серьезно нужно парсить сырые HTML-страницы, прикидываясь человеком, нужно быть готовым решать капчи, но это уже "чуть" сложнее чем просто дернуть HTML с сервера с нужным UA.

Почему это все так - поставьте себя на место популярного высоконагруженного сервиса. Если каждый встречный-поперечный начнет скриптами таскать у вас контент, то какое у вас будет конкуретное преимущество? Плюс трафик. Поэтому автоматизированный доступ к инфе - будьте любезны АПИ. А всем остальным крепкий CDN, чтобы ни одна заскриптованная муха не пробилась.

Это сообщение отредактировал Nevermind01 - 4.04.2024 - 14:51

Засыпая была идея, что webwiv открывал сайт без решения капчи так как перед этим я заходил тудаже Edge и у них общие куки. Но сейчас думаю, что это не так. Может как то сказывается то, что webwiev может прикидываться мобилкой. но я настроек не менял и не знаю так ли это. Пытался найти кешированные странички и не могу найти. Нашел их в кеше IE но думаю там они как раз в от вебпарсера встроенного в Rainmeter, так как там все погодные сайты обнаружились, а в ие я их не открывал ранее.

Это сообщение отредактировал Kotofanchik - 4.04.2024 - 14:59

так кто же тебе мешает через UA прикинуться мобилкой?

Kotofanchik
уже был JS, чуточку коснулись LUA, дошли до Python
опускать уровень абстракции в сторону C++ не вижу смысла, ибо всё только усложнится,
но вот, вроде как Python, ИМХО, это то, что тебе нужно и даже больше.

Он тебе и сайты подёргает, и даже капчи порешает (ага! нужно только модули погуглить правильные),
и распарсит всё это, и данные распихает в БД,
а потом эти данные проанализирует, нарисует графики красивые,
если захочешь, то и представит всё это в графическом интерфейсе с окошечками, кнопочками и пр.

у тебя уже не первый топик про поиск решения и всё время тебя колбасит именно из-за херового ПО, которое не очень-то и подходит под твои задачи (судя по всему)

так может пришло время выбросить нахер эту софтину,
заняться чтением какого-то гайда типа "питон для чайников" и написать своё приложение?

А картошку когда сажать? :)

так ты тут в обсуждениях больше времени убиваешь, не?

да и эти метания от одного к другому тоже сжирают не мало.

а если по уму,
то написал себе ТЗ, выстроил план,
так чтобы и конечная цель была внятная и понятная не только тебе,
и с промежуточными этапами разобраться бы.

я вот так и не понял что ты делаешь - зачем тебе эти данные все, что с ними потом происходит и какая цель преследуется.

не, про хобби ты не пиши - это понятно.
вот конкретно в этой задачке (да и в предыдущем топике про погоду тоже) нифига не ясно - что потом?
ты просто посмотришь на циферки и всё?

Потом я выхожу на улицу и говорю бапкам соседкам. через час будет дождь. И когда идет дождь, они говорять тихонько: шаман однако.
На самом деле смотрю когда ехать за продуктами чтоб машину не мыть, или там когда свекла в колос пойдет или куда там она идет.
Райнметер очень простая программа для дубов, но можно что-то сделать под себя и пообсуждать с коллегами райнметристами на форумах потом.
вот сейчас яндекс на ночь субботы дает минус 3, а остальные потеплее, но тоже около нуля. Значит надо достать укрывную ткань и проросший чеснок укрыть.
А еще можно пообсуждать все это на форумах.

Это сообщение отредактировал Kotofanchik - 4.04.2024 - 18:34

насчет конечной цели. Предвижу, что сайты могут начать таких райнметристов активнее отваживать используя разные технологии. Хотел бы иметь возможность выдавать запрос от вебпарсера райнметер за человека более качественно. Вплоть до появления окна браузера когда надо с вводом капчи или более качественного обхода капч как в Селениуме Chromedriver вроде сделано. А так как райнметер одинаково умеет читать как сайты так и файлы. то можно готовые погодные скины просто перенаправлять вместо сайта, на эти файлы полученные обходными способами. Ну я так думаю. может создатели райнметер сами что-то новенькое внедрят.

япробовал, это не прокатило.

так, стопэ!
т.е. ты просто смотришь прогноз и всё?

мда.

странно, большинству достаточно просто поставить в телефон один виджет,
ну, допустим у тебя будет 4 виджета.

нафига какая-то прога и ебатень с ней?

допустим, не телефон - всё должно быть в компе.
ну ладно - делаем закладки и добавляем их в группу, разбив окно на 4-8 плиток, чтобы все нужные сводки оказались на одном экране - открывается всё это в один клик и никаких проблем с какими-то рейнметрами не возникает.

я то думал, что у тебя серьёзные игрища там - допустим проверяешь свою гипотезу и потому нужно собирать много данных, потом строить сложные модели ML и гонять комп в поисках зависимостей и аномалий...


вобщем, ИМХО, у тебя просто "заморочка" - нашёл самый неудачный и неудобный способ для просмотра прогнозов и пытаешься убедить себя в том, что из этого можно что-то выжать

Многие люди сморят прогноз в виджетах а не в браузере и им это нравится, мне тоже удобнее видеть виджет который я сам под себя настроил для лучшей читаемости..
А еще браузер надо обновлять, а если делать автообновление то зачастую страница начинает сбиваться, надо прокрутить там или тому подобное.
А еще виджеты у меня на ноуте (на кухне) и планшете (в спальне) запущены. они постоянно включены и по ночам тоже часы и погоду показывают.

И вот кажется имея четыре разных прогноза. Яндекс форека гисметео и везерком получается делать собственные поправки к прогнозам. Кстати везерком в браузерах забанен, но есть пара виджетов которые работают до сих пор.

Это сообщение отредактировал Kotofanchik - 4.04.2024 - 19:00

И вообще RP5 рулит в прогнозах круче всех, по моим личным наблюдениям...

чем тебя не утроил API с https://developer.accuweather.com/ ?
бери, регайся и тяни по API что душе угодно

Пока жил в Казахстане тоже пользовался rp5. А потом назад вернулся и столкнулся, что у рп5 какие-то неправильные прогнозы. Перешел тогда на везерком одновременно познакомился с райнметер. Сам переделывал виджет на русский. Потом Везерком перестал выдавать инфу в РФ. Забросил виджеты и стал смотреть яндекс погоду в браузере. Обнаружил новые версии виджетов везерком уже на русском и работающие в РФ, вернулся к райнметер.. и так далее.

Это сообщение отредактировал Kotofanchik - 4.04.2024 - 19:15

Это очень трудоемкая задача между прочим. Для меня звучит как накопайте руды, выплавьте металл обработайте напильником и пользуйтесь собственнноручно изготовленным авто.:)
У меня есть одна самоделка, но основа у нее все равно не моя. Хотя не внешне, ни по источнику не напоминает исходник.
В аккувезер с райнметер рассорились вроде. Значит готовых виджетов нет (наверное)
Посмотрел, бесплатно только текущая погода, прогноз уже за бапки.

Это сообщение отредактировал Kotofanchik - 4.04.2024 - 19:53