Когда вы скачиваете какую-нибудь бесплатную программу, часто с ней агрессивно навязываются программы и плагины для браузера от поисковых систем, которые многие специалисты расценивают как дополнительный канал для анализа трафика и поведения пользователей.
Помимо этого, поисковые системы могут покупать анонимизированные данные о трафике, просмотренных сайтах или страницах, как это делает известный сервис SimilarWeb.
Ваша секретная ссылка уже не выглядит такой защищённой?
Представьте ситуацию: вы купили авиабилет с вылетом через полгода, вам пришла SMS с ссылкой для просмотра и редактирования информации в личном кабинете. Вы перешли на неё в телефоне, проверили и забыли.
Тем временем ваш мобильный «Яндекс.Браузер», Android или счётчик метрики сообщил поисковику, что появилась неизвестная ранее страница, робот проверил — страница работает, проиндексировал её через какое-то время.
Потом злоумышленник вбивает в поиск запрос вроде «билет на Бали октябрь изменить бронирование» — попадает в ваш личный кабинет, переписывает фамилию на свою и через полгода улетает вместо вас. (Можно представить, что и такие сайты существуют, которые даже не предупредят об изменении и не запросят дополнительное подтверждение или авторизацию.)
Легально ли, что поисковики собирают такую информацию
Поисковый робот не знает — персональные ли данные в файле. Коммерческая ли тайна в таблицах с финансовыми показателями или, наоборот, вы хотели бы делиться этой информацией со всеми. Он переходит по страницам, доступ к которым не закрыт владельцами сайта.
Часто структура и навигация сайтов очень запутанные, используются различные хитрые JavaScript, так что попасть на полезные страницы по ссылкам с главной страницы поисковикам бывает просто невозможно. В этом случае выглядит логичным получать адреса страниц для индексации из максимального числа источников.
Кто виноват в сложившейся ситуации
Я считаю, что 80% вины лежит на владельцах сайтов, которые не обеспечивают должного качества разработки и оптимизации. Как специалист по поисковой оптимизации сайтов с 12-летним опытом могу сказать, что большинство сайтов до доработки SEO-специалистами выглядят плачевно, владельцы словно живут в параллельном мире без киберугроз, без поисковых систем, ботов, которые могут проиндексировать личные данные пользователей.
20% отдал бы поисковикам за то, что они недостаточно освещают свои механизмы ранжирования и индексации. Часто сталкиваешься с непониманием от разработчиков сайтов: «Как же поисковые системы проиндексируют страницу, ведь у них нет ссылки этой страницы?». Такие же вопросы часто слышу даже от специалистов по SEO.
Большинство современных разработчиков считает, что документ, доступный по длинной уникальной ссылке, — надёжно защищён и никогда не попадёт в индекс. Рекомендую представителям поисковых систем больше упоминать на своих профильных конференциях и вебинарах для профессионалов о том, что любая страница, доступная без авторизации, может рано или поздно попасть в индекс.
Ещё есть проблема в том, что разные поисковые системы по-разному используют директивы, их рекомендации по индексации иногда противоречат и взаимоисключаемы. То есть разработчики, сделав всё по инструкции Google, будут удивлены, когда в «Яндексе» директивы, наоборот, перестали работать, из-за чего в индекс попало множество документов, которые не должны были индексироваться.
Последний случай с индексацией персональных данных в «Google Документах»
Пароли и личные данные всегда попадали в индекс, можно было найти эти данные, просто не в таких масштабах. Я связываю последнюю утечку с ростом популярности самих сервисов Google — больше людей пользуется таблицами, теперь это не только айтишники, но и воспитатели детских садов, мамочки, составляющие план покупок. То есть это уже не только продвинутые пользователи.
Мои рекомендации для владельцев и разработчиков сайтов
Любые чувствительные данные максимально закрывать от посторонних с помощью авторизации.
Всегда запрещать роботам индексировать любую конфиденциальную информацию. Причём использовать не только один из рекомендуемых поисковой системой способов, а дублировать, используя все методы защиты, такие как robots.txt, clean-param, meta-noindex.
Проверять, чтобы методы защиты были универсальными и работали во всех поисковых системах.
Помимо этого, определять роботов по user-agent и блокировать им доступ к любой приватной информации, отдавая ответ сервера 4хх.
Обращаться к профессионалам SEO для экспертизы поисковой оптимизации сайта.
Рекомендации для поисковых систем и крупных сервисов вроде PowerBi, «Google Документов»
Чаще прислушиваться к мнению и просьбам специалистов по SEO. Например, в «Яндексе» работа некоторых директив индексации отличается от Google — из-за чего приходится делать сложные схемы обхода, например, с междоменными canonical. Из-за этого у мелких сайтов без высококлассных специалистов могут быть проблемы — закрытые страницы массово попадают в индекс, а там могут быть и частные данные.
Google же считает, что она единственная в мире поисковая система и не учитывает при разработке своих сервисов что есть такие системы, как «Яндекс» с их продвинутыми алгоритмами индексации. Из-за этого в индекс попали документы Google, доступные только по ссылке.
Если бы разработчики Google были более компетентны и учитывали работу всех поисковых роботов, они бы добавили в документы доступные по ссылке запрет индексации с помощью метатега robots noindex. А также блокировали бы доступ поисковых роботов к таким документам.
Также нужно выдавать предупреждение при открытии доступа по ссылке — что наличие ссылки только у вас не значит, что о ней никто не узнает — множество программ, браузеров, плагинов, счётчиков, скриптов собирают информацию и только из разработчикам известно, как они её хранят и куда дальше направляют.
Обновлено редакцией 14 июля. Представители «Сбербанка» сообщили vc.ru, что банк разбирается с описанной в статье ситуацией. «Уже сейчас можем сказать, что данных, которые могут нанести ущерб банку или клиентам здесь нет», — сказали они.
via
yaplakal.com