Пресс-секретарь "Яндекса" Очир Манджиков посоветовал вебмастерам ознакомиться с информацией о файле robots.txt и об его корректном использовании.
Особое внимание тому что индексируют поисковые системы СМИ стали уделять на прошлой неделе, после того как поисковая система "Яндекс", оказалось, проиндексировала и сохранила в сниппетах часть пользовательских SMS абонентов компании "Мегафон" отправлявших SMS через Интернет.
Позиция "Мегафона" заключается в том, что компания должна нести солидарную ответственность вместе с интернет-провайдерами, в то время как "Яндекс" упирает на то, что поисковая система работает с открытыми данными и не индексирует те данные, доступ к которым закрыт в файле robots.txt. При этом благодаря популярности "Яндекса", которая в России почти в три раза выше чем у любого другого поисковика, попадание данных в его индекс резко увеличивает их "находимость", что может иметь отрицательные стороны для всех пользователей интернета пользующихся сайтами с не самыми грамотными вебмастерами.
При этом веб-мастерам стоит думать не только о правильной работе с robots.txt, но и о том, чтобы ненужные данные не могли быть доступны вообще никому без авторизации, так как помимо поисковых систем, руководствующих robots.txt по сети ходит куча роботов, принадлежащих непонятно кому и руководствующихся своими собственными правилами.
Лучшие комментарии
На самом деле утекли приватные данные заказов сотен магазинов (в том числе и секс-шопов). Большинство их объединяет одна деталь: они используют движок Shop-Script, в функциях которого есть просмотр данных заказа по специальной ссылке без авторизации.
Контекст комментария
> URL известен не только браузеру, но и еще неопределенному числу роутеров, прокси и т.д.
Это всё очень примитивная демагогия. С таким же успехом можно публиковать http-пароли на том основании, что они передаются в открытом виде через роутеры и прокси.
Тут как раз тот случай, когда количество переходит в качество. Не важно, что URL принципиально может быть известен посторонним, важно то, что кроме поисковиков все остальные посторонние не предоставляют простой и свободный доступ ко всем этим данным.
Этот ваш сферический прокси позволяет любому человеку получить одним простым запросом все СМС, отправленные через сайт? Все заказы магазина?
Пусть Яндекс, раз уж берет адреса из Бара и/или Метрики, убеждается, что эти адреса являются публичными, очень простым способом: если этот адрес открыло хотя бы более двух человек. А лучше более 10.
Контекст комментария
zotov, вы не представляете, как вы правы — это очень примитивная демагогия. Я вот сейчас пошел на один известный сервис и вижу там адреса страниц, которые раньше мне известны не были совершенно. А этот сервис мне их показывает. Причем не убеждается, что они публичные, как тут предлагает его автор, а показывает, несмотря на то, что ему-то точно известно — этот адрес открыл только один человек.
http://forumimg.net/blog/2011-07-26_02-10-14.png
Контекст комментария
Gray, думаю, беседа будет неконструктивной, потому что каждый кулик всё равно будет защищать своё болото.
> Что принципиально здесь невозможно?
1) при переходе без ссылок не показывается полный адрес, только домен;
2) параметры URL (то, что после знака ?) по умолчанию удаляются;
3) статистика по умолчанию доступна только по паролю;
4) адреса с одним просмотром/переходом обычно хранятся только за текущий день;
5) переход с приватной страницы (например, статуса заказа) на посторонний сайт на порядки более редкое явление, чем само открытие этой страницы пользователем.
В итоге по умолчанию в LiveInternet доступ к этим данным осложнён. И владельцу сайта нужно предпринять дополнительные усилия, чтобы разрешить доступ к ним. С другой стороны, Яндекс по умолчанию всё индексирует и всё показывает. Владельцу сайта нужно предпринять дополнительные усилия, чтобы запретить доступ.
При этом в статистике LiveInternet вы увидите только единичные случаи с приватными данными (переход с приватной страницы на ваш сайт). В Яндексе же вы найдёте все приватные страницы, потому что Метрика загружается на всех страницах и все их сливает индексатору. Разве непонятна принципиальная разница между "все" и "ничтожная доля"?
И получается, что Яндекс удобно и легко использовать для доступа к приватным данным, а LiveInternet - нет. Если хотите, можно сократить: Яндекс удобен, LiveInternet - нет, возражать не буду
Контекст комментария
Так много сайтов прокалывалось и посолиднее, включая например фейсбук (http://news.ycombinator.org/item?id=1402384)
Не хотите чтобы ваши данные попали в поиск (а если на них специально не наставили ссылок, то в теории они попасть не должны) - не пользуйтесь Яндекс.Баром, Гугл.тулбаром и подобными продуктами с изначально заложенным в них шпионажем
Контекст комментария
@altrr, вы самый главный вывод забыли - при заказе анальных украшений не используйте реальные данные.
Контекст комментария
Позиция Яндекса, конечно, доставляет.
Ребята, ну посмотрите как выглядит ситуация: ваши _клиенты_ (а раз стоит Метрика, наверняка сайт размещал или размещает прямо сейчас рекламу в Директе/Маркете) получают от сотрудничества с вами проблемы, большие проблемы. Мало того, что вы используете информацию о посещении клиентского сайта для рекламы его конкурентов, так еще и вытаскиваете контент, который клиенты не планировали выдавать кому-нибудь наружу. Ну, да, эти вебмастера не такие крутые парни, как вы, не всегда думают про роботс.тхт и что контент может стать доступным случайно.
Но зачем вы над ними издеваетесь и поплевываете свысока?
Сергей, ты правда не понимаешь, что позиция "сам дурак" не только некрасивая, но и проигрышная?
Раз вы такие умные, сделайте хотя бы элементарную защиту от дурака. Метод, который предлагает Максим Зотов хороший, никакая ценная информация не потеряется, а от скандалов себя и ваших клиентов вы убережете.
А кто тут рассуждает про "цензуру", так вспомните, что несколько лет назад сайт без авторитетных внешних ссылок вообще имел довольно мало шансов попасть в выдачу, по крайней мере, в Гугле (про Яндекс уже не помню). И никто это цензурой не считал.
Контекст комментария
Нет, Миша, никто над юзерами не издевается. И ты сам прекрасно понимаешь, что ни один самый умный робот не определит по урлу, публично доступному, публично известному и не закрытому от индексации, что это вебмастер тут глупее робота, поэтому надо не индексировать, а то чего доброго…
Контекст комментария
Gray, ок-ок. Назвать своих клиентов идиотами - это было не издевательство, а просто констатация факта. Я понял.
altrr, не знаю что там с лицензией на Метрику, но сотрудники Яндекса публично подтверждали, что данные Метрики используются и для индексации (вот прямо на этой странице в т.ч.), и для подбора объявлений в Директе.
Контекст комментария
Игорь, спасибо за новую грань с PR-атакой, да.
Юра, по-моему, ты не вкурил в мой комментарий. Пиар-атака здесь не при чём, в том числе потому что ты, как журналюга, вообще таких вещей не чувствуешь, как рыба не чувствует воды.
Ещё раз: нет никакой общедоступности результатов поиска по запросу, пока ты не знаешь этот самый точный запрос.
Да, ссылка от запроса по сути ничем не отличается. Одно можно получить DNS-запросом, а другое - поисковым запросом. В любом случае, и то, и другое почти нельзя получить случайно, а нарочно - можно.
Что касается "цензуры" результатов поиска, о которой тут гневно пишет Петренко, то приведу совершенно очевидный пример:
Вот у системы "Виза" есть требование к организациям, совершающим операции с кредитными картами Визы на сумму больше 100 000 евро то ли в день, то ли в месяц (не помню), чтобы номера кредитных карт не выходили наружу из организации в открытом виде ни в почте, ни ещё как. Что такие организации должны подтвердить обязательствами в договоре, какой-то сертификацией и т.п.
Номер кредитной карты - это не просто N циферок, это довольно сложный объхект с внутренней логикой, циферки там как-то зависят друг от друга. Мы как-то писали такой распознаватель для компании Infowatch, которая продаёт систему защиты от утечек, в том числе от таких утечек финансовых данных.
Ясно, что и объекты типа "ФИО", "почтовый адрес", "адрес электронной почты", "номер ГНИ", "БИК", "номер банковского счёта", "номер телефона", "номер автомобиля" и т.п. - система защиты от утечек распознавать должна. Для этого пишутся специальные картриджи-распознаватели.
Часть из них, типа "ФИО", "должность", "название организации", уже есть и у Яндекса, в пресс-портретах.
Ну ладно, Инфовотч - это специализированная система, в которую вбиты сотни человеко-лет.
Но вот распознаватель номеров кредиток - это не бином Ньютона и не рокит сайенс. Его-то можно в индексатор Яндекса встроить?
Сергей, скажи мне, если Яндекс видит на странице номер кредитной карты, должен ли он поместить эту страницу в общий индекс? Или было бы разумно разобрать несколько вариантов принятия решения в данном случае, среди которых, например - заиндексировать страницу, но забить номер иксами, или просто не брать страницу в индекс, или не класть её в кеш и т.п.?
Контекст комментария
Игорь, в том то и дело, что ее неодинаково легко найти. Есть информация с уникальным локатором, известным только тебе.
Ну, уникальный локатор при этом выглядит как простой урл с циферками в конце. Во многих случаях сработает простой перебор. Хакеры тоже ведь не дураки.
Ну да, если ты знаешь второй уникальный локатор в виде ключевого слова, которое есть в СМСках или бланках заказа/доставки, можно по нему и поиcковый запрос построить.
Но что уникального в локаторах вида:
url:www.railwayticket.ru* | url:railwayticket.ru*?
Контекст комментария
Игорь, Яндекс как раз увеличивает публичность, да еще как.
Уникальный адрес, куда может попасть человек никому не мешает. Особенно, если этот адрес действует ограниченное время (10 минут, час, сутки) - как в случае с Мегафоном.
Случайно попасть туда нельзя. Разве что перебором - ну, так для этого и делают длинный урл со странными последовательностями символов.
А вот если такая страница засвечена в поисковике, то попасть на нее случайно - дело времени, примерно как попасть на порно по запросу "киска", если специально ничего не фильтровать.
На мегафоновские смски можно было легко попасть по номеру телефона (я иногда задаю такие запросы), в этот магазин - например, по названию товара, имени получателя, адресу и еще много как.
Если продолжать твою аналогию с кустами, то в магазине эти кусты были где-то в глухой Сибири, а Яндекс перенес их на Тверскую.
Контекст комментария
Посчитали Крибрумом, когда появилась первая запись про СМСки Мегафона (мы всё равно меряем операторов). Первая запись, которую видит Крибрум - это Hitman в Твиттере, примерно в 13.07.
Его дальнейшие записи в Твиттере выглядят адекватно, в русле версии о его вбросе ("вброс, кстати, мой! знакомый директор компании кинул в личку, у них в штате есть сеошнег, оттуда корни, сами побоялись публиковать").
Следующая волна - это ретвиты именно этой записи.
Контекст комментария
Кстати, на серче Сергей заявил:
"Я уже не надеюсь, что до этих "специалистов" дойдет, что Яндекс.Бар здесь не причем, но на всякий случай повторю — Яндекс.Бар здесь не причем. Страницы магазинов и жд билетов проиндексированы благодаря Метрике".
Правда, натолкнулся на возражение о том, что в индекс попали сайты без Яндекс.Метрики.
Контекст комментария
А вообще мне нравится наблюдать, как работает моск у Юры и прочих местных правозащитников - они не понимают того, что сами же пишут. Или даже понимают ровно наоборот - то, что сказали сами же.
Вот они негодуют:
Смотри, Яндекс - ты же в прошлый раз игнорировал общественное мнение! Не хотел киски и школьниц почистить! Не хотел рейтинг блогов модерировать! А ведь потом пришлось!!! И сейчас придётся!
Ну да, а как ещё жизнь устроена? Это и показывает, что Яндекс прислушивается к общественности, а не наоборот!
Вы против чего согласны-то?
Ребята, а как вы вообще представляете себе достижение общественного консенсуса? Да даже консенсуса с вашей женой по поводу отпуска или покупки шмотки?
Ну да, она сначала будет спорить, у неё будут свои аргументы, у вас свои, интересы же разные; потом вы её частично убедите, она уступит, вы уступите, кто-то предложит решение, вы договоритесь на чём-то.
А вы что - хотели бы, раз в прошлый раз Яндексу пришлось подвинуться в вопросе порно, чтоб он теперь по щелчку ваших пальцев прибегал и спрашивал: чего изволите в этот раз удалить из выдачи?! Будет сделано! Есть! Так точно! Бегу выбрасывать! Больше не повторится!!!
На Роеме же написали!!!
Вы жену-то смогли так выдрессировать? Начните с неё, вы ей хотя бы денег даёте.
Скорее всего скандал ещё будет продолжать шириться, всякие компании и специалисты из ИБ, студенты и оптимизаторы будут искать "уязвимости", чтоб отпиариться, в Яндекс последуют запросы из официальных органов, вожди выскажутся, пиарщики отстреляются, СМИ охрипнут, "эксперты" повторят сто банальностей, яндексоиды найдут какую-то формулу согласия (как с удалением рейтинга блогозаписей), объявят о ней.
Ну и что? Так и рихтуются обычаи делового оборота и законы. Например, так появился известный Сарбейнс-Оксли.
Яндексу, кстати, этот шум выгоден, как ни странно - он повышает значимость поиска в обществе.
Вы пафос-то правозащитный снизьте всё же. Обсуждайте суть проблемы, а не возмутительную неуступчивость Яндекса.
И кстати, а что ж вы перестали гневно обличать ВКонтакт за средний палец, порно и неуважение к пользователям? Или теперь за это отвечает Пеганов?
Контекст комментария
Комментарии
Лучший комментарий. Развернуть?
Жертва №2: http://yandex.ru/yandsearch?text=site...D1%8C&lr=2
Комментарий tsukanov отредактирован tsukanov 25.07.2011 22:36:01
Человек пользуется IE, Gmail и "Яндекс.Баром"
>Человек пользуется IE, Gmail и "Яндекс.Баром"
Ну, лизензионное соглашение Яндекс-Бара, к примеру, в п. 6.3 говорит, что собирает информацию анонимно (без привязки к пользователю). А какое ж тут анонимно, если все его персональные данные в паблик попадают?
Например, Яндекс.Бар или Google.Бар показывают ранг страницы, для чего передают ее адрес на сервер
А что до лицензионного соглашения, они же не записывают, кто эти данные там вводил? Может муж жене что-то покупал.
Полная анонимность, какие претензии?
Вы считаете, что есть анонимность, я считаю, что нет - вот и претензии. Интересно, с кем из нас согласится Алсина Шагабиева или Екатерина Ульянкина?
"1. Каждый имеет право на неприкосновенность частной жизни, личную и семейную тайну, защиту своей чести и доброго имени.
2. Каждый имеет право на тайну переписки, телефонных переговоров, почтовых, телеграфных и иных сообщений. Ограничение этого права допускается только на основании судебного решения."
P.S. И да. Мне очень интересно, как бы отреагировал на публикацию о себе подобной информации г-н Юрий Синодов. У меня такое впечатление, что он относится к ней весьма щепетильно. Помнится, как-то очень огорчался по поводу номера банковской карточки.
Комментарий ludkiewicz отредактирован ludkiewicz 26.07.2011 01:42:22
Дык, Яндекс (Гугль, Бинг - нужное подчеркнуть), разве не? До того, как юзер зашел на страницу с приватными данными в браузере с установленным баром поисковика, они были известны только ему и владельцу магазина. Ну, а затем, через свой бар об этом узнал поисковик и рассказал по секрету всему свету. Разве не так?
Мне кажется, это дискуссионный вопрос.
Скажи, что в этом приватного, что само по себе, безотносительно к содержанию страницы, безусловно запрещает ее посещение/индексацию?
есть такое понятие как шифрование с ключом, в качестве этого ключа выступает некая комбинация символов и она действительно известна только магазину и покупателю, но передается она через браузер и браузер имеет наглость этот ключ палить
по-моему это тупо не этично. и до того, как Гуглы, Яндексы и прочие охамели это был вполне приличный способ давать доступ к контенту без авторизации.
например, мы в своей CRM-ке даем по ссылкам из письма просматривать быстро счета, ну а что пользователю каждый раз логиниться в CRM, чтобы открыть счет? да ну вы господа окуели.
такой метод отправки форм как GET нужно видимо заранее исключить из стандарта HTML как более неактуальный
закончится это тем, что поисковики начнут неоткрытые ссылки из писем открывать и индексировать
и вопрос лишь времени когда поисковики начнут индексировать и выкладывать письма, как видим понятие об этики перевешиваются жаждой заработка на показе частной информации и контекста к ней
заметим было бы желание, подобные страницы, на которых нет внешних индексируемых ссылок поисковики могли бы более тщательно проверять на приватность данных. тему значит определять можем, Матрикснет придумали, скоро роботы яичницу будут готовить, а то что на странице есть ФИО, телефон и адрес сопоставить мы не можем, ага
Комментарий coffetea12 отредактирован coffetea12 26.07.2011 02:31:44
Комментарий ludkiewicz отредактирован ludkiewicz 26.07.2011 02:21:26
кстати, насколько я знаю, booking.com до сих пор позволяет, просто зная ссылку, зайти на определенную страницу и отменить бронирование отеля
вот повеселиться от души то можно, если ссылочки пособирать
Комментарий coffetea12 отредактирован coffetea12 26.07.2011 02:30:22
Ты заодно все же задайся вопросом, а как эти же страницы оказались в Гугле, хотя никакого Аналитикса там не присутствует?
Так вот про приватность — ты настаиваешь на том, что, получив не по своей инициативе адрес страницы в качестве реферера, некто не имеет права его использовать?
С приватными данными нет. Синодову тоже "подкинули", так он в фотошопе закрасил.
Если бы не по своей инициативе получили героин, его можно продавать?
Лучший комментарий. Развернуть?
Лучший комментарий. Развернуть?
Повторюсь: разница в массовом простом и универсальном доступе. Через этот известный сервис вы не получите ни текста смс, ни фамилий с адресами заказчиков красных труселей.
Что принципиально здесь невозможно?
Лучший комментарий. Развернуть?
Лучший комментарий. Развернуть?
Лучший комментарий. Развернуть?
Посмотри в список Владимира Иванова:
Итак, на страничку не зашел еще ни один живой человек, но про нее уже могут знать тысячи программ по всему интернету:
• поисковые системы, куда вебмастер отправил ссылку вручную;
• блог-платформы и сокращатели ссылок;
• поисковые системы, которые переиндексировали страницы с ссылками на эту (а зачастую это происходит очень быстро);
• всевозможные анализаторы и подписчики RSS (если на сайте есть RSS), причем не только через RSS сайта, где расположена страничка, но и через RSS блогов, агрегаторов, блогов агрегаторов, агрегаторов блогов, агрегаторов агрегаторов и так далее;
• компании-владельцы интернет-мессенджеров и провайдеры почтовых сервисов.
Из этого списка реальную возможность найти приватную информацию предоставляют исключительно поисковики.
Причём благодаря развесистости вашего языка запросов (в противовес Mail.ru) и популярности вашего "Бара" (в противовес Google) у вас этой информации существенно больше и найти её намного легче.
С момента, когда об этом стало известно, скоро уже сутки пройдут - вам всё пофиг.
Ну дождётесь, как это было с медийным влиянием, платиновую акцию еще Роскомнадзору подарите.
P. S. Я не думаю что им пофигу, если бы ЯНдекс мог отсеивать такое не в ручном режиме - отсеивал бы. Так что это просто ну, нетривиальная задача)))
Комментарий ratel отредактирован ratel 26.07.2011 10:28:47
Ну, зашёл человек с баром на приватную страницу. Яндекс узнал о том, что эта страница существует. Яндекс по-прежнему не знает ни единой страницы, которая бы ссылалась на эту "приватную". Зачем её индексировать? Если даже владелец сайта не озаботился тем, чтоб на эту "приватную" страницу можно было попасть, кликая по ссылкам сайта, то зачем Яндексу такая страница в выдаче? ("даже" - т.е. не только внешних нет, но и внутренней НИ ОДНОЙ)
Яндексу что, индексировать больше нечего? Весь интернет уже проиндексировали, остались только непубличные страницы без единой входящей ссылки?
Поисковики для того и придуманы, чтобы легко и быстро находить информацию, всю информацию, любую информацию, которая общедоступна. Это им смысл существования и разбираться, какая информация приватна, какая может быть государственным секретом и проч. им просто вредно.
Следующий этап - это вопрос, какая информация попадает в общий доступ. "Секретный" код (например, сессии) в URL - это не просто плохой способ защиты, а очень плохой, кажется, об этом знали еще десять лет назад все, даже те, кто не занимался разработкой сайтов (я, например). Код можно угадать, пользователь может скопировать куда-то url вместе с кодом, она окажется в качестве реферера в логах чужих веб-серверов - есть десятки способов стырить информацию с таких страниц. "что пользователю каждый раз логиниться в CRM, чтобы открыть счет?" - конечно, да, если он делает это не со своего компьютера (а на своем у него может стоять кука).
Наконец Я.Бар и иже с ними - имхо, это зло с точки зрения пользователя, но для поисковика ценен любой дополнительный источник ссылок. Ведь проиндексировать микрософт.ком не хитрость, сложно проиндексировать какие-нибудь хоумпейджи, на которые ссылаются полторы калеки во всем интернете. Но про существование этих самых Баров давно известно и то, что разработчики сайтов игнорируют их существование - косяк исключительно этих самых разработчиков и нечего с больной головы на здоровую валить. Повторюсь, "спрятанные" открытые ссылки могут попасть к поисковику тысячей способов, ни один из которых разработчик не контролирует. Все, что он контролирует, это доступ к странице, этим он и обязан заниматься.
Юра, мы не игнорируем факты. "Улучшение искабельности информации" — это суть поисковика. Наша задача заключается в том, что если есть в интернете информация, которая может быть ответом на вопрос пользователя, надо помочь ему ее найти в удобном и понятном виде. А если попутно выясняется, что кто-то в здравом уме и собственном невежестве ходит по улице без трусов, то наша машинка его сфотографирует и с большой вероятностью опубликует на Панорамах. И никто в Яндексе не задастся целью пририсовать ему трусы — мы не цензоры. И не сторожи братьям нашим по разуму, пусть и младшим.
P. S. И если вы такие все в белом и трусов не рисуетте, зачем смсски из выдачи выпилили?
Комментарий ratel отредактирован ratel 26.07.2011 11:00:48
А как Яндекс узнает, что на эту страницу нет входящих ссылок с какой-нибудь еще такой же "темной" страницы?
Вы хотите, чтобы весь интернет был единым связным графом, но совершенно непонятно, почему он должен являться, почему бы ему не распадаться на несколько - потенциально много - отделных графов не связанных между собой?
А если попутно выясняется, что кто-то в здравом уме и собственном невежестве ходит по улице без трусов, то наша машинка его сфотографирует и с большой вероятностью опубликует на Панорамах
Google с такой логикой сам знаешь чего дождался, да? (один из примеров). Вы получите то же самое.
И вы цензоры, не надо "ля-ля". Explicit контент у вас отлично режется, а песню про "зеркало Рунета" вы слили в 2009-м.
Вам предложили вполне изящный способ - забанить к чёрту эти сайты в поиске - они некачественные, даже по вашим меркам. А вы сидите и в ус не дуете.
P. S. На самом деле наверное поисковики будут стоять стеной за возможность искать везде, кроме чайлдпорн. нам остается либо смириться с потерей privacy, либо это должно быть какое то международное законодательство. И пока не понятно какое. В этом смысле действительно с Яндекса спроса нет. ФОрмально.
Комментарий ratel отредактирован ratel 26.07.2011 11:17:49
Страницы с смс были удалены после установки на сайте Мегафона robots.txt. Сайты на скрипте WebAsyst (название уже, кажется, многое говорит об уровне), если поставят robots.txt, могут через webmaster.yandex.ru указать адреса страниц, которые должны быть удалены, или просто в саппорт написать.
Юра, это тебе изящный способ — вон сколько Альтерэг, хоть половину забань, новые на их место встанут. А банить сайты в поиске только потому, что их вебмастера сами себя считают глупее нашего робота, — этак можно и правда экономику Рунета обрушить. Ни почитать чего перед сном не будет, ни одеть перед ним же.
Тут ни одного Alter Ego.
И попробуй забань его, как же.
поисковик проиндексировал то, что ему было разрешено - это нормально? это более чем нормально. разрешить или запретить во власти вебмастера.
поисковик выдал информацию, которая подпадает под закон о защите персональных данных - это нормально? нет, это нарушение закона, со всеми вытекающими. и совершенно без разницы, как эти данные были получены (из открытых источников или нет).
Трабла в том, что "Яндекс" не хочет ничего отделять и разбираться, что за данные он проиндексировал.
Цензуры у них типа нет.
Если я передал кому-то свои ФИО и адрес как клиент для совершения транзакции - получатель должен из защищать; если я в интервью журналисту (или в своем блоге) сообщил, что я такой-то такой-то и живу там-то и там-то, разве на ком-то есть обязанность не распространять данные, полученные из такого источника (например, при перепечатке интервью)?
По-моему, Яндекс не имеет шансов разобраться здесь и с его точки зрения все данные, к которым имеет доступ его робот - публичные. Ну а если кто-то доверенные ему персональные данные разместил так, что робот Яндекса получил к ним доступ, то это ЕГО вина, а не Яндекса.
Другими словами, не надо различать события проиндексировал/опубликовал; все, что индексируется - уже опубликовано.
Да, и дело не в цензуре. Это не их зона ответственности, поэтому непонятно, почему они должны этим заниматься.
Комментарий Crio отредактирован Crio 26.07.2011 13:14:14
Отсылка пользователю персонализированной ссылки - возможно не лучшая, но распространенная практика. Как и определенное человеческое раздолбайство вебмастеров - обычное явление. в итоге же страдают и пользователь того же тулбара и (по мере того как тему обсуждают в СМИ) в целом доверие к интернет коммерции.
А вот подробно порассуждать о громком названии, высказать собственное непонимание законодательства и privacy в интернете, высосать из этого пальца рассуждения об IPO, курсе акций и взаимоотношениях с ДАМом лично — вот это достойное занятие для постоянного посетителя этого сайта.
Ну не robots.txt же на сайты ставить, что вы, право.
они были известны только ему и владельцу магазина. Ну, а затем, через свой бар об этом узнал поисковик и рассказал по секрету всему свету. Разве не так?
Вообще-то нет. Яндекс никому ничего не рассказывал. Он показал список этих страниц один раз кому-то - а вот тот уже рассказал всему свету, сознательно и энергично.
Только после этого Яндекс показал эти же результаты поиска всем - когда все уже знали.
В Яндексе заиндексированы миллиарды страниц, подавляющее большинство из которых доступны только теоретически, но никогда и никому не показывались в поиске.
Просто потому что их никто не искал, а если и искал, до них не долистал в результатах поиска.
Вы посмотрите на средний результат поиска - 100 000 страниц найдено, а смотрят 10-20 максимум. То-то и оно: публикация в Яндексе - чисто потенциальная. У 99,(9)% адресов страниц в Яндексе количество кликов = 0.
Вообще-то это публикация ровно такая же потенциальная, как на странице с уникальным урлом на сайте магазина или в кеше прокси-сервера. Кто-то, кто знает адрес или запрос, может получить доступ, а потом растрепать всем. Кто не знает - не может.
Когда адрес стал публичным - смотрят все. То же с запросом.
Вообще непонятно, как вы отличаете ссылку на страницу, которая с помощью сервиса DNS поднимает страницу из СУБД на сайте или из кешей прокси, от запроса, который ту же страницу поднимает из индекса Яндекса. Разница-то в чём? И то и другое - просто публичный ID страницы.
Таким образом, нужен кто-то, кто сознательно сделает ссылку или запрос достоянием общественности. Этот кто-то - человек, а вовсе не робот. Возможно - заинтересованный человек, конкурент или пиарщик.
Поэтому всему свету об этих СМСках и кожаных стрингах рассказали люди. А именно СМИ, а также те, кто осуществляет поиск этих "уязвимостей" и по сути пиарную атаку на Яндекс.
Комментарий Ashmanov отредактирован Ashmanov 26.07.2011 14:10:57
> Трабла в том, что "Яндекс" не хочет ничего отделять и разбираться, что за данные он проиндексировал.
> Цензуры у них типа нет.
Если Яндекс решит публично взять на себя функцию цензуры, представьте что тогда будет!
Его заклюют все, недовольны будут все. Но зато сколько будет предметов для обсуждения!
Это гораздо интереснее, чем вебмастеру-недоумку читать help.yandex.ru про robots.txt .
С зеркалом Рунета понадобилось 5 лет, чтоб вы их перестали петь.
Но написать новую легенду, про глупых вебмастеров и идиотов-разработчиков и петь её много лет, пока "Яндекс" не прижмут к ногтю - достойное занятие для сотрудника "Яндекса"
Kost, Яндекс уже давно взял на себя функции "цензуры" как вы называете и фильтрации, как это явление называть корректнее. Сами пишут - никакой порнографии и мата на популярных страницах. Представьте, из чего состоял бы топ блогорейтинга (пока был жив), если б этих фильтров не было
Комментарий sinodov отредактирован sinodov 26.07.2011 14:20:37
Это многое объясняет. Борьба "Яндекса" за право ничего не делать в таких условиях выглядит как борьба с терроризмом - никаких переговоров и уступок, пусть видят, что нам никого не жалко.
robots.txt должен быть написан!
ТО есть вы считаете что если интернет магазин сделает доступной возможность искать по своей базе заказы других людей то его вины в этом нет. Он всегда может сказать - это просто база, че вы туда лазите со своими дурацкими запросами, если бы вы не распиарили то никто бы не знал что у пенсионера Сидорова Феррари. Вообще у нас эта запись в самом низу, и ее никто не видел, просто лежала пылилась.
Ага, от любопытства кошка сдохла.
Комментарий ratel отредактирован ratel 26.07.2011 14:19:56
Лучший комментарий. Развернуть?
Подожду пять лет просто, кину тебе ссылку на этот топик.
Если ты честный человек - пришлёшь мне бутылку коньяка.
Лучший комментарий. Развернуть?
Покупали в сексшопе - Яндекс сделает это известным широкой публике рано или поздно. "А у них робота не была, наша система ничего не знает" или любая другая причина.
P. S. Да да, щас начнется бред про цензуру etc. Порно цензурируете же? В конце концов это работа поисковиков - показывать или не показывать ту или иную инфу пользователю.
Комментарий ratel отредактирован ratel 26.07.2011 15:00:06
ну, вообще-то, час назад на морде яндекса была новость "Поисковики раскрыли клиентов секс-шопов", т.е. таки да, выложили на главную :)
Пусть есть некий магазин, отправивший пользователю уникальную ссылку о статусе заказа. О ней знает только магазин, пользователь и почтовая система. Публично доступной ее сделал нерадивый вебмастер, не закрывший ее в робота.тхт. Угадайте, кто ее сделал публично известной?
altrr, если захочешь быть автором топиков на Roem.ru - в любое время
Гонорар в двойном, нет, в тройном размере
Комментарий ratel отредактирован ratel 26.07.2011 15:13:56
Лучший комментарий. Развернуть?
В веб 2.0 такой защиты уже недостаточно.
Privacy в веб 2.0 это очень большая проблема. При открытии страницы вся ее информация, урлы, вводимые данные могут быть доступны:
0. самому сайту;
1. счетчикам, установленным на этой странице;
2. рекламодателям, чьи рекламные блоки крутятся на этой странице;
3. сайтам чей контент вставлен на эту страницу (картинки с др. сервисов, ролики, виджеты...);
4. дополнениям к вашему браузеру;
5. браузерам;
6. ОС.
Т.е. даже в самом обычном случае около 10 сторон имеют доступ к информации, а в некоторых случаях из модет быть до сотни. И как тут обеспечить privacy?!
Как минимум вебмастер должен сделать так, чтобы на странице, где есть непубличная информация, не было ничего от сторонних сайтов, это защита от п.1,2,3. Как защититься от остальных пунктов -- непонятно, возможно в рамках современного веба только грамотно написанный java-applet может обеспечить защиту. Других вариантов я пока не вижу.
Комментарий soomrack отредактирован soomrack 26.07.2011 15:26:48
На мой взгляд, работа поисковиков это ПОКАЗЫВАТЬ информацию, по определению. Не показывать - это работа каких-то других органов.
(И если вы хотите снова поднять вопрос ДП, то я за то, чтобы поисковик ее показывал наравне с любой другой информацией в частности для того, чтобы другие органы быстрее шевелились по вопросу ликвидации складов.)
Говоря о Вашей мантре, если речь идет именно о данных, обсуждаемых в этом топике, собранных с помощью отслеживания поведения пользователя, то я не вижу выигрышности такой позиции ни для Янденкса, ни для магазинов, ни для пользователей.
Mkozloff, я думаю, что если и было сказано, то не подумав, и очень надеюсь, что это не так.
С другой стороны, мегафон/магазины/прочие сайты грубо нарушают статью 19.1 данного закона, а именно:
"Оператор при обработке персональных данных обязан принимать необходимые организационные и технические меры, в том числе использовать шифровальные (криптографические) средства, для защиты персональных данных от неправомерного или случайного доступа к ним, уничтожения, изменения, блокирования, копирования, распространения персональных данных, а также от иных неправомерных действий."
С них и спрос.
Лучший комментарий. Развернуть?
Короче Sinodov прав. проблема всем ясна, признает Яндекс или нет. Может они и раньше об этом думали, теперь будут думать активнее. Щас все будут стоять на своих позициях, но глядишь если, дай бог, лет через пять, перестанут попадать личные данные в выдачу, Яндекс первым скажет что это хорошо.
Комментарий ratel отредактирован ratel 26.07.2011 15:59:58
ТО есть вы считаете что если интернет магазин сделает доступной возможность искать по своей базе заказы других людей то его вины в этом нет.
По-моему, вы не вчитываетесь или не понимаете, что написано.
Кто виноват в изначальном создании возможности доступа к персональным данным или личной переписке - очевидно, это вебмастер. И именно он нарушил закон, который выше процитировал Crio, не приняв достаточных мер к защите чувствительной информации.
Помещение этих данных на открытую страницу с прямым адресом - это уже публикация (или возможность доступа, неважно).
Однако ж помещение открытой страницы в индекс Яндекса нисколько не увеличивает степень её публичности - по сравнению с прямым адресом страницы. И то, и другое - доступно, лежит где-то в кустах. Случайно натолкнуться трудно, а если специально искать - и то, и другое одинаково легко найти. И фишеры/хакеры/спамеры, которые перебирают адреса/пароли, хорошо это знают.
Какое убожество мысли.
Это не мой продукт. И фамилия тоже не моя. Меня зовут Игорь Ашманов.
Я просто говорю о том, что мы занимались утечками профессионально, писали ОЕМ-модули для Infowatch (там, впрочем, сейчас своя технология), картриджи распознавания, поэтому я кое-что об этом знаю.
Вопрос про блокирование номеров кредиток при индексации - не праздный. Это легко сделать, и это очень чувствительная, опасная информация.
Комментарий Ashmanov отредактирован Ashmanov 26.07.2011 16:14:20
О, ну расскажите же нам, как "если специально искать" без использования яндекса легко и быстро найти хотя бы один урл страницы со статусом заказа вида
http://www.railwayticket.ru/print.php...3ac4cff025
которые легко находятся по запросу
http://yandex.ru/yandsearch?p=12&text...ru*&lr=213
он палит все заказы с сайта с такой вот дыркой. если знать, что есть на таком то сайте уязвимость, то собрать все подобные страницы просто не получится. поэтому это приемлимый способ безопасности
яндекс просто взял и собрал все данные по одному источнику через свои spyware
Комментарий coffetea12 отредактирован coffetea12 26.07.2011 16:19:35
> Вопрос про блокирование номеров кредиток при индексации - не праздный. Это легко сделать, и это очень чувствительная, опасная информация.
Исключение из индекса частной информации (номера кредиток, паспортные данные, номера электронных кошельков и пр.) это плюс для поиска в плане очистки выдачи от мусора, но никак не защита персональных данных. Если такие данные собрал поисковик, значит их может собрать и другой робот, не публичный. На мой взгляд, если частные данные Яндексом проиндексировались, то чем быстрее они окажутся на главной витрине рунета (в его выдаче), тем быстрее их закроют, и тем меньше роботов их соберет.
Другое дело, что наличие подобных данных в поисковиках и др. сервисах сбора информации надо централизовано отслеживать и оперативно выносить предписания дырявым сайтам.
Для этого ему потребуется вторая компонента этого бинарного оружия - передача урлов через Метрику, Гугл-Аналитику, тулбар или троян.
Наиболее вероятный сценарий"непубличного робота" - именно трояны. Но за атаку троянов судить никого не будут, а вот за индексацию Янедксом - могут.
Лучший комментарий. Развернуть?
Сколько в среднем аддонов установлено в браузерах? А ведь каждый из них потенциально может собирать эту информацию. И она никогда не попадет в поисковую выдачу.
Предположим, что ответ на этот вопрос "нет". А потом мы захотим найти документ системы VISA, описывающий конструкцию номера кредитной карты на примерах и его почему-то не окажется в индексе; потом не окажется в индексе части статей какого-нибудь журнала, потому что их ISDN номера случайно оказались потенциально верными номерами кредитных карт, ну и так далее.
Идти по этому пути можно, но там столько подводных камней, что "сделайте это немедленно!" точно не получится.
Конкретно такого - фиг знает; но вообще методом "подбора урл" чего только не взламывали, от банков до Блумберга. Если история ничему не учит, то...
Что-то я не пойму, как легко можно узнать специфический адрес, который теоретически был известен только покупателю. Каким перебором? Там хеш из нескольких десятков символов с мультитриллионым числом комбинаций.
Я хочу найти в Интернете информацию о каком-то человеке. Я не строю никаких сложных запросов, просто имя и фамилия. Например, ищу "Иван Ла**ун" (на всякий случай зазвездю). И нахожу страницу с информацией о его заказе в магазине на второй позиции в Яндексе. Что такого случайного в моем запросе? Для меня, если я знаю человеке или хочу узнать о нем что-то, ничего случайного. Или вбиваю номер телефона и нахожу смски для этого человека. Что такого специфического и хакерского в моих запросах?
Лучший комментарий. Развернуть?
Во всех случаях (с Мегафоном и интернет-маназина), где ссылки нашлись в Яндексе, методом подбора урла, найти валидный урл было невозмжно (были длинные случайные части в урлах). Поэтому слова Ашманова - попытка выдать желаемое за действительное.
Главное сделано - страница открытая.
От страницы, которая выдаётся только по куке или которая в принципе не выдаётся никакому поисковику, распознаваемому по user agent, открытую страницу с прямым адресом отделяет такая пропасть, что разница между этой прямой ссылкой или запросом в Яндексе - незаметна.
Просто сначала вы говорите что поисковик ни в чем не виноват, а потом - что можно было бы и получше стараться.
А вы отвлекитесь от своего чёрнобелого взгляда в духе "а ты за красных или за белых?!!!".
Предположим, что ответ на этот вопрос "нет". А потом мы захотим найти документ системы VISA, описывающий конструкцию номера кредитной карты на примерах и его почему-то не окажется в индексе; потом не окажется в индексе части статей какого-нибудь журнала
Это пошёл разговор про полноту и точность распознавателя номеров кредиток. Ну так вся история поисковиков про полноту и точность. Да, будут и ложные срабатывания, а где же обходится без них?
Этак можно сказать, что и спам не надо фильтровать, а то могут быть ложные срабатывания.
Это же управление рисками, непрерывный спектр. А сейчас имеется чёрно-белая ситуация, мы находимся на одном конце спектра: вообще номера кредиток/ФИО/паспортные данные/адреса не распознаём и ничего не делаем.
Заметим также, что там могут быть промежуточные решения, о которых я писал: зачёркивать сами номера, а страницы индексировать и показывать.
Вас же никого не напрягает замазывание почтовых адресов или номеров кредиток в скриншотах здесь на Роеме?
Во всех случаях (с Мегафоном и интернет-маназина), где ссылки нашлись в Яндексе, методом подбора урла, найти валидный урл было невозмжно (были длинные случайные части в урлах).
Я в этом не уверен. И вы этого утверждать не можете: откуда вы знаете, насколько там случайные части? Может, у них рандомайзер кривой и на двадцатом урле зацикливается?
Для того чтобы добраться для этих урлов, нужен был сборщик урлов. Это может быть перебор, а может быть тулбар в браузере, которых десятки тысяч видов. Да та же Алекса, например, гугловские прилады и т.п.
Вот Андрей Иванов Казанский как-то прошлой осенью раздавал поисковый тулбар в ФФ (сначала от АиП), который сравнивает и замешивает результаты поиска Яндекса и Гугла, а также размечает выдачу. Он роздал 30 000 тулбаров за три дня, а мог бы раздавать 120 000 в день - были бы деньги. Это стоит 1-3 рубля за установку, если хорошо договоришься.
И этот тулбар люди практически не сносили (1-2% в неделю), при этом он отдавал на сервер всё: IP, урлы, запросы, клики в выдаче. И никто не парился.
Ну и собрал бы он этих сексшопных урлов с тем же успехом. А потом роботом по ним пройтись, заиндексировать - не фокус.
Доказать, что числа действительно случайные, конечно, невозможно. Но точно так же вы не можете предложить простого и быстрого способа перебора этих урлов, что делает разговор о том, насколько он случайные, бессмысленным.
> Для того чтобы добраться для этих урлов, нужен был сборщик урлов.
Спасибо, Кэп!
> Это может быть перебор, а может быть тулбар в браузере, которых десятки тысяч видов.
В случае с SMS от мегафона и с интернет-магазинами, это не может быть перебор, так как нет алгоритма, по которому его нужно осуществлять, чтобы получить значительное число урлов за приемлемое время.
> .. раздавал поисковый тулбар в ФФ ..
Установка тулбаров или spyware - это работающий способ получения урлов, но в отличие от поиска через Яндекс, он
1. Не простой
2. Не дешевый
3. Не всегда охватывает значительную часть пользователей
> Ну и собрал бы он этих сексшопных урлов
Ну и сколько бы урлов он собрал 30 000 тулбаров (потратив 1-3 рубля за каждую установку тулбара)?
Комментарий erxud отредактирован erxud 26.07.2011 17:49:23
выдаёт такие страницы:
http://bz.uao.mos.ru/textform.aspx?do...6968,46986
Тоже Яндекс виноват?
Гугл туда же.
И что делать вот с такими страницами - они хорошие или плохие:
http://kprf-kaluga.ru/documents/wide/475
Запомните истину:
Нельзя подслушивать чужие телефонные переговоры, несмотря на то, что провода и эфир доступны. Нельзя перехватывать смс-ки, сообщения электронной почты, аськи, скайпа, несмотря на то, что теоретически это можно осуществить. Нельзя индексировать страницы на которые нет ссылок.
Если вы будете плевать на эту простую штуку - люди вас сожрут. И по другому быть не может.
Комментарий umkalive отредактирован umkalive 26.07.2011 17:51:57
Во-вторых, сам по себе номер малоопасен — требуется еще точное имя кардхолдера, CVV, срок действия.
В-третьих, представь, что это все опубликовано, только номер кредитки представлен последними четырьмя цифрами, а остальные замазаны. Собственно, банкоматы так часто выдают слипы. Внешне все безопасно, только подобрать и использовать такую кредитку ерунда — первые четыре цифры это код банка, вторые 6 даже простым перебором узнать — ну, вполне комфортное время понадобится. А если они связаны какими-то закономерностями — и подавно.
В супермаркете, вы стояли на кассу за женщиной, которая ничего не знала про роботс.тхт и даже более простых вещей она не знала. Вы видели как она расчитывалась карточкой. Вы обладаете хорошой помятью и запомнили детали с ее карточки. Вечером вы опубликовали данные в своем уютном бложике. Женщину обокрали.
Внимание вопрос:
Кто виноват?
Женщина, ибо не пропатчила роботс.тхт. :)
> Вас же никого не напрягает замазывание почтовых адресов или номеров кредиток в скриншотах здесь на Роеме?
Конечно, спектр решений может быть разный. Но правильное(ТМ) решение - это навесить люлей тем, кто так раздолбайски подходит к разработке отвественных приложений.
вы не поверите
P.S. Шучу, шучу
Лучший комментарий. Развернуть?
Яндексу наверное лучше всего сказать, что наш хрупкий мир столкнулся с новым вызовом, и он, яндекс, активно борется с современными угрозами в отличие от некоторых недобросовестных, которым не место в современной России, но лишь на задворках цивилизации. Ну, типа гасить такой пожар неразумно, много легче направить на дом зажиточного соседа. :)
Вот это - слова Гражданина. :)
Правда, я надеялся, что здравый смысл иногда бывает сильнее инстинктов тролля, и вы догадаетесь, что виноват в краже тот, кто собственно обокрал. Но такой простой ответ вам в голову придти не мог, ибо к нему никак не пришьешь причастность Яндекса.
> Кошмарная позиция компании. Необъяснимо безответственная.
Переводя на простой язык — какой ужас, что большая компания Яндекс не желает взять на себя ответственность, освободив от нее остальных. Тех, кто оставлял в открытом доступе такую информацию, и тех, кто добросовестно разнес по бложикам и твиттерам ссылки на нее. Виноватым, как водится, должно остаться зеркало — не на рожу ж кривую пенять.
Какие-то раздолбаи нарушают элементарные правила безопасности, в том числе просто храня персональные данные, а отвечает за это Яндекс?
Кстати неужели никто из потерпевших не может обратиться в суд, заверив нотариально свободный доступ к такой приватной информации?
P.S. Удивляет что тут на Роеме такая буча, а на профессоинальных ресурсах про интернет-торговлю - тишина :)
В то же время есть простое решение, о котором уже неоднократно писали в этой ветке - не включать в поиск урлы, на которые нет внешних ссылок. Но это же сложно, и качество быстроробота станет еще хуже, потому проще сделать морду кирпичом и гордо повторять: "роботс.тхт!"
Если бы Яндекс мог знать, что на эту страницу есть ссылка, то он бы уже знал и адрес этой страницы от обычного бота-паука. И не было бы никакого смысла поставлять ссылки из Барометрики. Оттуда нужны как раз те ссылки, о которых Яндекс еще не знает.
Оттуда можно много чего брать акромя. Только без разбору все хватать не стоит небось. Хотя золотая акция, туда-суда, может быть им и можно. Судя по тому, что мой айтелефон показывает рост акций Яндекса на +4.4%, наверное им разрешается больше, чем я думал.
Вот оттуда не нужно. Хотите быстро найти новые документы - делайте быстрых роботов или выделяйте для этого больше железа.
По поводу внешних ссылок я бы даже ужесточил правило - ссылки должны быть с этого же сайта. Если вебмастер хочет иметь документ в индексе поисковиков - он ставит на него ссылку на уже известных поисковикам страницах, если не хочет, то либо не ставит ссылок, либо закрывает урл в роботс.тхт. Это естественное правило работало всегда, какого хрена сейчас кто-то будет его отменять в своих корыстных целях и по праву монополиста?
Это было очень давно. Сначала просто считалось неэтичным подсматривать в замочную скважину. Потом, с развитием производственных отношений, этот момент приобрел правовую форму.
А вообще вот тут почитайте, просветляет : http://ru.wikipedia.org/wiki/%D0%9D%D...0%BD%D0%B8
Очень надеюсь, что вы там уже ведете какие-то работы, чтобы обсуждаемые данные в Яндексе не всплывали (по крайней мере, не а таких объемах).
Если нет, уверен, что это дело ближайших месяцев. И RFC тут не при чем. Здравый смысл, ничего более.
http://document.kremlin.ru/doc.asp?ID...T=1&Page=2
Пункт 4 прямо говорит о том, что читать чужую переписку нельзя.
ЗЫ Даже если конверт не запечатан - нельзя.
Комментарий umkalive отредактирован umkalive 26.07.2011 21:12:58
Не у всех. Некоторые и сейчас считают вполне этичным подсмотреть в замочную скважину, какие рожи корчит сосед в своем собственном сортире, а потом рассказать об этом всей улице. Причем в итоге виноват во всем именно сосед и его строители - зачем ставили на сортирную дверь замок старого образца?
Такой продвинутый президент Медведев заявляет по факту ситуевины. Мол, я такой врубчивый интернетчик подписал указ в котором даю три месяца Яндексу, Гуглу (всему большому Гуглу) навести порядок сцуко во всем-при-во-всем сцуко-интернете. И если че как не так, через три месяца - сцуко вон.
В остатке:
- Президент с рейтингом.
- Граждане с личной жизнью
- Яндекс с долей
- Гугол весь индекс ради Медведева не переколбасил и потому был послан.
Давайте может так и поступим? :)
Комментарий umkalive отредактирован umkalive 26.07.2011 21:34:06
По идее открытки тоже читать нельзя, но на собираемость задолженностей, подозреваю, такие послания влияют намного лучше
Инфа про подачу дела в прокуратуру порадовала - таки не прописал robots, получи повестку. Первый случай, когда SEO-неграмотность приводит к таким результатам.
Комментарий Psycho отредактирован Psycho 26.07.2011 21:43:37
Гугл тоже замазан, но в этой теме его топы не отписываются, в отличие от. Потому и обсуждаем тех, кто идет на "как бы диалог".
1. Юзер зарегистрировался в личном кабинете простенького секс-шопа (как правило для регистрации нужен е-мейл и пароль) и что-то там купил (мы так думаем). Нужно подобрать пароль и узнать что.
2. То же, что и в п. 1, но покупка без регистрации, юзеру сгенерировали сложный урл. Задача та же - узнать, что он купил.
Сложность решения задачи для хакера примерно одинакова, часто п.1 решается проще, пароль подбирается, т.к. на простеньком магазине может не быть супер защиты. Т.е. вариант из п.2 был достаточно надежным (хотя и не без минусов - в процессе поиска наш хакер мог получить инфу по куче других заказов, ему не нужную, но все же), пока его не убили поисковики. А убив, заявили, что они тут не при чём, во всем виноваты вебмастера. Ну да, стопудово. :)
Лучший комментарий. Развернуть?
Google, по словам его представителя Аллы Забровской, может сам удалить данные из индекса, если получит информацию — от пользователей и из других источников, включая госорганы, — о незаконно опубликованных персональных данных. Забровская пообещала, что ссылки на данные пользователей интернет-магазинов тоже будут удалены.
Последние утечки — особый случай, считает представитель Microsoft Александра Паришева: «Поисковые системы сканируют информацию в публичном доступе, но мы прорабатываем техническую возможность ограничения доступа к опубликованным персональным данным граждан».
http://www.vedomosti.ru/tech/news/132...po_zaprosu
Думаю, участникам дискуссии будет интересно узнать, что "Яндекс" свою позицию не изменил ни на йоту. И в этих крысиных бегах за вымпелом Don't be Evil занял последнее место.
Время сносить "Яндекс.Бары", однако.
Думаю, участникам дискуссии будет интересно узнать, что "Яндекс" свою позицию не изменил ни на йоту.
А ты, значит, почувствовал в себе невиданную силушку богатырскую, прогнуть Яндекс, да? Заставить его изменить позицию! Азарт почувствовал?
И в этих крысиных бегах за вымпелом Don't be Evil занял последнее место.
Even if you win a rat race, you are still a rat.
Каким это образом Яндекс занял последнее место? Ты, наверно хочешь сказать, что он а) не участвовал ни в каких бегах, б) на словах меньше прогнулся.
Заметим, что процитированные Ведомостями пиарщики Гугла и Бинга вообще не могут никак повлиять на то, что на самом деле будет сделано внутри поисковиков, которые разрабатываются в далёких США. Планы разработки от них не зависят. Они просто говорят слова, приличествующие случаю.
Ну да, их начальники (директора русских офисов продаж) сигнализируют наверх о локальных юридических проблемах на рынке третьего эшелона, да и будут ждать у моря погоды.
Заметим, что Яндекс таки убрал СМСки из выдачи, а что к этому моменту уже сделали Гугл и Бинг, кроме слов пресс-секретарей?
Лучший комментарий. Развернуть?
1. Начиная с какого времени Яндекс.Метрика начала поставлять список URL для индексации поисковому роботу?
2. Это, как вы успели убедиться, довольно важное изменение. Почему была отвергнута идея сделать e-mail рассылку вебмастерам о нем?
3. Почему было решено не выносить это изменение отдельным пунктом к лиц. соглашению? Не для всех очевидно, что право собирать анонимную статистику может повлечь передачу собранных реферреров поисковому боту.
4. Почему был отвергнут вариант сделать этот процесс опциональным и по умолчанию отключенным? Вебмастер в принципе сам должен понимать, что если сайт готов к такому вниманию со стороны роботов, этот пункт выгоднее включить, т.к. это должно увеличить скорость индексации.
5. Я правильно понимаю, что в современном Яндексе теперь считается, что если человек научился делать сайты и хочет начать собирать статистику, например поставив метрику, Яндекс не считает его целевой аудиторией, ибо сейчас яро выставляет его виноватым в индексации "скрытых" страниц. Человек как минимум должен постичь азы SEO и понять как ему аукнется метрика и отсутствие robots.txt, иначе должен идти лесом?
Спасибо за внимание. :)
Комментарий kemko отредактирован kemko 27.07.2011 09:08:14
> Если вебмастер хочет иметь документ в индексе поисковиков - он ставит на него ссылку на уже известных поисковикам страницах,
Пардон, а откуда в таком случае на новом сайте появятся "уже известные поисковикам страницы"?!
По этому пути можно пойти дальше - кто подал в поисковик sitemap, тот и индексируется, причем ровно в объеме этого sitemaр и ни на йоту больше; можно сразу со списками ключевых слов.
Очень удобно для (криворуких) вебмастеров, но совершенно невыгодно пользователям.
Bullshit.
Вполне надежные решения этой проблемы разработаны, описаны и даже включены в стандартные библиотеки. Если "простенький магазин" не имеет приличной парольной защиты, то только по раздолбайству его авторов (которое еще раз подтверждается использованием "секретных url").
В кои-то веки я согласен с Ашмановым :)
А из Google SMS тоже исчезли. Их там, правда и было чуть - тексты в сниппет не попали, а время жизни страниц действительно невелико. То есть, переход на них ничего не давал
Вы путаете домашние странички и манипуляции с персональными данными, (коммерческой|государственной) тайной. Я вот уколы могу ставить и периодически самолечением занимаюсь, но если от это кто-то пострадает, то меня ждет уголовная ответственность.
На моем домашнем компьютере куда мне положить роботс.тхт или, скажем, "нижайше_прошу_пощадить.тхт", чтобы бары/браузеры не выкладывали мои личные фотки в сеть? А то там у меня есть такие, где я неважно выгляжу и стесняюсь.
Могу ли я установить апач на домашнем компе? Если да, то буду ли я после этого храброго поступка считаться ответственным перед человечеством вебмастером?
Комментарий umkalive отредактирован umkalive 27.07.2011 12:17:49
если под этим апачем будут собраны чьи-то персональные данные, боюсь что да.
Даже если домена нет? Ужос. Лучше не буду ставить от греха.
Более длинный — видимо, что-то вам мешает предположить самое очевидное — что мое личное мнение совпадает с позицией компании. Как это происходит технически — включите воображение.