В конце января 2009 Яндекс резко повысил полноту индекса и опередил Гугл
но в октябре 2009 в силу роста полноты индекса у гугла и почему-то резкого падения полноты индекса у Яндекса
они опять поменялись местами
http://analyzethis.ru/?analyzer=rare&...erval=year
Не нужно работать в Яндексе чтобы увидеть по данным из приведенных там же таблиц, что полнота Яндекса не падала, но вырос общий знаменатель за счет добавления google.beta (тн кофеин)
Илья Валентинович
спасибо за разъяснение. А почему иностранный поисковик имеет больший индекс, чем родной? Ведь родной легче настроить, ему не надо хранить испанские, китайские, японские, малайзиские страницы, а достаточно хранить только русские?
А почему с индексом не получается. Я понимаю там ранжирование, математика нужна, итд. Но размер индекса. Просто пускай себе паука и набирай документы, отфильтровывай плохие от хороших по пути. Почему у гугла русский индекс больше, чем у русского яндекса? В чем проблема? Чего не хватает яндексу?
Меня давно интересует - почему конкретная эта мерялка называется "качество ТЕМАТИЧЕСКОГО ПОИСКА"?
Уже в течение длительного времени там все запросы однотипны и выглядят как "А в Б" - / Аквапарки Крыма / Вологодские заводы строительных материалов / и т.д.
Почему у гугла русский индекс больше, чем у русского яндекса? В чем проблема? Чего не хватает яндексу?
Полнота Яндекса стала рывком меньше, чем у Гугла, после введения нескольких апдейтов и фильтров этим летом. До этого была больше на 10-15%.
Значит, почистили индекс. Вероятно, у Гугла грязи больше.
Что как раз и показывает анализатор уровня спама.
> Меня давно интересует - почему конкретная эта мерялка называется "качество ТЕМАТИЧЕСКОГО ПОИСКА"?
> ...
> Во-вторых, в любом случае, это только очень маленький пласт запросов.
Да, проблема с методикой данного конкретного анализатора есть. "Мы над этим работаем". То что методика не идеальна - признаю. Исправим.
Также у Яндекса не наблюдалось никаких резких изменений в этой характеристике у Яндекса в середине августа 2009
Резкий рост русского индекса у гугла в 2009 никак не связан с имзенением уровня спама у гугла, которая оставалась постоянной в 2009 году
http://analyzethis.ru/?analyzer=spam&...l=halfyear
Резкий рост русского индекса у гугла в 2009 никак не связан с имзенением уровня спама у гугла, которая оставалась постоянной в 2009 году
Посмотрите внимательно на анализаторы. Это относительные величины. Даже если у Гугла вообще ничего не меняется, уровень спама остался прежним, размер индекса остался прежним, а Яндекс почистил спам и уменьшил индекс, то относительный размер индекса Гугла вырастет.
Вы пройдитесь по конкретным запросам у Ашманова. Ничего яндекс не уменьшал. Вверху Сегалович лично ответил, что индекс Яндекса (простите за каламбур) не менялся. Также посмотрите на те запросы по которым начал выигрывать гугл. Никакого спама я не вижу.
А вот начальник проекта анализаторов Ермаков говорит, что сначала Гугл в своей бете Кофеине почти утроил объём индекса, а потом кусками его перетаскивал в обычную версию.
То есть не только весь спам в Рунете нашёл и заиндексировал, но и ещё сам нагенерил, чего не хватило. Шутка (пояснение для серьёзных профессиональных гуру-экспертов).
пояснение для серьёзных профессиональных гуру-экспертов
Надо сделать специальный отдельный форум для Ашманова, Сегаловича и Долгова (серьёзных профессиональных гуру-экспертов), где они между собой будут обсуждать серьезные профессиональные проблемы.
=Меня давно интересует - почему конкретная эта мерялка называется "качество ТЕМАТИЧЕСКОГО ПОИСКА"=
Эта мерялка при создании называлась "экспертный анализатор" или "нейронный". Идея ее проста - сравнивать выдачу разных поисковых систем с ручной подборкой ссылок в ответ на запрос. В качестве инструмента для сравнения использован www.neiron.ru, поэтому и "нейронный".
Использование ручного труда для оценки качества поиска дело привычное. В Яндексе, судя по публикациям, количество размеченных результатов поиска идет уже на десятки тысяч. Предположительно, это некий пул реальных запросов, которые Яндекс считает репрезентативной выборкой, и асессоры поиска либо регулярно переразмечают его (тогда можно сравнивать результаты прежней разметки и новой), либо при изменении алгоритма поиска быстро оценивается изменение набора релевантных урлов в выдаче для размеченных запросов. Это предположения, подробностей я не знаю.
В Нейроне эксперты не оценивают алгоритмически полученную выдачу, а формируют собственную, заранее имея гипотезу, что должно быть в результатах поиска на конкретный запрос. Поэтому и запросы взяты максимально непротиворечивые - авиазаворы, ВУЗы такого-то города и т.п. По сути, здесь в выдаче ожидается набор официальных сайтов. Размечать запросы "поинтереснее" типа "дизайн", "промышленность", "нанотехнологии" и т.п. вряд ли стоит, потому что для таких запросов навскидку можно предположить несколько разных версий выдачи, и какой вернее до опыта не оценить.
Состав серьёзных профессиональных гуроватых экспертов по поиску в Рунете совсем другой. Их сотни. Поэтому и приходится для них писать в скобках "шутка".
Спасибо за разъяснение
Теперь понятно, что такое тематические запросы
Мне тогда непонятно возражение вверху, так как ваши тематические запросы кажутся уместными.
Было бы интересно сравнить выдачу Яндекса и Гугоа на еще более сложных запросах
Скажем "статистика железнодорожных перевозок в россии", "правила поступления в университеты", "примеры олимпиадных задач по математике" итд
=Скажем "статистика железнодорожных перевозок в россии"...=
Для этого надо прийти с поисковыми системами к какому-то общему мнению по вопросу об авторитетности источников информации и их ранжированию. Смотрите, допустим, отличная таблица по статистике жд перевозок имеется на официальном сайте, но он не особо раскручен. Зато копия этой таблицы имеется на десятке "новостных", "информационных" и т.п. ресурсах, которые раскручиваются профессионально. И в результатах поиска ссылки на них находятся выше, чем на источник. Сегодня поисковые системы в такой ситуации не видят ничего плохого, потому что пользователь быстро находит и получает необходимую ему информацию.
Но "возможность украсть создает вора" (Ф. Бэкон), поэтому, не преследуя жестко практику копипаста, поисковики фактически поощряют этот бизнес, который к тому же неплохо монетизируется. В итоге и сами вынуждены бороться с мусором, и пользователям поиска приходится регулярно разгребать эти завалы. См. "Коэффициент дублирования" - http://www.optimization.ru/neiron/016.html#art
Поэтому для указанных Вами запросов будут ситуации, когда один поисковик даст ссылку на один копипаст, другой - на второй, оригинала не найдет никто, но каждый будет считать, что результат вполне удовлетворителен. Анализатор поиска цитат для точно известных оригинальных текстов мы уже сделали, но в Вашем случае все сложнее - речь идет не о цитате, а об информации.
Андре
Я понимаю Вас. Ситуация сложная и понять, что лучше куцая информация на официальном сайте или отличный доклад на неофициальном сложном.
Но я боюсь, что для такого типа запросов у одного поисковика в топ - 10 будет хоть какая релевантная информация, а у другого ничего имеющего отношения к запросу не попадет в топ-50 и хотелось бы видеть кто более релевантен Яндекс или Гугл длятаких запросов
Особенно учитывая Ваши же слова:
> По сути, здесь в выдаче ожидается набор официальных сайтов.
Поиск официальных сайтов, да еще предсказуемых типов - это "тематический поиск"?
Тогда - какие вы тогда "эксперты" по поиску и какая может быть степень доверия всем вашим "результатам"?
Второй. Вы все понимаете (-- Эта мерялка при создании называлась "экспертный анализатор" или "нейронный" --) - что взяли только узенький класс запросов, но тем не менее для своего пиара все равно назвали это громко "анализатор тематических запросов". Тогда это вопрос к совести владельцев Вашего ресурса.
> Размечать запросы "поинтереснее" типа "дизайн", "промышленность", "нанотехнологии" и т.п. вряд ли стоит,
> потому что для таких запросов навскидку можно предположить несколько разных версий выдачи,
> и какой вернее до опыта не оценить.
Есть анекдот про пьяного, который ищет ключи не там, где потерял, а под фонарем - потому, что виднее.
Кого интересует, что Вы НЕ УМЕЕТЕ (не знаете как или не в состоянии организовать должным образом) сейчас мерять качество тематического/информационного поиска.
Вы либо верните название на скромное (и никому не интересное) "нейронный анализатор", либо делайте что-нибудь более правильное.
Ну, если мы уже полностью покрыли себя позором - то суетиться уже поздно.
Я не верю, что мы сможем реабилитироваться в ваших глазах, что бы мы ни делали.
Правда, поскольку мы не называем себя экспертами, то нас и нельзя сильно обидеть, отказывая нам в этом статусе. Мы просто делаем независимый анализатор качества поиска. Как умеем.
Если вы эксперт и недовольны нашим анализатором, сделайте свой.
Но всё-таки немного напрягает количество императивов "должны", "совесть", "позор", "правильное" и всяких повелительных наклонений "делайте", "верните" в вашем тексте. Если никакого доверия уже нет, чего так нависать-то?
Давайте так:
Вы будете писать на Роем.ру то, что считаете нужным, а мы будем делать на www.analyzethis.ru то, что считаем нужным.
Если вдруг, паче чаяния, вы захотите помочь нам, то не кидайтесь ссылками, это плохая манера (а умные статьи мы тоже читали), а расскажите, как по-вашему, должен быть устроен "анализатор тематического поиска".
Так, чтобы он давал хорошие достоверные результаты, которые понравятся экспертам, а при этом выполнялись следующие условия:
а) ежедневный анализ по разным и представительным множествам запросов,
б) затруднения для хитрых сотрудников поисковиков в настройке на конкретное множество запросов.
в) чтобы не тратить больше двух-трёх полных зарплат на поддержку и развитие всех 12 существующих анализаторов.
Вашу логику трудно понять. С одной стороны, вы не называете себя экспертами. С другой стороны, "делаете независимый анализатор качества поиска", что подразумевает, что вы полагаете, что в этом разбираетесь...
> Если никакого доверия уже нет, чего так нависать-то?
К некоторым другим Вашим сервисам у меня нет претензий.
> а мы будем делать на www.analyzethis.ru то, что считаем нужным.
Да кто Вам мешает? Только не надо это пиарить не аккуратно.
> Если вдруг, паче чаяния, вы захотите помочь нам, то не кидайтесь ссылками, это плохая манера
Ну Вам не угодишь.
Напишу свое мнение - Вы скажете "кто такой", сошлюсь на чужое (общепринятое) - опять не так.
> (а умные статьи мы тоже читали),
Тогда, собственно, остается повторить простой вопрос, от ответа на который Вы ушли - почему этот анализатор был Вами назван "анализатором тематического поиска"?
> Если вы эксперт и недовольны нашим анализатором, сделайте свой.
...
> а расскажите, как по-вашему, должен быть устроен "анализатор тематического поиска".
...
> Так, чтобы он...
Я подумываю об этом, прежде всего потому, что текущие не совсем устраивают. И пара идей у меня есть.
> Если вдруг, паче чаяния, вы захотите помочь нам, ...
Тут узловое слово "нам". Я с удовольствием посодействую "человечеству", но Вам?! Для этого Вам надо доверять, а с этим туго. Вы, IMHO и при всем уважении, очень часто меняете свое мнение.
Сделайте сервисы свободным и открытым проектом - может быть мне тоже удастся сказать что-нибудь полезное.
=понять, что лучше куцая информация на официальном сайте или отличный доклад на неофициальном сложно=
Представьте еще, что куцая информация на официальном сайте и отличный доклад на неофициальном могут дополняться активным обсуждением доклада на общепризнанном тематическом форуме, конструктивной критикой с актуальными примерами на сайте конкурентов или оппонентов, хорошей шуткой на тему в ЖЖ, упоминанием о докладе на официальном сайте власти, статьей желтого журналиста, что наши поезда не приспособлены для пассажиров и т.п.
Это уже проблема подборки ссылок с целью дать пользователю максимум информации, соответствующей его запросу в сжатом объеме одной страницы. О том, как это измерять, даже говорить пока страшно. :0)
=кто более релевантен Яндекс или Гугл для таких запросов=
Гугл более лоялен к спаму, многие забаненные в Яндексе сайты есть в индексе Гугла. Т.е. если речь идет о "хоть что-то найти", шансы чуть больше у Гугла. Но если тема известная, и оба поисковика показывают всю тысячу ссылок... это уже дело вкуса. По последнему опросу (проводил Гугл, кстати), пользователи с разницей в 1% предпочитают Яндекс.
Вашу логику трудно понять. С одной стороны, вы не называете себя экспертами. С другой стороны, "делаете независимый анализатор качества поиска", что подразумевает, что вы полагаете, что в этом разбираетесь...
Логика очень простая. Ни в этом треде, ни в других вы не увидите, чтобы мы называли себя экспертами или вообще как-то пиарили эти самые анализаторы. Хотя вы и пишете, что мы их пиарим.
На них сослался кто-то другой, а вы к нам пристаёте с претензиями.
А уж что мы там полагаем - это наше дело.
Или вы кроме всех ваших приказов сделать, исправить, немедленно отчитаться, почему так назвали - ещё и запретите нам вообще что-то думать и полагать без вашего разрешения?
Мы делаем такие вот анализаторы. Вы прибежали и с гневом требуете ответить на вопрос "а кто вы такие вообще!!!". Я не вижу смысла на него отвечать. Да никто. Успокойтесь. Мы - никто.
Одна программистская компания.
Тогда, собственно, остается повторить простой вопрос, от ответа на который Вы ушли - почему этот анализатор был Вами назван "анализатором тематического поиска"?
Ой, извините. Щас, щас отвечу!
Обдумали, сочли возможным и назвали. Ответ понятен?
А вот вы, по-моему, даже не думали над вопросом, что такое тематический поиск. Не нравится это применение данного словосочетания? Ну так подумайте, предложите свою версию.
Напишу свое мнение - Вы скажете "кто такой", сошлюсь на чужое (общепринятое) - опять не так.
Кто это вам сказал? Вы попробуйте для начала.
Мнения вы пока никакого не высказали толком, а дурную интернетовскую манеру кидаться ссылками лучше оставьте, она не украшает.
Для этого Вам надо доверять, а с этим туго.
Ну тогда конечно.
Вы, IMHO и при всем уважении, очень часто меняете свое мнение.
Что-то не припомню такого случая. Но если это происходит так часто, вас, конечно, не затруднит привести парочку совершенно бесспорных примеров.
Сделайте сервисы свободным и открытым проектом - может быть мне тоже удастся сказать что-нибудь полезное.
Сказать бы можно и сейчас, вообще-то.
По-моему, вы не понимаете значения слов, которые вы привычно используете.
Что такое "открытый и свободный", по-вашему?
1) "Свободный" вообще-то - это калька со английского free. То есть это значит на самом деле "бесплатный". Чем вам эти анализаторы не бесплатные?
Можно ещё трактовать, как "свободу от имущественных прав", то есть возможность свободно цитировать и использовать (со ссылкой на автора). Ну так используйте. Это тоже на сайте написано.
2) "Открытый" что значит?
Возможность посмотреть методику и какие маркеры используются? Так они открыты. Смотрите.
Возможность предлагать свои маркеры? Предложите для начала, модератор рассмотрит.
Можем создать инфраструктуру для заноса маркеров, одобрения, выкладывания.
Но я думаю, вам не это нужно, а так, потрындеть.
Я подумываю об этом, прежде всего потому, что текущие не совсем устраивают. И пара идей у меня есть.
Г-да Ашманов, andre - ситуация с "анализатором тематического поиска" простая - вы облажались. Признали бы просто и все.
Ошибаются все, но некоторые неразумно упираются.
Г-н eermakk - поступил гораздо правильнее и честнее.
> > Тогда, собственно, остается повторить простой вопрос, от ответа на который Вы ушли -
> > почему этот анализатор был Вами назван "анализатором тематического поиска"?
> Ой, извините. Щас, щас отвечу!
> Обдумали, сочли возможным и назвали. Ответ понятен?
Вот и вернулись к исходному - возможно, зная что поступаете "попсово", поступили попсово. В этом и вопрос.
Насчет
> Ни в этом треде, ни в других вы не увидите, чтобы мы называли себя экспертами....
> а дурную интернетовскую манеру кидаться ссылками лучше оставьте, она не украшает.
Дурные манеры - это когда в посте технические детали разбавляются переходом на личности - и это стандартный Ваш прием в пропорции 50:50 (учились Вы что-ли где-то этому специально?).
А Интернет - он весь состоит из ссылок, знаете ли. Не можно же Вам здесь было воспроизвести всю статью Бродера и еще сотни других.
И вот Вам еще одна -
"Мы решили стать главными экспертами на рынке и стали действовать в этом направлении." (http://ualife.org/post/5517 )
Таких на самом деле полно, эта, конечно, перепечатка, но мне пока лень искать и другие. Вы, действительно, так много разного говорите, что найдется на все случаи жизни.
Кстати, относится она прежде всего к сообществу СЕО, которые сначала стали неформально собираться, а затем появились "главные эксперты".
Да вот и еще одна "http://www.ashmanov.com/know/list/" !!!
Что, все равно отопретесь?
Не хочу я поэтому подсказывать Вам как правильно. Вы же все равно скажете, что именно так и давно уже думаете.
И не нужны мне такие "главные эксперты".
ни в других вы не увидите, чтобы мы называли себя экспертами
Вам бы в годик в "Сортировочной комнате" поработать. Вы бы называли себя экспертом, самым лучшим специалистом России, уникумом, гением, программистом-математиком, мастером адабуста, гроссмейстером ранжирования.
Сортировочная комната - это в Яндексе? Я про них ничего толком не знаю.
А что, Ходок_2004 оттуда? Прикольно.
Тогда ясно, почему его так цепляет слово "эксперт". Он уже приклеил его к себе.
Он за своё эго тут сражается.
Г-да Ашманов, andre - ситуация с "анализатором тематического поиска" простая - вы облажались. Признали бы просто и все.
Ну естественно, облажались. Вы же так сказали.
Значит, облажались. Ну ладно.
Но вы хотя бы объяснили, что не так. В чём конкретно облажались?
Ведь по существу вы до сих пор ничего не сказали.
До сих пор вы асилели сказать, что вот раньше было разнообразнее как-то и что это вроде не тематические запросы, а "скорее сервисные". Слово "тематический" не нравится?
При этом ссылаетесь вы на Бродера, как на Святое Писание.
Нет бога, кроме Бродера и Ходок_2004 пророк его.
Вы перечитайте ваши посты выше: ничего конкретного и убедительного, но постоянные попытки занять "позицию с приставкой сверху", как говорят психологи.
Поэтому с вами содержательно невозможно спорить - ведь вы ничего содержательного и не говорите. По сути, всё сводится к именно личным наездам: как посмели считать себя экспертами, вот же облажались, упираетесь, совести нет, нечестно, меняете мнение и т.п. Исключительно личные темы.
Но естественно, любой хам - существо крайне ранимое и деликатное, не дай бог его лично задеть нечаянно. Поэтому вы и жалуетесь на личный характер дискуссии.
Меня, кстати, удивляет, что нет претензий к другим анализаторам. Про этот мы знаем, что методика и количество маркеров не очень, но тем не менее для публикации годится и что-то показывает. Но есть ещё десяток, в которых тоже есть косяки. Но вы их почему-то не видите, что ли.
А там почти всё можно оспорить, как в любом публичном тесте.
Ошибаются все, но некоторые неразумно упираются.
А вот и призыв покаяться поступил.
Г-н eermakk - поступил гораздо правильнее и честнее.
Ну точно, проповедник. Праведник в белых одеждах.
Вообще-то господин Ермаков написал здесь, что он недоволен методикой и работает над ней - по моей просьбе.
И это вполне нормальное высказывание. Более того, он постоянно читает поток писем из Яндекса, Гугла и Рамблера и обсуждает с ними методики. Пишите ему, если есть что конкретное сказать.
А вот "совесть", "облажались", "нечестно", "замените название", "делайте!", "не уклоняйтесь от вопроса", "в глаза смотреть, я сказал!!" - это применяйте в своей секте.
У вас своя секта, а у нас своя.
P.S. Насчёт экспертов: если вы сами будете внимательно читать тексты по вашим же ссылочкам, вы обнаружите, что слово "эксперт" там относится исключительно к поисковой оптимизации. А вовсе не к поиску. Экспертом тут, например, является Андрей Иванов (andre).
По поиску у нас эксперт - конечно же, вы. Без балды.
> При этом ссылаетесь вы на Бродера, как на Святое Писание.
> Нет бога, кроме Бродера и Ходок_2004 пророк его.
Бродер, конечно, не первый. Были еще экспериментальные работы Jansen'а , Amandы Spink и др.
Бродер просто наиболее известен.
Смотрим ACM Library
http://portal.acm.org/citation.cfm?id=792550.792552 A taxonomy of web search, Andrei Broder, September 2002, SIGIR Forum , Volume 36 Issue 2
Bibliometrics: Downloads (6 Weeks): 113, Downloads (12 Months): 780, Downloads (Overall): 3384,
Citation Count: 160
Но по-видимому не всем он известен.
И вот говорливого не по делу Ашманова с его пониманием "тематического поиска" мне там обнаружить не удалось.
> Насчёт экспертов: если вы сами будете внимательно читать тексты по вашим же ссылочкам,
> вы обнаружите, что слово "эксперт" там относится исключительно к поисковой оптимизации.
> А вовсе не к поиску.
Ха-ха-ха и хи-хи-хи.
В запале логика не теряется?
Вы еще на конференции на поисковой оптимизации скажите, что Вы эксперт по поисковой оптимизации, но в поиске ничего не понимаете.
Вас за руку ловят, а Вам - все божья роса.
Насчет других сервисов - если по простому вопросу у Вас столько эмоций, что же в остальных творится-то?
Может их стоит убрать из показа, если сами понимаете, что показываете там неверные циферки?
Вы еще на конференции на поисковой оптимизации скажите, что Вы эксперт по поисковой оптимизации, но в поиске ничего не понимаете.
Я там даже не скажу того, что я эксперт по поисковой оптимизации. Хотя в компании у нас эксперты таки есть.
И когда меня гуру кто-то называет, я обижаюсь.
А вот вы, вероятно, эксперт и гуру. Поздравляю вас.
Вас за руку ловят, а Вам - все божья роса.
Это вы про ваши ссылки не по делу? Мы обсуждаем анализ качества поиска. Покажите, где я называл себя экспертом и пиарил анализаторы.
Насчет других сервисов - если по простому вопросу у Вас столько эмоций, что же в остальных творится-то??
Насчёт эмоций - а это вы такой форумный мем пробуете включить? Я вам помогу, он в оригинале звучит как "а что это вы так нервничаете?".
Вот вы, допустим, что так нервничаете? Защищаете своё внутреннее ощущение себя экспертом?
Не надо, успокойтесь, пожалуйста. Вы эксперт, Вы эксперт. Вы гуру.
Может их стоит убрать из показа, если сами понимаете, что показываете там неверные циферки?
Нет, пока не понимаем. Покажите, где они неверные. Ссылки на статьи Бродера как доказательство не канают.
Но вообще уже заметен личностный прогресс: уже не "уберите", а "может, стоит убрать".
Это реальное достижение.
Ашманову
Вы не обижайтесь на проходимца 2004. Любой человек, ставший в какой-то мере публичным и известным получает свою долю сомнений в компетентности и травли. Для многих людей это единственный способ самоутверждения - потравить известного человека
Да мне не жалко, пускай.
У нас в конторе есть один очень умный человек, на которого я хотел бы равняться в этом смысле. За 16 лет работы с ним вместе я ни разу не видел, чтобы он раздражился. Хотя за эти годы он побывал вместе с нами в разнообразнейших ситуациях, включая совершенно идиотские и острые.
Если ему сказать (предположительно) "Николай, вы дурак!", он ответит с лёгким сердцем "Да, есть и такое мнение".
Много чего умного написано доморощенным умниками.
Если вы тут все такие умные, то почеиу в сортировочной не работаете?
Вопрос, конечно, не к Расковалу и Сегаловичу, а к прочим.
Патамушта нормальные пацаны работают не в какой-то там сортировочной, а гендиректором.
Они приходят вечером пьяные в контору и выгребают кассу. Вот живут нормальные чоткие пацаны.
(1) Про метрику analyzethis: часть запросов о которых спор, автоматически транслитерируются в латиницу и Google находит много иноязычных документов, содержащих транслитерированный запрос. Это несколько искажает картину и не в нашу пользу (мы не ищем по, скажем, испанским доменам в таком объеме в каком это делает Гугл). Ну и не делаются попытки почистить скачанные наборы URL-ов по каждому запросу от полудублей (это позволило бы понять более точно соотношение размеров баз). (или делаются? но я не видел ссылки) Плюс запросов кажется маловато. Иными словами, истинная картина полноты баз по состоянию на сейчас скорее всего несколько иная, чем показывают метрики.
(2) Про "просто обойти": обход сети давно уже задача, требующая таких же интеллектуальных алгоритмов как и поиск. Очень просто нагрести мусор, дубли и спам, очень сложно иметь в индексе содержательную информацию в максимально полном и свежем виде.
(3) Про значение полноты в веб-поиске: важно понять также, что это не единственная и далеко не самая ключевая метрика поиска (хотя и важная), есть не менее десятка столь же важных. Главные показатели качества поиска снимаются с большого числа разных запросов, наиболее существенно полнота проявляется на редких запросах из длинного хвоста.
(4) Про соотношение размеров: мы наблюдаем за размерами всех систем примерно с 2001 года, хотя и не берем на себя смелость и не считаем себя вправе выступать в роли аналитиков, но некоторыми частными наблюдениями можем поделиться: так например, как нам кажется, русскоязычные базы сопоставимы по размеру у основных игроков уже довольно давно (примерно с 2003 года), (кроме разве что бинга и апорта и яху). Ситуация когда у нас была не самая большая (по нашим наблюдениями) русскоязычная база уже бывала, были моменты, когда Рамблер был самый большой (в районе 2005 кажется, при этом там было много дублей в выдаче, да и качество поиска страдало), были момент, когда и Google. Повторю, что это все по нашим наблюдениям. Да, видимо, по метрике полноты базы мы прямо сейчас немного уступаем, но надо отметить, что это никак не связано с железными ресурсами, выделяемыми на обход сети.
(5) Резюме: эта метрика, тем не менее, очень важна, мы внимательно изучаем ситуацию, и постараемся атаковать эту проблему. Следите за метрикой и анонсами.
2 walker_2004
Из терминологического спора не здорово устраивать такой шум, вы не находите? Людям надо спасибо сказать, что они взялись за такое неблагодарное дело, как публичные измерения. Разве на других рынках есть такой мониторинг? Конечно они несовершенны, но ведь других нет. Конечно термин "неправильный". Но разве у вас уже написаны свои метрики и вы просто стесняетесь дать ссылку?
> 2 walker_2004
> Из терминологического спора не здорово устраивать такой шум, вы не находите?
> Людям надо спасибо сказать, что они взялись за такое неблагодарное дело, как публичные измерения.
> Разве на других рынках есть такой мониторинг? Конечно они несовершенны, но ведь других нет. Конечно
> термин "неправильный". Но разве у вас уже написаны свои метрики и вы просто стесняетесь дать ссылку?
Посмотрите, мой первый пост был вполне нейтральный, eermakk нормально ответил, и все было тихо.
А затем они зачем-то стали отрицать очевидное - ну и понеслось...
Повод, конечно, не стоит выеденного яйца, тем более, они, надеюсь, все подправят, и мы скажем им еще большее спасибо :)
> часть запросов о которых спор, автоматически транслитерируются в латиницу и Google находит много иноязычных документов, содержащих транслитерированный запрос.
Такие запросы действительно есть, но их мало - я с ходу нашел только один такой - "антифибрин" (что это вообще такое, хотел бы я знать...). Наверняка их есть еще, но не сильно много. Но да, такое искажение есть в пользу гугла, согласен. Оно же есть в пользу Bing и Yahoo, но их это не спасает.
> не делаются попытки почистить скачанные наборы URL-ов по каждому запросу от полудублей
Не делается, это верно. Но - это же именно что полнота, а не полнота+чистота. То есть, да, возможно
что поисковик, предъявляющий 100 документов, из которых 90 являются дублюями или спамом, побудит тут поисковик, который имеет 10 оставшихся "хороших" документов, а 90 дублей не предъявляет вовсе. Я понимаю что это создает некоторый диссонанс, но пока не соображу как его избежать так чтобы по дороге не потерять смысл слова "полнота".
Заметим что изначально по этой методике и по этому набору запросов Гугл имел полноту сильно меньшую чем Яндекс, но "наверстал". То есть, были им предприняты какие-то действия на этот счет. Какие именно действия - я со стороны не могу сказать, для этого надо быть внутри Гугла, но они точно были. Анализатор это показывает.
> Иными словами, истинная картина полноты баз по состоянию на сейчас скорее всего несколько иная, чем показывают метрики.
Наверняка, но.
Истинную картину можно получить, только находясь внутри поисковиков. Извне - сильно лучшего метода я не берусь с ходу озвучить. Да, можно сделать дополнительные фильтрации, например свернуть дубли, но все равно это не даст точной картины, такой которую можно получить изнутри. Но тренд - понять можно. Даже не в том смысле что "в настоящий момент полнота Гугла выше полноты Яндекса", а скорее "за последние несколько месяцев Гугл предпринял заметные усилия по наращиванию полноты по российскому Интернету". Что "Яндекс и Гугл покрывают российский Интернет в разы или на порядки полнее чем Апорт и ГоГо". И т.п.
> Про значение полноты в веб-поиске: важно понять также, что это не единственная и далеко не самая ключевая метрика поиска.
Это ключевое слово. Полнота вовсе тут если не на последнем месте, то точно не выше чем во втором десятке. Если поисковик дает идеальную точность, то он вовсе может обладать малой и негодной полнотой, и никто на него не обидется. Если первые 10 результатов идеальны, то не важно есть ли прочие стотысяч или их нет.
По тесту тематические запросы от анализатора Ашманова и П яндекс сравнялся с гуглом, но не потому, что гугл стал лучше, а потому, что яндекс резко упал. Тогда же в середене августа произошел большой апдейт у Яндекса http://analyzethis.ru/?analyzer=updat...l=halfyear
примерно в тот же момент резко упала полнота индекса у Яндекса
http://analyzethis.ru/?analyzer=rare&...l=halfyear
Интересно, что в середине сентября резко выросла качества выдачи по тематическим запросам Рамблера
http://analyzethis.ru/?analyzer=entir...l=halfyear
В конце января 2009 Яндекс резко повысил полноту индекса и опередил Гугл
но в октябре 2009 в силу роста полноты индекса у гугла и почему-то резкого падения полноты индекса у Яндекса
они опять поменялись местами
http://analyzethis.ru/?analyzer=rare&...erval=year
или может это в открытку компании?
Так как интересно, что же произошло и Яндекс может дать ответ
программист
Не нужно работать в Яндексе чтобы увидеть по данным из приведенных там же таблиц, что полнота Яндекса не падала, но вырос общий знаменатель за счет добавления google.beta (тн кофеин)
А вот по тематике неясно, еще разбираемся.
Илья Валентинович
спасибо за разъяснение. А почему иностранный поисковик имеет больший индекс, чем родной? Ведь родной легче настроить, ему не надо хранить испанские, китайские, японские, малайзиские страницы, а достаточно хранить только русские?
А почему с индексом не получается. Я понимаю там ранжирование, математика нужна, итд. Но размер индекса. Просто пускай себе паука и набирай документы, отфильтровывай плохие от хороших по пути. Почему у гугла русский индекс больше, чем у русского яндекса? В чем проблема? Чего не хватает яндексу?
А тематика? Что с ней? Что конкретно происходит? Региональная выдача по портила или что?
Меня давно интересует - почему конкретная эта мерялка называется "качество ТЕМАТИЧЕСКОГО ПОИСКА"?
Уже в течение длительного времени там все запросы однотипны и выглядят как "А в Б" - / Аквапарки Крыма / Вологодские заводы строительных материалов / и т.д.
http://analyzethis.ru/?analyzer=entir...2009-10-30
Причем давно, в самом начале запросы были по-ранообразнее.
Понятно, что такие запросы легко генерить и проверять (по "желтым страницам", например).
Но причем здесь "оценка тематических запросов".
Во-первых, это скорее запросы "на сервис".
Во-вторых, в любом случае, это только очень маленький пласт запросов.
И еще - очевидно, как можно "подняться" по такому анализатору - руками пробить такую даже не фичу, а фичку.
Уважаемый Игорь
Вы можете ответить на вопрос выше про тематический поиск?
Почему у гугла русский индекс больше, чем у русского яндекса? В чем проблема? Чего не хватает яндексу?
Полнота Яндекса стала рывком меньше, чем у Гугла, после введения нескольких апдейтов и фильтров этим летом. До этого была больше на 10-15%.
Значит, почистили индекс. Вероятно, у Гугла грязи больше.
Что как раз и показывает анализатор уровня спама.
геолог
to walker_2004
> Меня давно интересует - почему конкретная эта мерялка называется "качество ТЕМАТИЧЕСКОГО ПОИСКА"?
> ...
> Во-вторых, в любом случае, это только очень маленький пласт запросов.
Да, проблема с методикой данного конкретного анализатора есть. "Мы над этим работаем". То что методика не идеальна - признаю. Исправим.
Нет, это стала больше полнота беты гугла, а не меньше полнота яндекса.
Не вижу никакой корреляции с уровнем спама
Также у Яндекса не наблюдалось никаких резких изменений в этой характеристике у Яндекса в середине августа 2009
Резкий рост русского индекса у гугла в 2009 никак не связан с имзенением уровня спама у гугла, которая оставалась постоянной в 2009 году
http://analyzethis.ru/?analyzer=spam&...l=halfyear
А на графике полноты индекса Яндекс опередил не только гугл бета, но и простой гугл тоже
Резкий рост русского индекса у гугла в 2009 никак не связан с имзенением уровня спама у гугла, которая оставалась постоянной в 2009 году
Посмотрите внимательно на анализаторы. Это относительные величины. Даже если у Гугла вообще ничего не меняется, уровень спама остался прежним, размер индекса остался прежним, а Яндекс почистил спам и уменьшил индекс, то относительный размер индекса Гугла вырастет.
То что методика не идеальна - признаю.
Расскажите, а что неправильного в этой методике и как ее надо исправлять? Какие типы запросов должны быть представлены?
Вы пройдитесь по конкретным запросам у Ашманова. Ничего яндекс не уменьшал. Вверху Сегалович лично ответил, что индекс Яндекса (простите за каламбур) не менялся. Также посмотрите на те запросы по которым начал выигрывать гугл. Никакого спама я не вижу.
серийный предприниматель
А вот начальник проекта анализаторов Ермаков говорит, что сначала Гугл в своей бете Кофеине почти утроил объём индекса, а потом кусками его перетаскивал в обычную версию.
То есть не только весь спам в Рунете нашёл и заиндексировал, но и ещё сам нагенерил, чего не хватило. Шутка (пояснение для серьёзных профессиональных гуру-экспертов).
Ашанову
ну, какие мы эксперты?
В рунете есть только три эксперта по интернет поиску: Ашманов, Сегалович и Долгов.
пояснение для серьёзных профессиональных гуру-экспертов
Надо сделать специальный отдельный форум для Ашманова, Сегаловича и Долгова (серьёзных профессиональных гуру-экспертов), где они между собой будут обсуждать серьезные профессиональные проблемы.
=Меня давно интересует - почему конкретная эта мерялка называется "качество ТЕМАТИЧЕСКОГО ПОИСКА"=
Эта мерялка при создании называлась "экспертный анализатор" или "нейронный". Идея ее проста - сравнивать выдачу разных поисковых систем с ручной подборкой ссылок в ответ на запрос. В качестве инструмента для сравнения использован www.neiron.ru, поэтому и "нейронный".
Использование ручного труда для оценки качества поиска дело привычное. В Яндексе, судя по публикациям, количество размеченных результатов поиска идет уже на десятки тысяч. Предположительно, это некий пул реальных запросов, которые Яндекс считает репрезентативной выборкой, и асессоры поиска либо регулярно переразмечают его (тогда можно сравнивать результаты прежней разметки и новой), либо при изменении алгоритма поиска быстро оценивается изменение набора релевантных урлов в выдаче для размеченных запросов. Это предположения, подробностей я не знаю.
В Нейроне эксперты не оценивают алгоритмически полученную выдачу, а формируют собственную, заранее имея гипотезу, что должно быть в результатах поиска на конкретный запрос. Поэтому и запросы взяты максимально непротиворечивые - авиазаворы, ВУЗы такого-то города и т.п. По сути, здесь в выдаче ожидается набор официальных сайтов. Размечать запросы "поинтереснее" типа "дизайн", "промышленность", "нанотехнологии" и т.п. вряд ли стоит, потому что для таких запросов навскидку можно предположить несколько разных версий выдачи, и какой вернее до опыта не оценить.
серийный предприниматель
Состав серьёзных профессиональных гуроватых экспертов по поиску в Рунете совсем другой. Их сотни. Поэтому и приходится для них писать в скобках "шутка".
Спасибо за разъяснение
Теперь понятно, что такое тематические запросы
Мне тогда непонятно возражение вверху, так как ваши тематические запросы кажутся уместными.
Было бы интересно сравнить выдачу Яндекса и Гугоа на еще более сложных запросах
Скажем "статистика железнодорожных перевозок в россии", "правила поступления в университеты", "примеры олимпиадных задач по математике" итд
=Скажем "статистика железнодорожных перевозок в россии"...=
Для этого надо прийти с поисковыми системами к какому-то общему мнению по вопросу об авторитетности источников информации и их ранжированию. Смотрите, допустим, отличная таблица по статистике жд перевозок имеется на официальном сайте, но он не особо раскручен. Зато копия этой таблицы имеется на десятке "новостных", "информационных" и т.п. ресурсах, которые раскручиваются профессионально. И в результатах поиска ссылки на них находятся выше, чем на источник. Сегодня поисковые системы в такой ситуации не видят ничего плохого, потому что пользователь быстро находит и получает необходимую ему информацию.
Но "возможность украсть создает вора" (Ф. Бэкон), поэтому, не преследуя жестко практику копипаста, поисковики фактически поощряют этот бизнес, который к тому же неплохо монетизируется. В итоге и сами вынуждены бороться с мусором, и пользователям поиска приходится регулярно разгребать эти завалы. См. "Коэффициент дублирования" - http://www.optimization.ru/neiron/016.html#art
Поэтому для указанных Вами запросов будут ситуации, когда один поисковик даст ссылку на один копипаст, другой - на второй, оригинала не найдет никто, но каждый будет считать, что результат вполне удовлетворителен. Анализатор поиска цитат для точно известных оригинальных текстов мы уже сделали, но в Вашем случае все сложнее - речь идет не о цитате, а об информации.
Андре
Я понимаю Вас. Ситуация сложная и понять, что лучше куцая информация на официальном сайте или отличный доклад на неофициальном сложном.
Но я боюсь, что для такого типа запросов у одного поисковика в топ - 10 будет хоть какая релевантная информация, а у другого ничего имеющего отношения к запросу не попадет в топ-50 и хотелось бы видеть кто более релевантен Яндекс или Гугл длятаких запросов
To andre:
=Меня давно интересует - почему конкретная эта мерялка называется "качество ТЕМАТИЧЕСКОГО ПОИСКА"=
Понимаете ли Вы, что своим ответом Вы покрыли себя позором?
Потому что возможны два варианта и оба для Вас плохие.
Первый. У Вас какое-то другое понимание классификации запросов на навигационные, тематические и сервисные.
Типа http://cs.wellesley.edu/~cs315/Papers...Search.pdf и еще сотни работ.
Особенно учитывая Ваши же слова:
> По сути, здесь в выдаче ожидается набор официальных сайтов.
Поиск официальных сайтов, да еще предсказуемых типов - это "тематический поиск"?
Тогда - какие вы тогда "эксперты" по поиску и какая может быть степень доверия всем вашим "результатам"?
Второй. Вы все понимаете (-- Эта мерялка при создании называлась "экспертный анализатор" или "нейронный" --) - что взяли только узенький класс запросов, но тем не менее для своего пиара все равно назвали это громко "анализатор тематических запросов". Тогда это вопрос к совести владельцев Вашего ресурса.
> Размечать запросы "поинтереснее" типа "дизайн", "промышленность", "нанотехнологии" и т.п. вряд ли стоит,
> потому что для таких запросов навскидку можно предположить несколько разных версий выдачи,
> и какой вернее до опыта не оценить.
Есть анекдот про пьяного, который ищет ключи не там, где потерял, а под фонарем - потому, что виднее.
Кого интересует, что Вы НЕ УМЕЕТЕ (не знаете как или не в состоянии организовать должным образом) сейчас мерять качество тематического/информационного поиска.
Вы либо верните название на скромное (и никому не интересное) "нейронный анализатор", либо делайте что-нибудь более правильное.
серийный предприниматель
Господину Ходок_2004:
Ну, если мы уже полностью покрыли себя позором - то суетиться уже поздно.
Я не верю, что мы сможем реабилитироваться в ваших глазах, что бы мы ни делали.
Правда, поскольку мы не называем себя экспертами, то нас и нельзя сильно обидеть, отказывая нам в этом статусе. Мы просто делаем независимый анализатор качества поиска. Как умеем.
Если вы эксперт и недовольны нашим анализатором, сделайте свой.
Но всё-таки немного напрягает количество императивов "должны", "совесть", "позор", "правильное" и всяких повелительных наклонений "делайте", "верните" в вашем тексте. Если никакого доверия уже нет, чего так нависать-то?
Давайте так:
Вы будете писать на Роем.ру то, что считаете нужным, а мы будем делать на www.analyzethis.ru то, что считаем нужным.
Если вдруг, паче чаяния, вы захотите помочь нам, то не кидайтесь ссылками, это плохая манера (а умные статьи мы тоже читали), а расскажите, как по-вашему, должен быть устроен "анализатор тематического поиска".
Так, чтобы он давал хорошие достоверные результаты, которые понравятся экспертам, а при этом выполнялись следующие условия:
а) ежедневный анализ по разным и представительным множествам запросов,
б) затруднения для хитрых сотрудников поисковиков в настройке на конкретное множество запросов.
в) чтобы не тратить больше двух-трёх полных зарплат на поддержку и развитие всех 12 существующих анализаторов.
Вашу логику трудно понять. С одной стороны, вы не называете себя экспертами. С другой стороны, "делаете независимый анализатор качества поиска", что подразумевает, что вы полагаете, что в этом разбираетесь...
> Если никакого доверия уже нет, чего так нависать-то?
К некоторым другим Вашим сервисам у меня нет претензий.
> а мы будем делать на www.analyzethis.ru то, что считаем нужным.
Да кто Вам мешает? Только не надо это пиарить не аккуратно.
> Если вдруг, паче чаяния, вы захотите помочь нам, то не кидайтесь ссылками, это плохая манера
Ну Вам не угодишь.
Напишу свое мнение - Вы скажете "кто такой", сошлюсь на чужое (общепринятое) - опять не так.
> (а умные статьи мы тоже читали),
Тогда, собственно, остается повторить простой вопрос, от ответа на который Вы ушли - почему этот анализатор был Вами назван "анализатором тематического поиска"?
> Если вы эксперт и недовольны нашим анализатором, сделайте свой.
...
> а расскажите, как по-вашему, должен быть устроен "анализатор тематического поиска".
...
> Так, чтобы он...
Я подумываю об этом, прежде всего потому, что текущие не совсем устраивают. И пара идей у меня есть.
> Если вдруг, паче чаяния, вы захотите помочь нам, ...
Тут узловое слово "нам". Я с удовольствием посодействую "человечеству", но Вам?! Для этого Вам надо доверять, а с этим туго. Вы, IMHO и при всем уважении, очень часто меняете свое мнение.
Сделайте сервисы свободным и открытым проектом - может быть мне тоже удастся сказать что-нибудь полезное.
=понять, что лучше куцая информация на официальном сайте или отличный доклад на неофициальном сложно=
Представьте еще, что куцая информация на официальном сайте и отличный доклад на неофициальном могут дополняться активным обсуждением доклада на общепризнанном тематическом форуме, конструктивной критикой с актуальными примерами на сайте конкурентов или оппонентов, хорошей шуткой на тему в ЖЖ, упоминанием о докладе на официальном сайте власти, статьей желтого журналиста, что наши поезда не приспособлены для пассажиров и т.п.
Это уже проблема подборки ссылок с целью дать пользователю максимум информации, соответствующей его запросу в сжатом объеме одной страницы. О том, как это измерять, даже говорить пока страшно. :0)
=кто более релевантен Яндекс или Гугл для таких запросов=
Гугл более лоялен к спаму, многие забаненные в Яндексе сайты есть в индексе Гугла. Т.е. если речь идет о "хоть что-то найти", шансы чуть больше у Гугла. Но если тема известная, и оба поисковика показывают всю тысячу ссылок... это уже дело вкуса. По последнему опросу (проводил Гугл, кстати), пользователи с разницей в 1% предпочитают Яндекс.
Сделайте сервисы свободным и открытым проектом
Офигеть.
Но, в общем, тоже метод: если нечего ответить, можно поставить невозможные или глупые условия.
серийный предприниматель
Вашу логику трудно понять. С одной стороны, вы не называете себя экспертами. С другой стороны, "делаете независимый анализатор качества поиска", что подразумевает, что вы полагаете, что в этом разбираетесь...
Логика очень простая. Ни в этом треде, ни в других вы не увидите, чтобы мы называли себя экспертами или вообще как-то пиарили эти самые анализаторы. Хотя вы и пишете, что мы их пиарим.
На них сослался кто-то другой, а вы к нам пристаёте с претензиями.
А уж что мы там полагаем - это наше дело.
Или вы кроме всех ваших приказов сделать, исправить, немедленно отчитаться, почему так назвали - ещё и запретите нам вообще что-то думать и полагать без вашего разрешения?
Мы делаем такие вот анализаторы. Вы прибежали и с гневом требуете ответить на вопрос "а кто вы такие вообще!!!". Я не вижу смысла на него отвечать. Да никто. Успокойтесь. Мы - никто.
Одна программистская компания.
Тогда, собственно, остается повторить простой вопрос, от ответа на который Вы ушли - почему этот анализатор был Вами назван "анализатором тематического поиска"?
Ой, извините. Щас, щас отвечу!
Обдумали, сочли возможным и назвали. Ответ понятен?
А вот вы, по-моему, даже не думали над вопросом, что такое тематический поиск. Не нравится это применение данного словосочетания? Ну так подумайте, предложите свою версию.
Напишу свое мнение - Вы скажете "кто такой", сошлюсь на чужое (общепринятое) - опять не так.
Кто это вам сказал? Вы попробуйте для начала.
Мнения вы пока никакого не высказали толком, а дурную интернетовскую манеру кидаться ссылками лучше оставьте, она не украшает.
Для этого Вам надо доверять, а с этим туго.
Ну тогда конечно.
Вы, IMHO и при всем уважении, очень часто меняете свое мнение.
Что-то не припомню такого случая. Но если это происходит так часто, вас, конечно, не затруднит привести парочку совершенно бесспорных примеров.
Сделайте сервисы свободным и открытым проектом - может быть мне тоже удастся сказать что-нибудь полезное.
Сказать бы можно и сейчас, вообще-то.
По-моему, вы не понимаете значения слов, которые вы привычно используете.
Что такое "открытый и свободный", по-вашему?
1) "Свободный" вообще-то - это калька со английского free. То есть это значит на самом деле "бесплатный". Чем вам эти анализаторы не бесплатные?
Можно ещё трактовать, как "свободу от имущественных прав", то есть возможность свободно цитировать и использовать (со ссылкой на автора). Ну так используйте. Это тоже на сайте написано.
2) "Открытый" что значит?
Возможность посмотреть методику и какие маркеры используются? Так они открыты. Смотрите.
Возможность предлагать свои маркеры? Предложите для начала, модератор рассмотрит.
Можем создать инфраструктуру для заноса маркеров, одобрения, выкладывания.
Но я думаю, вам не это нужно, а так, потрындеть.
Я подумываю об этом, прежде всего потому, что текущие не совсем устраивают. И пара идей у меня есть.
Ну так давайте уже, сделайте. Для человечества.
Скучно...
Г-да Ашманов, andre - ситуация с "анализатором тематического поиска" простая - вы облажались. Признали бы просто и все.
Ошибаются все, но некоторые неразумно упираются.
Г-н eermakk - поступил гораздо правильнее и честнее.
> > Тогда, собственно, остается повторить простой вопрос, от ответа на который Вы ушли -
> > почему этот анализатор был Вами назван "анализатором тематического поиска"?
> Ой, извините. Щас, щас отвечу!
> Обдумали, сочли возможным и назвали. Ответ понятен?
Вот и вернулись к исходному - возможно, зная что поступаете "попсово", поступили попсово. В этом и вопрос.
Насчет
> Ни в этом треде, ни в других вы не увидите, чтобы мы называли себя экспертами....
> а дурную интернетовскую манеру кидаться ссылками лучше оставьте, она не украшает.
Дурные манеры - это когда в посте технические детали разбавляются переходом на личности - и это стандартный Ваш прием в пропорции 50:50 (учились Вы что-ли где-то этому специально?).
А Интернет - он весь состоит из ссылок, знаете ли. Не можно же Вам здесь было воспроизвести всю статью Бродера и еще сотни других.
И вот Вам еще одна -
"Мы решили стать главными экспертами на рынке и стали действовать в этом направлении." (http://ualife.org/post/5517 )
Таких на самом деле полно, эта, конечно, перепечатка, но мне пока лень искать и другие. Вы, действительно, так много разного говорите, что найдется на все случаи жизни.
Кстати, относится она прежде всего к сообществу СЕО, которые сначала стали неформально собираться, а затем появились "главные эксперты".
Да вот и еще одна "http://www.ashmanov.com/know/list/" !!!
Что, все равно отопретесь?
Не хочу я поэтому подсказывать Вам как правильно. Вы же все равно скажете, что именно так и давно уже думаете.
И не нужны мне такие "главные эксперты".
ни в других вы не увидите, чтобы мы называли себя экспертами
Вам бы в годик в "Сортировочной комнате" поработать. Вы бы называли себя экспертом, самым лучшим специалистом России, уникумом, гением, программистом-математиком, мастером адабуста, гроссмейстером ранжирования.
серийный предприниматель
Сортировочная комната - это в Яндексе? Я про них ничего толком не знаю.
А что, Ходок_2004 оттуда? Прикольно.
Тогда ясно, почему его так цепляет слово "эксперт". Он уже приклеил его к себе.
Он за своё эго тут сражается.
Г-да Ашманов, andre - ситуация с "анализатором тематического поиска" простая - вы облажались. Признали бы просто и все.
Ну естественно, облажались. Вы же так сказали.
Значит, облажались. Ну ладно.
Но вы хотя бы объяснили, что не так. В чём конкретно облажались?
Ведь по существу вы до сих пор ничего не сказали.
До сих пор вы асилели сказать, что вот раньше было разнообразнее как-то и что это вроде не тематические запросы, а "скорее сервисные". Слово "тематический" не нравится?
При этом ссылаетесь вы на Бродера, как на Святое Писание.
Нет бога, кроме Бродера и Ходок_2004 пророк его.
Вы перечитайте ваши посты выше: ничего конкретного и убедительного, но постоянные попытки занять "позицию с приставкой сверху", как говорят психологи.
Поэтому с вами содержательно невозможно спорить - ведь вы ничего содержательного и не говорите. По сути, всё сводится к именно личным наездам: как посмели считать себя экспертами, вот же облажались, упираетесь, совести нет, нечестно, меняете мнение и т.п. Исключительно личные темы.
Но естественно, любой хам - существо крайне ранимое и деликатное, не дай бог его лично задеть нечаянно. Поэтому вы и жалуетесь на личный характер дискуссии.
Меня, кстати, удивляет, что нет претензий к другим анализаторам. Про этот мы знаем, что методика и количество маркеров не очень, но тем не менее для публикации годится и что-то показывает. Но есть ещё десяток, в которых тоже есть косяки. Но вы их почему-то не видите, что ли.
А там почти всё можно оспорить, как в любом публичном тесте.
Ошибаются все, но некоторые неразумно упираются.
А вот и призыв покаяться поступил.
Г-н eermakk - поступил гораздо правильнее и честнее.
Ну точно, проповедник. Праведник в белых одеждах.
Вообще-то господин Ермаков написал здесь, что он недоволен методикой и работает над ней - по моей просьбе.
И это вполне нормальное высказывание. Более того, он постоянно читает поток писем из Яндекса, Гугла и Рамблера и обсуждает с ними методики. Пишите ему, если есть что конкретное сказать.
А вот "совесть", "облажались", "нечестно", "замените название", "делайте!", "не уклоняйтесь от вопроса", "в глаза смотреть, я сказал!!" - это применяйте в своей секте.
У вас своя секта, а у нас своя.
P.S. Насчёт экспертов: если вы сами будете внимательно читать тексты по вашим же ссылочкам, вы обнаружите, что слово "эксперт" там относится исключительно к поисковой оптимизации. А вовсе не к поиску. Экспертом тут, например, является Андрей Иванов (andre).
По поиску у нас эксперт - конечно же, вы. Без балды.
> При этом ссылаетесь вы на Бродера, как на Святое Писание.
> Нет бога, кроме Бродера и Ходок_2004 пророк его.
Бродер, конечно, не первый. Были еще экспериментальные работы Jansen'а , Amandы Spink и др.
Бродер просто наиболее известен.
Смотрим ACM Library
http://portal.acm.org/citation.cfm?id=792550.792552
A taxonomy of web search, Andrei Broder, September 2002, SIGIR Forum , Volume 36 Issue 2
Bibliometrics: Downloads (6 Weeks): 113, Downloads (12 Months): 780, Downloads (Overall): 3384,
Citation Count: 160
Но по-видимому не всем он известен.
И вот говорливого не по делу Ашманова с его пониманием "тематического поиска" мне там обнаружить не удалось.
> Насчёт экспертов: если вы сами будете внимательно читать тексты по вашим же ссылочкам,
> вы обнаружите, что слово "эксперт" там относится исключительно к поисковой оптимизации.
> А вовсе не к поиску.
Ха-ха-ха и хи-хи-хи.
В запале логика не теряется?
Вы еще на конференции на поисковой оптимизации скажите, что Вы эксперт по поисковой оптимизации, но в поиске ничего не понимаете.
Вас за руку ловят, а Вам - все божья роса.
Насчет других сервисов - если по простому вопросу у Вас столько эмоций, что же в остальных творится-то?
Может их стоит убрать из показа, если сами понимаете, что показываете там неверные циферки?
управленец-разнорабочий
> А что, Ходок_2004 оттуда?
Нет.
А откуда он, если не секрет?
Не из компутативного адвертайсмента в Яхе?
серийный предприниматель
Вы еще на конференции на поисковой оптимизации скажите, что Вы эксперт по поисковой оптимизации, но в поиске ничего не понимаете.
Я там даже не скажу того, что я эксперт по поисковой оптимизации. Хотя в компании у нас эксперты таки есть.
И когда меня гуру кто-то называет, я обижаюсь.
А вот вы, вероятно, эксперт и гуру. Поздравляю вас.
Вас за руку ловят, а Вам - все божья роса.
Это вы про ваши ссылки не по делу? Мы обсуждаем анализ качества поиска. Покажите, где я называл себя экспертом и пиарил анализаторы.
Насчет других сервисов - если по простому вопросу у Вас столько эмоций, что же в остальных творится-то??
Насчёт эмоций - а это вы такой форумный мем пробуете включить? Я вам помогу, он в оригинале звучит как "а что это вы так нервничаете?".
Вот вы, допустим, что так нервничаете? Защищаете своё внутреннее ощущение себя экспертом?
Не надо, успокойтесь, пожалуйста. Вы эксперт, Вы эксперт. Вы гуру.
Может их стоит убрать из показа, если сами понимаете, что показываете там неверные циферки?
Нет, пока не понимаем. Покажите, где они неверные. Ссылки на статьи Бродера как доказательство не канают.
Но вообще уже заметен личностный прогресс: уже не "уберите", а "может, стоит убрать".
Это реальное достижение.
walker 2004
А в какие категории запросов по Бродеру попадают
скандал мвд
речь медведева
недорогие суши (заданный в районе м Отрадное)
Ашманову
Вы не обижайтесь на проходимца 2004. Любой человек, ставший в какой-то мере публичным и известным получает свою долю сомнений в компетентности и травли. Для многих людей это единственный способ самоутверждения - потравить известного человека
серийный предприниматель
Да мне не жалко, пускай.
У нас в конторе есть один очень умный человек, на которого я хотел бы равняться в этом смысле. За 16 лет работы с ним вместе я ни разу не видел, чтобы он раздражился. Хотя за эти годы он побывал вместе с нами в разнообразнейших ситуациях, включая совершенно идиотские и острые.
Если ему сказать (предположительно) "Николай, вы дурак!", он ответит с лёгким сердцем "Да, есть и такое мнение".
Много чего умного написано доморощенным умниками.
Если вы тут все такие умные, то почеиу в сортировочной не работаете?
Вопрос, конечно, не к Расковалу и Сегаловичу, а к прочим.
Патамушта нормальные пацаны работают не в какой-то там сортировочной, а гендиректором.
Они приходят вечером пьяные в контору и выгребают кассу. Вот живут нормальные чоткие пацаны.
программист
(1) Про метрику analyzethis: часть запросов о которых спор, автоматически транслитерируются в латиницу и Google находит много иноязычных документов, содержащих транслитерированный запрос. Это несколько искажает картину и не в нашу пользу (мы не ищем по, скажем, испанским доменам в таком объеме в каком это делает Гугл). Ну и не делаются попытки почистить скачанные наборы URL-ов по каждому запросу от полудублей (это позволило бы понять более точно соотношение размеров баз). (или делаются? но я не видел ссылки) Плюс запросов кажется маловато. Иными словами, истинная картина полноты баз по состоянию на сейчас скорее всего несколько иная, чем показывают метрики.
(2) Про "просто обойти": обход сети давно уже задача, требующая таких же интеллектуальных алгоритмов как и поиск. Очень просто нагрести мусор, дубли и спам, очень сложно иметь в индексе содержательную информацию в максимально полном и свежем виде.
(3) Про значение полноты в веб-поиске: важно понять также, что это не единственная и далеко не самая ключевая метрика поиска (хотя и важная), есть не менее десятка столь же важных. Главные показатели качества поиска снимаются с большого числа разных запросов, наиболее существенно полнота проявляется на редких запросах из длинного хвоста.
(4) Про соотношение размеров: мы наблюдаем за размерами всех систем примерно с 2001 года, хотя и не берем на себя смелость и не считаем себя вправе выступать в роли аналитиков, но некоторыми частными наблюдениями можем поделиться: так например, как нам кажется, русскоязычные базы сопоставимы по размеру у основных игроков уже довольно давно (примерно с 2003 года), (кроме разве что бинга и апорта и яху). Ситуация когда у нас была не самая большая (по нашим наблюдениями) русскоязычная база уже бывала, были моменты, когда Рамблер был самый большой (в районе 2005 кажется, при этом там было много дублей в выдаче, да и качество поиска страдало), были момент, когда и Google. Повторю, что это все по нашим наблюдениям. Да, видимо, по метрике полноты базы мы прямо сейчас немного уступаем, но надо отметить, что это никак не связано с железными ресурсами, выделяемыми на обход сети.
(5) Резюме: эта метрика, тем не менее, очень важна, мы внимательно изучаем ситуацию, и постараемся атаковать эту проблему. Следите за метрикой и анонсами.
2 walker_2004
Из терминологического спора не здорово устраивать такой шум, вы не находите? Людям надо спасибо сказать, что они взялись за такое неблагодарное дело, как публичные измерения. Разве на других рынках есть такой мониторинг? Конечно они несовершенны, но ведь других нет. Конечно термин "неправильный". Но разве у вас уже написаны свои метрики и вы просто стесняетесь дать ссылку?
2 iseg
> 2 walker_2004
> Из терминологического спора не здорово устраивать такой шум, вы не находите?
> Людям надо спасибо сказать, что они взялись за такое неблагодарное дело, как публичные измерения.
> Разве на других рынках есть такой мониторинг? Конечно они несовершенны, но ведь других нет. Конечно
> термин "неправильный". Но разве у вас уже написаны свои метрики и вы просто стесняетесь дать ссылку?
Посмотрите, мой первый пост был вполне нейтральный, eermakk нормально ответил, и все было тихо.
А затем они зачем-то стали отрицать очевидное - ну и понеслось...
Повод, конечно, не стоит выеденного яйца, тем более, они, надеюсь, все подправят, и мы скажем им еще большее спасибо :)
Только почему дело это - неблагодарное?
геолог
to iseg
> часть запросов о которых спор, автоматически транслитерируются в латиницу и Google находит много иноязычных документов, содержащих транслитерированный запрос.
Такие запросы действительно есть, но их мало - я с ходу нашел только один такой - "антифибрин" (что это вообще такое, хотел бы я знать...). Наверняка их есть еще, но не сильно много. Но да, такое искажение есть в пользу гугла, согласен. Оно же есть в пользу Bing и Yahoo, но их это не спасает.
> не делаются попытки почистить скачанные наборы URL-ов по каждому запросу от полудублей
Не делается, это верно. Но - это же именно что полнота, а не полнота+чистота. То есть, да, возможно
что поисковик, предъявляющий 100 документов, из которых 90 являются дублюями или спамом, побудит тут поисковик, который имеет 10 оставшихся "хороших" документов, а 90 дублей не предъявляет вовсе. Я понимаю что это создает некоторый диссонанс, но пока не соображу как его избежать так чтобы по дороге не потерять смысл слова "полнота".
Заметим что изначально по этой методике и по этому набору запросов Гугл имел полноту сильно меньшую чем Яндекс, но "наверстал". То есть, были им предприняты какие-то действия на этот счет. Какие именно действия - я со стороны не могу сказать, для этого надо быть внутри Гугла, но они точно были. Анализатор это показывает.
> Иными словами, истинная картина полноты баз по состоянию на сейчас скорее всего несколько иная, чем показывают метрики.
Наверняка, но.
Истинную картину можно получить, только находясь внутри поисковиков. Извне - сильно лучшего метода я не берусь с ходу озвучить. Да, можно сделать дополнительные фильтрации, например свернуть дубли, но все равно это не даст точной картины, такой которую можно получить изнутри. Но тренд - понять можно. Даже не в том смысле что "в настоящий момент полнота Гугла выше полноты Яндекса", а скорее "за последние несколько месяцев Гугл предпринял заметные усилия по наращиванию полноты по российскому Интернету". Что "Яндекс и Гугл покрывают российский Интернет в разы или на порядки полнее чем Апорт и ГоГо". И т.п.
> Про значение полноты в веб-поиске: важно понять также, что это не единственная и далеко не самая ключевая метрика поиска.
Это ключевое слово. Полнота вовсе тут если не на последнем месте, то точно не выше чем во втором десятке. Если поисковик дает идеальную точность, то он вовсе может обладать малой и негодной полнотой, и никто на него не обидется. Если первые 10 результатов идеальны, то не важно есть ли прочие стотысяч или их нет.