Автор Тема: Яндекс Арзамасский :)  (Прочитано 5034 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
На www.yandex.ru обновлена поисковая программа -- теперь там работает "Арзамас" (ранее известный как "Анадырь"). В серии постингов мы расскажем, что сделано за это время.

Снятие омонимии

Яндекс научился еще лучше понимать русский язык, разрешая неоднозначности слов в запросах.

Как известно, знание русской морфологии позволяет поиску Яндекса находить больше полезных ответов. Если вы спросили [реконструкция Маяковской], мы покажем также страницу со словами [станция Маяковская открылась после реконструкции]. Но русский язык -- тонкий, сложный и неоднозначный. Тем, кто ищет [фото львов], могут быть нужны как фотографии животных, так и фотографии города Львова. Человек может уточнить свое высказывание, добавив к нему одно или несколько слов: [фото африканских львов]  или [фото город львов]. Теперь эти уточнения наш поиск научился понимать.

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #1 : 11.04.2009, 13:09:06 »
Мы реализовали алгоритм снятия омонимии, позволяющий во многих случаях определить, какое слово имеется в виду, и предлагаем в ответ только документы с формами нужного слова. По запросу [фото африканских львов] пользователь получит в ответ документы со словами  "лев", "льва", "льву", но не получит документы, где встречаются лишь слова "Львова" или "Львову".

Как мы научили машину отличать, когда речь идет о животных, а когда -- о городах? Алгоритм снятия омонимии основан на анализе данных запросов наших пользователей, учитывает частоту слов в Интернете и их сочетаемость, а также опирается на лексическую статистику слов из Национального корпуса русского языка -- академического проекта, разрабатываемого при поддержке Яндекса. При анализе неоднозначного запроса мы выбираем наиболее частотную модель. Выбор в  пользу наиболее вероятной  конструкции помогает понять, что "день рыбака" -- это не призыв, а праздник, а "платья придворных дам" -- не обещание поделиться одеждой.

А любимый наш вопрос -- тот, на который мы знаем целых два правильных ответа. Звучит он так: "Сколько голов у Павлюченко?"


Александр Садовский и команда поиска

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #2 : 18.04.2009, 18:04:28 »
Арзамас-2
Продолжаем рассказ о новой версии поисковой программы.
Теперь поиск Яндекса учитывает регион пользователя. Начиная с "Арзамаса", результаты поиска по одному и тому же запросу могут быть разными в разных регионах.
Пользователи часто спрашивают Яндекс о людях и компаниях из их региона, локальных событиях и местах, сайтах и услугах. Например, среди самых часто задаваемых запросов в Челябинске и Ростове-на-Дону 14% "локальных", в Уфе -- 24%, а во Владивостоке -- 29%. Ранжирование с учетом региона поможет поиску дать более точный ответ на вопрос пользователя.
Движение в эту сторону поиск начал давно -- с 2006 года в Яндексе работает автоматическая геоклассификация сайтов, еще раньше появилась возможность ограничить поиск сайтами из своего региона (в расширенном поиске или взведя галочку под поисковой строкой). Но теперь Яндекс пытается сам определить, важен ли регион в каждом конкретном случае. И, конечно, у нас были и будут колдунщики, дающие локальные для пользователя ответы из Карт, Адресов, Афиши, Погоды и Новостей.

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #3 : 18.04.2009, 18:04:38 »
Как "Арзамас" понимает, что какие-то результаты должны быть локальными? Регион пользователя определяется по IP-адресу. При желании пользователь может указать свой регион вручную. В ранжировании стали учитываться факторы, позволяющие понять, что данная страница важна пользователям именно "своего" региона. Причем мы попытались сделать это решение максимально общим, не зависящим ни от какого региона конкретно.
Для ряда регионов -- и список их будет расти -- мы используем специально настроенную формулу ранжирования. Сейчас индивидуальная формула есть для Москвы, Санкт-Петербурга и российского регионального поиска, а также для некоторых стран СНГ.
С выходом "Арзамаса" мы начали учитывать в подсказке об опечатках настройку языка браузера при определении языка запроса в сложных случаях.


Денис Расковалов и команда поиска

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #4 : 21.08.2009, 12:36:10 »
Арзамас 1.2 c новым классификатором -- на www.yandex.ru
вчера, 20 августа 2009 года, 16:45
Арзамас

В поисковой программе, работающей на www.yandex.ru, обновлен классификатор гео-зависимости запросов.

Яша продолжает испытывать новые алгоритмы поиска. Выдача постоянно меняется, оптимизаторы тихо ох....ют. :)

val

  • Гость
Re: Яндекс Арзамасский :)
« Ответ #5 : 25.08.2009, 15:30:30 »
))))) я тоже заметил нестабильность в поисковике при выдаче

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #6 : 18.11.2009, 00:35:34 »
С сегодняшнего дня на www.yandex.ru работает обновленная поисковая программа - "Снежинск". В этой версии мы впервые применили наш новый алгоритм машинного обучения MatrixNet, который позволил в разы увеличить количество учитываемых при ранжировании параметров, и, благодаря этому, заметно повысил качество поиска.

Спасибо всем, кто принял участие в тестировании. Ваши замечания очень помогли нам провести финальную отладку алгоритма перед запуском.

опять выдача меняется....

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #7 : 18.12.2009, 20:50:52 »
АГС-30                                                                             сегодня, 18 декабря 2009 года, 13:30

В интернете стало появляться все больше сайтов, предназначенных исключительно для манипулирования алгоритмами поисковых систем. Такие сайты не содержат полезной информации, не представляют интереса для пользователей и могут ухудшить качество поиска Яндекса. Во второй половине 2009 года количество исключаемых из индекса некачественных сайтов стало расти, и мы решили официально объявить о существовании алгоритма АГС-17, предназначенного для их фильтрации в результатах поиска.

Мы получили большое количество положительных отзывов о работе алгоритма АГС-17. Но многие пользователи справедливо жалуются на то, что в результатах поиска Яндекса все еще остаются некачественные сайты. Поэтому мы постарались увеличить полноту АГС-17. Новый алгоритм, основанный примерно на ста факторах, стал значительно умнее, быстрее и полнее старого, при этом его точность продолжает оставаться очень высокой. Новый алгоритм получил название АГС-30.

Группа пролетарского гнева компании Яндекс

опять двадцать пять (((((((((

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #8 : 18.12.2009, 21:04:03 »
Только что нашел )))))

АГС-30 (Индекс ГРАУ - 6Г25) — автоматический станковый гранатомёт, разработанный в первой половине 1990-х годов в КБ Приборостроения (Тула) в качестве замены гранатомёту АГС-17.

Для стрельбы из гранатомёта применяются выстрелы ВОГ-17 (базовая модификация со взрывателем мгновенного действия), ВОГ-17М (взрыватель снабжён устройством самоликвидации (замедлитель рассчитан на 25 секунд)), ВОГ-30 (усовершенствованный тип, имеющий более мощное осколочное действие, а также автономную герметизацию метательного заряда в гильзе) и ВУС-17 (практический выстрел, вместо заряда ВВ гранаты снаряжены пиротехническим составом оранжевого дыма, обозначающим место падения гранаты).
Для дальней стрельбы используется призменный оптический прицел ПАГ-17 с 2,7-кратным увеличением. В ночное время возможна подсветка шкалы прицела.


из википедии

Яша жжет  ;D ;D ;D ;D

Оффлайн Hunter

  • мы все умрем!
  • Administrator
  • *****
  • Сообщений: 3038
  • Карма: +130/-11
  • Пол: Мужской
  • Мы все умрем!
    • Кубок Заполярья
Re: Яндекс Арзамасский :)
« Ответ #9 : 15.12.2010, 20:25:39 »
Сегодня была запущена новая поисковая программа "Краснодар", в основу которой легла  технология "Спектр".
Технология «Спектр»

Когда пользователи задают запросы к Яндексу, примерно в 20% случаев они формулируют запрос неоднозначно. Например, по запросу [наполеон] кто-то хочет найти полководца, а кто-то – рецепт торта. А задавая запрос [суши], человек может искать и ресторан с доставкой на дом, и рецепт блюда. Спектр возможных целей может быть очень широк – так же, как и спектр возможных ответов. И если пользователь не указал в поисковом запросе, что он ищет, то понять это крайне трудно.

Сегодня мы внедрили новую поисковую технологию, которая умеет учитывать множество неявных целей пользователей и показывать соответствующие ответы. Новая технология так и называется – «Спектр».

В основе работы «Спектра» лежит статистика поисковых запросов. Система исследует запросы всех пользователей Яндекса и выделяет в них различные объекты – это могут быть имена людей, названия фильмов и книг, модели автомобилей и тому подобное. Каждый объект относится к одной или нескольким категориям. Например, в запросе [колдрекс инструкция] название лекарства «Колдрекс» — объект, который попадает в категорию «лекарства». А объект «Пушкин» относится к двум категориям — «поэты» и «города». На данный момент «Спектр» выделяет около 60 категорий, и это количество будет еще расти. Знание категорий позволяет поисковой системе понимать разные значения слов в поисковых запросах.

Кроме того, «Спектр» умеет учитывать при поиске различные потребности пользователей. У каждой категории есть список возможных потребностей – тех намерений, с которыми пользователи ищут тот или иной объект. Например, когда люди ищут какой-нибудь товар, они, как правило, хотят купить его или почитать отзывы и обзоры. То есть для категории «товары» среди потребностей будут «купить», «отзывы» и «обзоры». Всего у категории может быть от двух-трех до нескольких десятков потребностей.

С учетом того, в какие категории попал объект, что люди обычно про него спрашивают, что пишут в интернете и т.д. «Спектр» оценивает процент людей, которые ищут этот объект с каждой из возможных целей. Эти данные используются при ранжировании результатов поиска по многозначным запросам. Используя их, «Спектр» вычисляет пропорции, в которых ответы на ту или иную тему должны быть представлены в результатах поиска. Найденные сайты упорядочиваются таким образом, чтобы спектр ответов соответствовал спектру вопросов. Таким образом, поиск Яндекса максимизирует вероятность того, что человек найдет именно то, что искал. Даже если он не указал это явно в своем запросе, а просто подумал.

«Спектр» анализирует поисковые запросы полностью автоматически – каждый раз рассматривается очень большой массив запросов, более пяти миллиардов. Их обработка происходит одновременно на нескольких сотнях машин. Чтобы данные не теряли актуальность, «Спектр» запускает процесс анализа несколько раз в неделю.

Кроме статистики запросов, «Спектр» умеет использовать данные из справочников и энциклопедий – в том числе из Википедии. Это помогает распознавать недавно появившиеся объекты, узнавать, какие значения объектов не укладываются ни в одну из существующих категорий, и добавлять новые.

 

В быстром ответе можно использовать BB-теги и смайлы.

Имя:
Визуальная проверка: