Интернет-математика

Здравствуйте!

Начинаю проект по анализу взаимодействия пользователей с коммерческим сайтом.

Задача родственна теме конкурса.

18 декабря участникам конкурса было разослано письмо следующего содержания: "We would like to remind you that it is not allowed to be registered in more than one team. If some participant is registered in more than one team, both teams are not eligible for prizes and must be banned from participation." (перевод: "Напоминаем вам, что нельзя регистрироваться более, чем в одной команде. Если какой-то участник зарегистрирован более, чем в одной команде, обе команды не имеют права на получение призов и отстраняются от участия.")

Я обратил внимание на некоторые странные факты в рейтинге:

1) Ясно, что если в решении переставить документы для каждой пары запрос-регион в обратном порядке, то рейтинг изменится с X на 1-X. В последний день соревнования команды helltheclick и clickmodel стали отправлять решения, которые отправили их в самый конец рейтинга, хотя до этого они занимали неплохие места.

2) Итоговый результат keinorhasen и (1 - итоговый результат helltheclick) на валидационной выборке равны, соответственно, 0.667619 и 0.66748 (расхождение 0.000139); на контрольной выборке - 0.660982 и 0.661259 (расхождение 0.000277).

3) Аналогично, (1 - итоговый результат clickmodel) на валидационной и контрольной выборке равны, соответственно, 0.666749 и 0.660892, что тоже очень близко к результату keinorhasen.

4) Скорее всего, helltheclick мог бы занять первое место среди участников конкурса, просто переставив документы в своём решении в обратном порядке, но вместо этого занял предпоследнее место.

5) По моим наблюдениям, весь конкурс команды helltheclick, ailab, и Take it and go загружали решения практически синхронно. В рейтинге, доступном на сайте, у них равное число попыток, что также достаточно нетипично.

На основании этих фактов я считаю, что команда keinorhasen использовала команды helltheclick и clickmodel для "дополнительных отправок". Возможно, то же относится и к командам ailab и Take it and go.

Также мне кажется, что команды omg, OMG!!, OMG!!!, aaa и aaaaiiii могут принадлежать одним и тем же людям: у этих команд похожи названия, итоговые результаты, четыре команды из пяти были созданы в последний день и имеют одну отправку.

Я отправил письмо администрации с указанием этих фактов и получил ответ, что доказательства с использованием математической статистики не являются достаточными для исключения команд из конкурса, а также что обмен опытом и идеями между командами не запрещён.

На мой взгляд, такая позиция формально соответствует правилам, но противоречит им по духу. Аналогичная ситуация возникла также в одном из конкурсов kaggle, после чего в правила тех соревнований был включён пункт пункт 3.6: «No individual or entity may share solutions or code for any competition, or collaborate in any way, with any other individual or entity that is participating as a separate individual or entity for the same competition. The foregoing shall not apply to any public communications, such as forum participation or blog posts.», т.е. был запрещён обмен опытом и кодом между командами любым способом, кроме сообщений на общедоступных форумах и в блогах. Предлагаю добавить аналогичный пункт в правила будущих конкурсов «Интернет-математика».

Я считаю, что участники конкурса должны знать об этих фактах. Также мне очень хотелось бы услышать комментарии от команды keinorhasen как от победителей конкурса.

Скажите, пожалуйста, как понять,что решение загружено?

Я отправляю файл, после загрузки идет преренаправление на пустую страницу.

На почту уведомления о загрузке не приходит.

 (просто я один раз ввел не тот пароль, а ответ на загрузку был такой же, как и при корректном пароле, поэтому не могу поянть успешно загружено решение или нет). 

Спасибо. 

Здравствуйте! В условии конкурса нашел фразу:

"Обратите внимание, что в тренировочной части данных есть запросы с оценками только одного вида и запросы с более чем 300 показанными урлами. В тестовой части данных таких запросов нет."

При этом среди (Запросов+Регион), которые нужно оценить есть большое количество таких, для которых было показано более 300 урлов. Пример: (1003 1; 10241 0; 103 1  и многие другие).

Разъясните, пожалуйста, на какую информацию ориентироваться?

Большое спасибо!

Уважаемые
организаторы, можете ли Вы предоставить участникам дополнительную полезную "контрольную
сумму"? Речь идет об общем количестве "правильных" URLID,
которые должны присутствовать в файле результата с тем, чтобы оценка не была искусственно
ухудшена. Наличие этого количества позволит участникам удостовериться, что они
правильно понимают условия отбора документов для запросов.

Второй раз в этом году мы проводим конкурс "Интернет-математика". 

Цель этого конкретного конкурса — предоставить всем желающим возможность провести исследования по предсказанию релевантности документов по пользовательскому поведению. Специально для конкурса Яндекс предоставляет уникальный набор данных — информацию о переходах на документы из результатов поиска и асессорские оценки релевантности этих документов. Все данные о поисковом поведении принципиально обезличены, а в данных, предоставляемых для данного конкурса, удалены также тексты запросов и адреса сайтов (путем замены на случайные числовые идентификаторы). Таким образом, конкурсная задача представлена в максимально абстрактном математическом виде.

Как и раньше, участвовать можно в одиночку или командой, за первые три места участников ждет приз. Лучшему российскому участнику мы оплатим полет в Сиэтл, США, где пройдет презентация лучших решений, и регистрацию на ведущую конференцию по веб поиску – WSDM 2012.

Подробная информация о конкурсе, данные и рейтинг решений — на сайте imat-relpred.yandex.ru, общение участников — в клубе.

Решайтесь решать!

Павел Сердюков

Возможно, вы знаете, что есть такая инициатива по оценке методов информационного поиска - РОМИП. В рамках РОМИПа есть дорожки поиска по изображениям.

Было бы вам интересно поучаствовать в дорожке РОМИПа на данных ИМАТ2011? Задача - например, кластеризация всех картинок набора (а не только внутри серий).

Подскажите, пожалуйста, метод, что я делаю неправильно. Ато математику уже подзабыл основательно.

Дано: известны 3 точки: (-3;4), (0;2), (2;-4). Известно, что первая и третья - экстремумы, а вторая - не экструмум, но производная там = 0. График выглядит примерно так.

Уважаемые участники!

В скрипт оценки решений финального этапа закралась опечатка, которая привела к неправильному подсчету рейтингов. Пожалуйста, не волнуйтесь: порядок команд в рейтинге правильный, победитель не изменился. Ошибка в формуле была с точностью до коэффициента, который остался от тренировочного этапа (25000 вместо 30000).

Мы храним все решения команд, поэтому нам удалось произвести пересчет оценок. Поскольку упомянутый коэффициент находится в знаменателе формулы, результаты всех команд несколько выросли - надеюсь, это хотя бы немного скомпенсирует вам неудовольствие от вынужденного пересчета.

С момента публикации этой записи все новые решения принимаются по правильной формуле.

От лица организаторов приношу извинения всем участникам, мы постараемся не допустить подобных случаев в дальнейшем.

Как видно из таблицы, победителем стала команда «Мифический Нижний Новгород» в составе: Илья Лысенков (капитан), Анатолий Бакшеев и Мария Димашова, все — компания Itseez. Рузультат победителей — 0.99324. Наши поздравления!

PS Мы снова открыли прием решений для финального набора данных.

Предлагаю поделиться использованными методами.
Вот некоторые из наших:
1. Вместо того, чтобы сразу находить лишние фото в группе из пяти, для каждого возможного ответа оценивалась вероятность его правильности. Затем работала функция, которая выбирала не самый вероятный ответ, а тот, который с большей вероятностью в среднем принесет наименьшую ошибку (сравнивались матожидания ошибки).
2. Для оценки вероятностей фотографий быть лишними использовалось несколько подходов.
Лучшим оказался тот, который делил пять фотографий группы на две подгруппы так, чтобы максимальная похожесть фотографий из разных подгрупп была минимальной. Это хорошо работало на тестовой выборке, зато на финальной дало сбой. Дело в том, что в тестовой выборке два лишних фото всегда (почти?) были из одной панорамы, а в финальной - из разных. Пришлось в срочном порядке исправлять нашу ошибку.
3. Похожесть (метрику) между фотографиями можно считать множеством различных способов. Мы испробовали:
   
    а) Сравнение полноцветных гистограмм - количеств точек одного цвета. Вычислялась сумма по всем цветам минимального из количеств пикселей на одной и на другой фотографии этого цвета ( sum_{i=1}^n min(k1(i),k2(i)) ). Это основная составляющая. Чтобы быстро сравнивать гистограммы, их строили заранее, причем не по всем 16 млн. цветам, а по тем цветам, которые участвуют в фотографиях группы (их гораздо меньше). Такой подход позволил свести время разметки 5000 групп до нескольких секунд на обычной персоналке. Трудности вносила 32х-битная ОС, не позволяющая загрузить все в память. Для сравнения, время чтения jpg-файлов и построения гистограмм на этой же персоналке составляло 2 часа.
    Уменьшение количества используемых цветов (100 по H и S в HSV), а также введения всего 10 уровней яркости (V в HSV) позволило улучшить рейтинг и еще ускорило программу.
    К сожалению, подход с гистограммами не учитывает месторасположение пикселей на фотографиях. Большинство ошибок были связаны с наличием различных объектов одинакового цвета. Попытка делить фото горизонтальными линиями на 3 части повысила рейтинг, но не намного.
   
    б) Выделение множеств групп с гарантированным качеством разметки дало существенное преимущество и позволило упростить метод, исключив кучу операторов if. Идея в следующем: на этапе чтения jpg-файлов проводится быстрый неточный анализ. В случае, если он с 99% вероятностью уверен в ответе, то мы фиксируем ответ и исключаем группу из дальнейшего рассмотрения. Вероятность и остальные параметры рассчитывались по 1000 групп с известными ответами. Так удалось отделить 70% групп, рейтинг на которых был не меньше 0.99.
   
    в) Поиск наложений - весьма непростая задача. Фото сильно искажены, попытка исправить искажение не увенчалась успехом.  Пришлось программировать метод, учитывающий возможные искажения. Работал он следующим образом: сначала при помощи бегущего маленького (20х20 px) окошка посередине (y=150) фотографий устанавливались возможные величины сдвига, с которым могут накладываться фотографии. Потом эти величины проверялись 12-точечным резиновым шаблоном: брались 12 окошек 20х20 px в разных частях проверяемой общей области двух фото и сравнивались с различными маленькими смещениями от -15 до 15 px (поэтому - резиновый). Скорость метода была доведена до 0,1 с на пару фотографий, точность - 1% для ответа "накладываются" и 20% для ответа "не накладываются". К сожалению, беглая проверка точности метода на финальной выборке показала, что для ответа "накладываются" он стал врать гораздо чаще. Это было очень опасно. Подбирать параметры заново не было времени, и пришлось его отключить.
   
    г) Поиск одинаковых объектов и связанная с ним задача разбиения фото на объекты (кластеры) - очень мощный семантический метод, который был запрограммирован нами раньше, чем "Поиск наложений". Для кластеров можно определить центр, поэтому задача поиска наложений этим методом решалась гораздо быстрее и точнее. Однако, оказалось, что наша функция разбиения объекты на кластеры работает недопустимо большое время - 30с для одной фотографии. Есть методы, работающие гораздо быстрее (см. например, А.Ю. Дорогов, Р.Г. Курбанов, В.В. Разин "Быстродействующий алгоритм семантической классификации JPEG–изображений" - позволяет кластеризовать без декодировки jpg-файла). Но на их реализацию у нас не осталось времени.
   
    д) Поиск похожих групп в первой тысяче - очень интересный метод, позволяющий получить реальные вероятности ответов. Некоторые характеристики рассматриваемой группы сравниваются с аналогичными характеристиками первой тысячи групп. Так находятся несколько (20-50) наиболее похожих групп. По ним вычисляются вероятности ответов. В качестве характеристик мы брали наиболее значимую часть матрицы расстояний между фото. Сравнение нужно производить инвариантно относительно произвольной перестановки фотографий в группе (ответ должен учитывать эту перестановку!). Оказалось, что после подбора параметров наши вероятности хорошо совпадали с реальными, выданными этим методом. Но несмотря на это, заставить работать этот метод лучше, чем то, что было у нас, не удалось.
    Такой подход находит еще одно важное приложение. С его помощью можно найти "необычные" группы, не похожие ни на одну из первой 1000 штук. Подобрав параметры так, чтобы необычных групп получалось 5% от всех, мы получили номера групп в которых содержалась половина от всех наших ошибок. Мы ввели и подобрали для этих групп свои параметры метода. Это произошло 16 мая после 14:00, поэтому я до сих пор не знаю, как это сказалось на общем рейтинге.
    С финальной выборкой нас ждал сюрприз - "необычных" групп при тех же параметрах оказалось 30% ! Сюда вошли все группы, в которых две лишние фотографии были из разных панорам. Именно таким образом нам удалось найти ошибку в своем первом методе.

Разошлите, пожалуйста на почту хотя бы предварительный рейтинг. Без имен. Просто столбик со скором и место.

См. http://imat2011.yandex.ru/datasets, пароль к архиву будет опубликован в 14.00 по московскому времени 16 мая 2011 г.

Приглашаю участников «Интернет-математики» на совместную школу EDBT/RuSSIR, которая пройдет 15-19 августа в Санкт-Петербурге. Программа очень сильная, к тому же есть курс по индексированию и поиску мультимедийной информации. Ваши методы решения конкурсного задания — хорошая тема для постера или полноценной статьи. Авторам сильных заявок организаторы готовы предоставить гранты на участие, заявки принимаются до 25 мая.

Добрый день!

Этим летом в МГУ будет проходить школа по компьютерному зрению. Среди лекторов - топые учёные с мировым именем (Andrew Blake, Andrew Zisserman и т.д.) Участие в школе абсолютно бесплатно. Кроме того бесплатны питание и развлекательная программа. Иногородним студентам предоставляется общежитие в главном здании МГУ. Лекции будут читаться частично на русском, частично на английском языках.

Все, кто интересуется компьютерным зрением или хочет узнать, как повысить процент верно сгруппированных панорам - подавайте заявки тут!

Удачи!

Как получить указанное в примере http://imat2011.yandex.ru/datasets значение метрики 0,68068 для пустого файла результатов?

Правильно ли я понимаю, что значение метрики Q = (TP + TN) / (P + N), где 

P - число изображений, относящихся к панорамам

N - число "лишних" изображений

TP - число изображений, правильно классифицированных алгоритмом как часть панорам

TN - число изображений, праивльно классифицированных алгоритмом как лишние

Т.к. learning.txt содержит 1616 записей, то для примера "лишних нет" TP = 3384, TN = 0, P = 3384, N = 1616, тогда Q = 0.6768

Ошибка в моих рассуждениях или приведенных данных?