Cкоро веб-сервисы будут рекомендовать нам не только музыку для прослушивания, но и страну для проживания, и партнера для замужества. При этом, что характерно, всегда угадывать. Механизм с зубодробительным названием “коллаборативная фильтрация” — на самом деле довольно простая идея. Она основывается на следующем допущении: те, кто соглашался в прошлом, будут соглашаться с подобным и в будущем. Например, Last.Fm способен довольно точно прогнозировать, какая песня понравится пользователю, имея неполный список его симпатий и антипатий в музыке.

Обратите внимание: данный прогноз абсолютно индивидуален, хотя информация собирается от многих участников. Такой подход принципиально отличается от более примитивного, дающего для каждого объекта интереса “среднюю температуру по больнице”, то есть усреднённую оценку большинства — так делает, например, IMDB.

Начнем статью с необычной стороны. Пара слов о мотивах, которые побудили меня потратить вечер не на написание кода. Я каждый день вижу тысячи глобальных проблем. Может, у меня есть пара идей для решения двух-трех. А как же остальные? Да, это риторический вопрос, который иногда занимает ума людей. Ответ на него они не найдут. Поэтому оставим его, но, чтобы хоть как-то постараться изменить мир к лучшему, зададим другой вопрос, ответ на который дать гораздо проще:

«Почему Билл Гейтс выступил с инициативой отдать половину состояний миллиардеров на благотворительность?» Он известен не только как создатель правильно работающей ОС. Последнее время ему нравятся вот такие вещи. Но он прекрасно понимает, что никакие деньги не способны решить всех проблем, поэтому значительную их часть тратит на то, что дороже любых пиастров. То, что всегда являлось самым ценным активом. То, что старик Генри Форд знал еще век назад, когда сказал: «Мое самое ценное вложение денег, самый дорогостоящий актив — это люди, с которыми я работаю». Поэтому Билл тратит много сил и денег на образование. Это и есть ответ на вопрос: Гейтс знает, что мы бессильны против тех проблем, с которыми человечеству предстоит столкнуться в ближайшем будущем. Единственный выход — дать следующему поколению лучшее образование.

Итак, мы ответили на вопрос. Зададим следующий: «Как с помощью WWW нести просвещение в массы?» Это чуть более сложный вопрос, для ответа на него нам придется ответить на несколько других. Согласно Принципу Парето, около 20% выпускников школ будут приносить 80% пользы для общества, и наоборот. Кто же эти 20%? Наверное, такие как Павел. Те, у кого раскрылся талант благодаря обстоятельствам, учителям и т.д. Я, к сожалению, отношусь к другой части, но это позволяет взглянуть на проблему с другой стороны: поступил не на тот факультет, поняв это слишком поздно. Согласитесь, так редко бывает, когда школьники точно знают, чем хотят заниматься в жизни, что их по-настоящему волнует. А ведь это очень важно, вот именно это: заниматься тем, что не отпустит тебя на обед.

Вот так неожиданно сформировался следующий вопрос: «Как сделать так, чтобы после 10 лет в школе и 5 в ВУЗе люди не мечтали (слишком сильно) на работе об обеденном перерыве?» Вконтакте делает первые шаги в сторону освоения коллаборативной фильтрации. Я понимаю, что проще начинать с аудио и видеозаписей: количество сущностей в этих сферах минимально относительно других (контента интернета, к примеру). Google, тот, который с Плюсом, понял одну очевидную вещь: мы хотим делиться информацией только с небольшим кругом людей. Часто, просматривая какую-либо страницу в интернете, я жму Like, но не отправляю это в ленту. Это, как правило, та информация, которая интересна мне, но совсем не интересна друзьям. «Она интересна мне, но среди моих друзей нет тех, кому она интересна» — говорю я, нажимая «Мне нравится», но не отправляя в ленту. Сбор этих данных и их обработка коллаборативными методами позволит сделать особые рекомендации: друзей по интересам. Почему это так важно? Придется опять привести в пример себя. Я, как уже сказал, принадлежу к 80% лузеров. Среди моих 200 друзей нет ни одного, кому было бы интересно обсуждать со мной мои идеи. Не то, чтобы вместе поработать над чем-то интересным, нет. Порой они даже оценить не в состоянии. В результате вот тружусь один над довольно сложным проектом. А что если сейчас кто-то знает, как создать экологичный двигатель, но тоже трудится над ним в одиночку вечерами? Ну, вы поняли.

А теперь ненадолго вернемся к выступлению Билла на TED. В нем он упоминает, что 20% учителей были самыми эффективными (все тот же принцип Парето). Что же нам с ними делать? Дать больше возможностей для обучения. Наука шагнула настолько далеко за последние десятилетия, а в обучении мы уже несколько веков подряд пользуемся таким примитивом как классная доска, которую видят 30 учеников. С чего можно начать? Когда-то Вконтакте пытался изобразить некое подобие страниц Википедии. Не знаю, отказались ли они от этой затеи, но вторая всемирная энциклопедия нам, конечно, не нужна. «А чего не может Википедия?» — вот еще один важный вопрос. Ответ будет, как минимум, странным. Обучать. Да-да, она на пару с Google ответит на любой вопрос, но не сможет обучить, т.к. это совсем иное. Человек так устроен, что любую сколь угодно сложную сущность он пытается представить абстрактно. Это заложено в нас эволюцией, природой. Именно так мы боремся с неимоверной сложностью окружающего мира. От простого — к сложному. Это именно то, чем в совершенстве владеют те, лучшие 20% учителей. Так давайте же дадим им простой и удобный функционал, пусть для начала выложат в онлайн свои программы обучения, в форме вики-статей с необходимой иерархией и навигацией. С помощью социльного функционала они смогут получать фидбек от учеников, править и совершенствовать материал и методы (есть еще много идей в этой области, но не в рамках данной статьи и ее объема). Далее им можно предоставить (с согласия родителей) возможность видеть «лайки» своих подопечных, чтобы отделять более важные предпочтения от менее важных (фильтровать видео с пляшущими кошками). Такие учителя, без сомнения будут прекрасно выполнять свою работу, подобно лучшим преподавателям из «Азазеля» Б. Акунина. Ученики будут расти вместе с ними, увеличивая точность коллаборативных выборок. И после окончания ВУЗа они поставят им оценку и, выберут 20% самых успешных, у которых получилось найти то, что будоражит их ум и не дает спать вечерами. Следующее поколение также будет ставить лайки и безобразничать на уроках. Только на вопрос родителей: «Чем бы ты хотел заниматься в жизни?» им будет проще ответить. У них будут друзья, увлеченные теми же идеями и проблемами, что и они. Лучшие учителя в стране, пусть и виртуально (зато 1 на 100 000, а не 30 учеников). И, конечно, бесценные рекомендации в разделе «моя будущая профессия» соц. сети на основе самой точной коллаборативной фильтрации предыдущих поколений. Они не будут слишком сильно мечтать об обедах на работе. А WWW будет успешно нести просвящение в массы.

Напоследок объясню, что побудило к написанию. Вот это интервью и в частности, последние слова: «С другой стороны, заниматься мессианством – неэффективно и сравнимо с деятельностью телеканала «Культура», который вещает, но кто его смотрит? Поэтому, если «В Контакте» удастся придумать и реализовать что-то, что побудит людей учиться, становиться лучше, самосовершенствоваться и менять свои ценности – это будет лучшей новостью лично для Павла Дурова за последние несколько лет.» Потому что мне тоже грустно, когда инструмент, призванный помогать людям, используется так жалко: группы для списывания на ЕГЭ, бьющие все рекорды популярности. Думаю, что администрация Вконтакте прекрасно понимала, что запрещать — не решение проблемы, которую надо решать задолго до списывания на ЕГЭ.

^{Системы рекомендаций:
— Советы от машины
— Холодное начало
— Введение в гибридные системы
— искусственные имунные системы и эффект идиотипов}


Продолжим с того момента, на котором мы остановились в прошлый раз: мы рассмотрели несколько способов решения проблемы холодного начала, теперь я предлагаю рассмотреть другие проблемы систем рекомендаций (далее просто СР) и подумать, как разные типы СР могут дополнять друг-друга. Сразу оговорюсь, что я не буду подробно рассматривать способы решения той или иной проблемы. Цель этой статьи — лишь помочь разработчикам ориентироваться в разновидностях СР и в связанных с ними проблемах.

Для начала все-таки придется дополнить классификацию СР. Przemyslaw Kazienko и Pawel Kolodziejski предложили разделить все СР на пять типов: статистические, коллективные, ассоциативные и информационные. Начнем с самых простых.