Антон Мамыкин

Отбираем по прошлому, а платим за будущее

Что на самом деле предсказывает результат сотрудника

Сильный по хардам кандидат не обязательно принесёт много пользы, а большой опыт в прошлом не гарантирует соответствующих успехов дальше. Но что тогда делать с отбором сотрудников?

За последние 10 лет я проводил много собеседований, в основном в рекламные агентства на перформанс-позиции: специалисты по контекстной рекламе, таргетологи, сммщики, менеджеры проектов, немного маркетологов и CMO на клиентскую сторону, руководители направлений.

С оценкой формальных навыков всё более-менее понятно.

Харды можно проверить по карте скилов: дать тестовое, попросить разобрать чужую кампанию, посмотреть, как человек считает и что делает, когда цифры не сходятся.

Прошлый опыт понятен по кейсам, документам, отзывам и достижениям.

Практика показывает, что этого недостаточно. На дистанции решает то, что формализуется хуже: как быстро он въедет в проект, что будет через год, потянет ли задачу, которой у нас ещё нет. То есть обучаемость, гибкость мышления, проактивность — всё то, что обычно сваливают в софт-скилы.

А вот ещё проблемы оценки в моменте — тут впору вспомнить Канемана с его регрессией к среднему и законом малых чисел.

Сейчас решил сложный кейс — это его обычный уровень или случайность и отклонение от среднего? А если немного завалил? Один эксперимент — это не очень статистически значимые данные.

Что я на самом деле хочу знать

Если формальная часть не даёт уверенного ответа на вопросы “Нанимаем? Нам конкретно этот человек подойдет?”, то что мы тогда вообще хотим понять. Я выработал следующую позицию: мне не нужен срез навыков на сегодня, нужна оценка, сколько единиц пользы или результата человек принесёт за всё время работы и во сколько нам это обойдётся:

Можем упростить до четырех блоков.

  • Что он закрывает с первого дня.
  • Как быстро закроет то, чего пока не умеет.
  • Сколько мы за это платим — и когда он выйдет в плюс.
  • И сколько времени пройдёт, прежде чем он упрётся в потолок: свой или наш.

На типовом собеседовании чаще всего проверяют только первое. И это создает отложенные проблемы на будущее. Этот пост про первые два вопроса, то есть собственно про отбор. Про деньги и про потолок роста в компании будет отдельно.

Почему опыт — так себе прогноз

В какой-то момент я перестал искать идеального кандидата на ощущениях и начал искать способ точнее их различать. Раз собственная интуиция даёт сбои, значит надо посмотреть, что об этом знают те, кто занимается отбором профессионально: есть ли методы с доказанной точностью и что вообще предсказывает будущий результат.

Оказалось, что тема закрыта куда лучше, чем я ожидал, — её меряют с двадцатых годов прошлого века. И первое, обо что я споткнулся, было именно про опыт.

Точка отсчёта здесь — мета-анализ Шмидта и Хантера 1998 года, сводка 85 лет исследований отбора персонала. Стаж связан с результативностью на уровне 0,18, образование — 0,10. Для ориентира: 0,1 — это почти шум, 0,4 — уже сильная связь по меркам таких исследований.

Есть работа поточнее — МакДэниел, Шмидт и Хантер, 1988, выборка 16 тысяч человек. Опыт всё-таки предсказывает результат, но сила связи зависит от двух вещей: сколько у людей этого опыта и насколько сложная работа. Лучше всего опыт работает там, где его мало и где работа простая. Чем сложнее работа и чем опытнее люди — тем связь слабее.

Перформанс-маркетинг — работа сложная. Кандидаты с пятью годами за спиной — опытные. То есть мы находимся ровно в той зоне, где строчки в резюме предсказывают хуже всего.

Отдельная проблема с портфолио и достижениями. Кейс из резюме сделан в другой компании с другой командой, другими бюджетами, другим клиентом, который то ли мешал, то ли не мешал. Что именно сделал конкретный человек и насколько велик его персональный вклад в результат — из красивого слайда понять невозможно.

Что реально предсказывает результат

Хорошая новость: слепая зона меньше, чем кажется. Плохая: цифры, которые все двадцать лет цитируют, оказались завышены.

Каноном был тот же Шмидт и Хантер: тест на образце работы 0,54, общие умственные способности 0,51, структурированное интервью 0,51. В 2022 году Сакетт с соавторами разобрали, как в прежних мета-анализах вводили поправку на ограничение диапазона. Смысл поправки такой: исследование считается по уже нанятым, а не по всему потоку кандидатов, разброс там меньше, и это компенсируют расчётом. Компенсировали, как выяснилось, слишком щедро. Почти все оценки поехали вниз.

Насколько метод отбора предсказывает результат Пересчёт 2022 года опустил почти все оценки
  • Сакетт и соавторы, 2022
  • Шмидт и Хантер, 1998
Структурированное интервью Сакетт и соавторы, 2022: 0,42 Шмидт и Хантер, 1998: 0,51
Тест на образце работы Сакетт и соавторы, 2022: 0,33 Шмидт и Хантер, 1998: 0,54
Общие умственные способности Сакетт и соавторы, 2022: 0,31 Шмидт и Хантер, 1998: 0,51
Добросовестность Сакетт и соавторы, 2022: 0,19 Шмидт и Хантер, 1998: 0,31

Коэффициент корреляции с результативностью. 0,1 — почти шум, 0,4 — сильная связь по меркам таких исследований.

Новый порядок такой:

  • структурированное интервью — 0,42
  • тесты профессиональных знаний — 0,40
  • биографические данные — 0,38
  • тест на образце работы — 0,33
  • общие умственные способности — 0,31
  • добросовестность — 0,19
Что предсказывает будущий результат сотрудника Внизу списка — ровно то, по чему отсеивают резюме
Структурированное интервью 0,42
Тесты профессиональных знаний 0,40
Биографические данные 0,38
Тест на образце работы 0,33
Общие умственные способности 0,31
Добросовестность 0,19
Стаж работы* 0,18
Образование* 0,10

Оценки: Сакетт, Чжан, Берри и Ливенс, 2022.
* Стаж и образование — по Шмидту и Хантеру, 1998: в пересмотре 2022 года отдельных оценок по ним нет.

Сильнее всех просел как раз тест на образце работы, а способности перестали быть лидером списка. Плюс отдельная придирка к старой оценке: она опиралась на исследования, которым уже тогда было полвека. Когда собрали 113 исследований, проведённых в этом веке, наблюдаемая связь способностей с результатом оказалась ещё ниже — 0,16.

Для моей логики это и хорошо, и плохо.

Плохо: идея «померим способности — померим обучаемость» ослабла. Способности всё ещё в списке рабочих предикторов, но никакой волшебной цифры за ними больше нет.

Хорошо: на первом месте теперь структурированное интервью. То есть заранее написанный разговор про прошлое человека. Самый доступный инструмент оказался самым сильным — и это ровно то, что агентство может делать без психометристов и тестовых батарей.

Как это выглядит на практике:

Структурированное интервью. Одни и те же вопросы всем кандидатам, в одном порядке, с заранее написанными критериями оценки. Свободная беседа «расскажите о себе» работает заметно хуже — по ней мы оцениваем не человека, а то, насколько он приятный собеседник.

Вопросы про прошлое поведение, а не про планы. Не «как бы вы поступили», а «расскажите, как вы действовали, когда». Дальше — детали: что конкретно сделали, что пошло не так, чем закончилось. Гипотетические ответы кандидат придумывает на ходу, реальные — вспоминает и разницу можно уловить или поймать уточняющими вопросами.

Тест на образце работы. Не абстрактное тестовое, а кусок настоящей задачи. Даже после пересмотра он остаётся сильнее теста способностей — и при этом почему-то самый нелюбимый.

Про «нанимай за потенциал»

Но тут я замечаю неудобную вещь. Всё, что мы намеряли, — про то, что человек уже умеет и уже делал. Это первый из моих четырёх вопросов. А второй — про то, чего он пока не умеет: как быстро закроет разрыв, потянет ли задачу, которой у нас ещё нет.

Строгая школа отбора отвечает на него косвенно, через способности, и ответ, как мы выяснили, стал слабее. Значит, стоит посмотреть на тех, кто заявляет, что умеет мерить именно будущее.

Удобный вход в этот лагерь — статья «21st-Century Talent Spotting» Клаудио Фернандес-Араоза (HBR, 2014). Я выбрал её не потому, что она главная, а потому что это редкий случай, когда сторонник найма за потенциал не отделывается общими словами: там есть конкретный набор признаков и конкретный способ их проверять. Автор тридцать лет проработал в Egon Zehnder — это хантинг топ-менеджеров, — и пишет с позиции человека, который отбирал руководителей тысячами.

Начинается статья с двух историй. Первая: он подбирал гендиректора семейному ритейлеру электроники. Кандидат идеальный — школы, компании, страновой директор, по каждой заявленной компетенции выше целевого уровня. Через три года его попросили уйти: он не смог перестроиться под изменения рынка. Вторая: в начале карьеры автор искал руководителя проекта на маленькую пивоварню, кандидатов с отраслевым опытом в регионе не было вообще, и он позвал знакомого без опыта в потребительских товарах, без маркетинга и продаж, незнакомого с регионом. Тот дорос до гендиректора флагманской пивоварни группы.

Дальше он выстраивает историю отбора как смену эпох: сначала по физическим данным, потом по интеллекту и прошлым результатам, с восьмидесятых — по компетенциям. Теперь, по его мнению, наступает четвёртая эпоха, отбор по потенциалу. Логика простая: набор нужных компетенций устаревает быстрее, чем мы успеваем по нему нанять. Поэтому вопрос не «умеет ли», а «сможет ли научиться».

Сначала он определяет, что вообще считает потенциалом. Это не набор навыков, а способность адаптироваться и дорастать до более сложных ролей. То есть не «что человек умеет», а «во что он может превратиться».

Откуда взялись сами признаки. Egon Zehnder десятилетиями накапливала оценки руководителей — своих кандидатов, назначенцев, тех, кого потом сопровождали в должности. Из этой базы автор выводит черты, которые повторялись у людей, справившихся с усложнением задач. Важная оговорка: это внутренняя модель консалтинговой фирмы, а не независимое исследование. Данные закрыты, методика не опубликована, проверить нельзя. Но список знать стоит хотя бы потому, что его до сих пор пересказывают в половине статей про наём.

Пять маркеров потенциала:

Правильная мотивация. Не просто амбиция, а стремление к сложным целям вместе с готовностью ставить общее выше личного. Он ставит её первой и объясняет почему: это устойчивое и обычно неосознаваемое свойство. Если человек движим только личной выгодой, это вряд ли изменится.

Любопытство. Тяга к новому опыту и знаниям, готовность слушать неудобную обратную связь и менять мнение.

Проницательность. Способность собирать разрозненную информацию и видеть в ней возможности, которых другие не замечают.

Вовлечённость. Умение увлечь других — через эмоцию и логику одновременно.

Решительность. Готовность биться за трудную цель и подниматься после провала.

Самое интересное — как он предлагает всё это оценивать. Не тестами и не по ощущению. Раскапывать прошлое: глубинное интервью плюс подробные разговоры с бывшими руководителями, коллегами и подчинёнными. Всегда требовать конкретные примеры. Он прямо пишет: не спрашивайте «вы любопытный?». Спрашивайте, как человек реагирует, когда с ним спорят. Как собирает мнения команды. Что делает, чтобы расширить кругозор. Как ищет то, чего не знает.

И вот тут смешное. Это ровно тот же метод, что и в строгой школе Шмидта и Хантера: одинаковые вопросы, разбор реального прошлого поведения, конкретика вместо гипотез. Два лагеря спорят о том, что именно мы измеряем, а на практике делают одно и то же.

Он и от интеллекта не отказывается. В отдельной врезке говорит: оценивать общий интеллект надо, потому что со временем он сильно не вырастет. Только не гнаться за гениями — выше определённого уровня прибавка почти не влияет на результат.

Теперь про заявленную точность его модели — около 85%, на данных тысяч оценённых руководителей. Проверить её невозможно: модель закрытая, методику расчёта он не раскрывает, а компания зарабатывает на продаже такой оценки. Красивая цифра из закрытого источника.

Зато у него есть два наблюдения про сам процесс найма, которые я считаю более полезными, чем все пять маркеров вместе. Около 80% слушателей его программ говорят, что в их компаниях вообще нет проверенной модели оценки потенциала. Примерно 30% считают, что их где-то учили оценивать людей. Плюс отсылка к исследованиям: у лучших интервьюеров оценки сильно связаны с тем, как человек потом работает, а у части — хуже подбрасывания монетки.

То есть проблема обычно даже не в том, какую модель выбрать. Проблема в том, что модели нет никакой, а собеседует человек, которого этому никто не учил.

Что теперь с этим делать

Если коротко, весь разбор сводится к нескольким вещам, которые можно поменять в ближайший понедельник.

Перестать читать резюме как прогноз. Стаж и портфолио годятся, чтобы отсечь тех, кто заведомо не тянет. Ранжировать по ним финалистов — значит ранжировать по признаку, который в сложной работе почти ничего не предсказывает.

Написать вопросы заранее. Одинаковые для всех кандидатов, в одном порядке, с критериями оценки на руках. Скучно, требует часа подготовки — и это самый сильный инструмент из всех имеющихся.

Спрашивать про прошлое, а не про гипотетическое. Не «как бы вы поступили», а «расскажите, как вы действовали, когда». И дожимать до деталей: что конкретно сделали, что пошло не так, чем кончилось.

Давать кусок настоящей работы. Не абстрактное тестовое на выдуманных данных, а фрагмент реальной задачи.

Не делать выводов по одному эпизоду. Один блестящий ответ и один провальный — это два наблюдения, а не характеристика. Помогает, когда кандидата независимо смотрят двое и сверяются уже после.

Заложить, что ошибётесь. Даже лучший метод — это 0,42, а не гарантия. Отсюда практический вывод: важно не только точнее выбирать, но и раньше замечать, что выбрали не того. Ранние контрольные точки в первые месяцы стоят дешевле, чем ещё один тур собеседований.

И главное ограничение, с которым остаёмся. Всё перечисленное отвечает на вопрос «кто из них лучше». Оно не отвечает на вопрос «окупится ли вообще этот наём» — а это уже арифметика: сколько человек стоит, когда он себя отобьёт и что произойдёт с его отдачей через год. Про это в следующий раз.

Что почитать

  • Schmidt & Hunter (1998). The Validity and Utility of Selection Methods in Personnel Psychology — Psychological Bulletin, 124(2), 262–274
  • Sackett, Zhang, Berry & Lievens (2022). Revisiting Meta-Analytic Estimates of Validity in Personnel Selection — Journal of Applied Psychology, 107(11), 2040–2068 (аннотация в PubMed)
  • Sackett, Zhang, Berry & Lievens (2023). Revisiting the Design of Selection Systems — продолжение с практическими выводами и данными Griebe et al. по исследованиям XXI века
  • McDaniel, Schmidt & Hunter (1988). Job Experience Correlates of Job Performance — Journal of Applied Psychology, 73(2), 327–330
  • Fernández-Aráoz (2014). 21st-Century Talent Spotting — Harvard Business Review, июнь 2014, заглавный материал номера (полный текст в PDF)
  • De Meuse (2019). A Meta-Analysis of the Relationship between Learning Agility and Leader Success
  • Prioritizing the Learning Agility Research Agenda — Industrial and Organizational Psychology: критика конструкта learning agility