РАЗБОР

Итак, по инициативе Women Who Tech конторой Lincoln Park Strategies был проведен опрос. Его цель — определить, с какими препятствиями и проблемами люди сталкиваются в области высоких технологий, а также отследить, изменились ли тенденции в проявлении сексизма и расизма в отношении респондентов со времени предыдущего опроса. Вот полное описание методологии, данное авторами.

Опрос проводился с 13 февраля по 23 марта 2020 года в форме анонимного онлайн-опроса. Из 834 респондентов 69% (575) составляли женщины и 31% (259)- мужчины. Респондеты работали в сфере высоких технологий или были основателями стартапов. Было опрошено 169 инвесторов, гендерные данные по инвесторам не собирались. Так же отмечается, что речь о респондетах со всего мира.

Первая проблема:

Чрезвычайная скудность описания методологии. Не описано, на каких сайтах проходил опрос и как рассылали приглашения. Это довольно серьезный недостаток. К примеру, несмотря на то, что в сфере высоких технологий мужчины являются основателями или сооснователями стартапов в 72% случаях, в данном опросе мужчины составляли меньшинство — 31%. Из-за скудного описания методологии совершенно непонятно по каким причинам возникло смещение в сторону женщин.

Также не указано, сколько опрошенных были рядовыми сотрудниками в сфере высоких технологий, а сколько являлись основателями стартапов, хотя в дальнейшем результаты разделяются по данным категориям. Это тоже весьма серьёзное упущение. Что интересно, в предыдущем опросе было намного больше подробностей, да и выборка была побольше: 950 по сравнению с нашими 834.

Кроме того, в ней было предупреждение:
Survey data may vary when compared to the tech industry at large due to sample size.
Данные опроса могут отличаться от значений в генеральной совокупности из-за размера выборки.

Вторая проблема:
авторы используют неточную визуализацию. Длина полоски, отображающей ответы женщин (309 пикселей), меньше, чем длина полоски, соответствующей ответам мужчин (313 пикселей). При этом 44% (132 пикселя), 27% (81 пиксель), 51% (154 пикселя) и 65% (196 пикселей) прекрасно получается восстановить, элементарно поделив количество пикселей на 3, хоть и с округлением к ближайшему целому в некоторых случаях. А вот дальше начинается мистика: вместо положенных при делении на 3 пикселя 7% (21 пиксель) и 11% (34 пикселя) у нас 5% и 8% соответственно. Это делает данные отрезки непропорционально большими по сравнению с другими отрезками на полосе.

Собственно, вот (1 картинка — как выглядело, 2 картинка — как должно выглядеть):

В отличие от старого исследования, в визуализации нового не придерживались научных требований к графикам. Решили не соблюдать сетку масштаба, увеличив самые маленькие доли (вероятно, чтобы читаемый шрифт не выходил за их пределы). Возможно, так и эстетичней, но не очень хорошо, когда эстетика ставится выше достоверного отображения результатов. Для научной работы это было бы вовсе неприемлемо.

Третья проблема:
некоторые доверительные интервалы потенциально пересекаются.

Давайте вычислим Margin of error. Так как из-за скудности описания методологии мы не знаем, какое количество ответивших были основателями и сооснователями стартапов, сделаем некоторые допущения. Возьмем число из предыдущего опроса — нас интересует “46% are a startup founder currently or founded a startup previously” («46% являются либо являлись ранее основателями стартапов»). Предположим, что в новом опросе это количество даже больше: скажем, 50%, то бишь 130 мужчин и 287 женщин. При Cl 95% и размере генеральной совокупности больше 10 тысяч Margin of error составляет 9% и 6% соответственно (для вычислений использовался вот этот калькулятор).

При учете доверительных интервалов картина становится совершенно не впечатляющей. Вплоть до того, что некоторые доверительные интервалы пересекаются. К примеру (картинка 2 ниже), мы не можем достоверно установить, есть ли статистически значимая разница в количестве мужчин и женщин, которые ответили, что никогда не имели опыта домогательств. Да, это очень маловероятная ситуация, но ее возможность в данном случае очень наглядно показывает, что многие приведенные авторами оценки были ненадежными.
1 картинка — 27% CI95% (от 18% до 36%) М. 44% CI95% (от 38% до 50%) Ж.
2 картинка — 65% CI95% (от 56% до 74%) М. 51% CI95% (от 44% до 57%) Ж.

ВЫВОД

Упомянутые мною проблемы можно было бы списать на трудности проведения подобных исследований, но даже данные из предыдущего доклада — и те неправильно презентуются в новом. К примеру, количество женщин-основателей стартапов, подвергшихся Physical assault (физическому насилию) в докладе 2017 года составляет 4%, тогда как в докладе за 2020 год почему-то говорится, что их было 5%. Далее, показатель Classist (харасcмент на основании социального класса), составлявший 11% в предыдущем доклада опросе, в новом почему-то указан как 9%, а показатель Racial (харасcмент на основании расы) из 16% превратился в 15%.

Более того, оценки совершенно не сохраняют постоянство во времени, хотя должны бы. К примеру, Offensive Slurs (оскорбительным выражениям) мужчины в 2017 году подверглись в 40% случаев, но в 2020 оценка почему-то упала аж до 6%. Professional character (сомнения в профессионализме) имели показатель 50% в 2017 году, а в 2020 — всего 18%. Mental abuse (психологическое насилие) — 40% у мужчин и 14% у женщин в 2017 году, а в 2020 этот пункт просто исчезает из таблицы.

Учитывая весь этот ворох небрежностей и пренебрежений, волей-неволей приходится задумываться о том, а не ставится ли тут повестка впереди методологии? Нам нужны намного более строгие исследования, чтобы принимать политические решения. Или хотя бы адекватное их изложение с признанием ограничений. Иначе получается, что в 2017 мы их признаем, а в 2020 уже никаких ограничений не упоминаем. Да и информацию о методологии сокращаем к минимуму, а то, небось, еще критиковать начнут.

Не будьте легковерны к данным, даже если они вписываются в ваши представления и выгодны вам, друзья.