Дартмутский анализ показал, что неспециалисты, ответившие на онлайн-опрос, показали такие же результаты, как и программная совокупность «Профилирование исправительных правонарушителей для других санкций» (COMPAS), используемая судами для определения риска рецидивизма.В документе также показано, что, без оглядки на то, что КОМПАС использует более ста единиц информации для прогнозирования, такой же уровень точности вероятно достигнут только с двумя переменными — возрастом и количеством обвиняемого прошлых судимостей.В соответствии с изучению, совокупность COMPAS употреблялась для оценки более одного миллиона правонарушителей с момента ее разработки во второй половине 90-ых годов двадцатого века, а ее компонент прогнозирования повторений употребляется с 2000 года.Анализ, размещённый в издании Science Advances, был совершён исследовательской группой студентов и преподавателей Джулии Дрессел и Хани Фарид.
«Ведет к тревоге то, что неподготовленные интернет-работники смогут трудиться так же, как компьютерная программа, используемая для принятия серьёзных ответов в отношении обвиняемых по уголовным делам», — сказал Фарид, профессор компьютерных наук Альберта Брэдли 1915 года в Дартмутском колледже. «Использование чтобы ПО может не оказать помощь людям, которым вероятно отказано во втором шансе при помощи способов чёрного коробки».В соответствии с документу, программные инструменты употребляются в ответах о досудебном освобождении, условно-досрочном освобождении и вынесении приговора для прогнозирования преступного поведения, и тех, кто, возможнее, не явится на судебное слушание, а кто, быть может, возобновит правонарушение в какой-то момент в будущем. Приверженцы таких совокупностей утверждают, что громадные эти и передовое машинное обучение делают эти анализы более верными и менее предвзятыми, чем прогнозы, сделанные людьми.
«Утверждения, что тайные и кажущиеся изощренными инструменты обработки данных более верны и честны, чем люди, просто не подтверждаются результатами отечественных изучений», — сказала Дрессел, проводившая изучение в рамках собственной дипломной работы по информатике в Дартмуте.В исследовательском документе коммерческое ПО COMPAS сравнивается с работниками, нанятыми через краудсорсинговую площадку Amazon Mechanical Turk, чтобы подметить, какой подход имеется более верным и честным при оценке возможности рецидива. Для целей изучения рецидивизм был узнан как совершение проступка или уголовного правонарушения в течение двух лет по окончании последнего ареста обвиняемого.
Группы интернет-работников видели мелкие описания, в которых указывались пол, возраст обвиняемого и криминальное прошлое. Затем человеческие результаты сравнивали с результатами совокупности COMPAS, которая использует 137 переменных для каждого человека.Неспециализированная точность была основана на возможности того, что ответчик будет рецидивировать или нет.
В изучении также сообщалось о фальшивых срабатываниях — в то время, в то время, когда обвиняемый прогнозирует рецидив, но не рецидив — и ложноотрицательных итогах — в то время, в то время, когда от обвиняемого прогнозируется, что он не рецидивирует, но делает это.Обладая значительно меньшим числом информации, чем COMPAS — семь линия по сравнению со 137 — в то время, в то время, когда результаты были объединены для определения «мудрости толпы», люди без предполагаемого опыта уголовного правосудия были верными в 67 процентах представленных случаев, что статистически одинаково как точность 65,2% КОМПАС. Участники и КОМПАС изучения были согласны в отношении 69,2% из 1000 обвиняемых при прогнозировании того, кто будет повторять их правонарушения.
В соответствии с изучению, вопрос верного прогнозирования повторений не ограничивается КОМПАС. Отдельный обзор, цитируемый в изучении, показал, что восемь из девяти программ не смогли сделать верных прогнозов.
«направляться поставить под сомнение все использование инструментов прогнозирования повторений в залах судебных заседаний», — сказал Дрессел. «Наровне с прошедшей работой над справедливостью способов уголовного правосудия, эти объединенные результаты ставят под сомнение все усилия по прогнозированию рецидивизма».В отличие от вторых анализов, каковые сосредотачиваются на том, являются ли способы предвзятыми по показателю расы, изучение Дартмута рассматривает более фундаментальный вопрос о том, лучше ли способ COMPAS, чем неподготовленные люди, в верном и честном прогнозировании рецидивизма.Но, в то время, в то время, когда учитывалась расовая принадлежность, изучение показало, что результаты как респондентов-людей, так и ПО показали громадные различия в том, как оцениваются чернокожие и белые обвиняемые.
В соответствии с документу, полезно задать вопрос, можем ли мы передать эти решения в руки неподготовленных людей, каковые отвечают на онлайн-опрос, по обстоятельству того, что, в итоге, «результаты этих двух подходов кажутся неразличимыми».