Чёрный список: хеши изображений, onion-адресов и eepsite

Этот поисковик не индексирует материалы сексуального насилия над детьми. Мы также не хотим быть единственным индексом, который их распознаёт, поэтому публикуем то, что подтвердили: MD5-хеш для каждого изображения из чёрного списка, по Tor и I2P вместе, и MD5-хеш для каждого onion-сервиса и каждого eepsite, который отдал такое изображение. Другой поисковик может использовать те же хеши, чтобы отфильтровать тот же материал из своих результатов. Списки одинаковы на обоих наших зеркалах.

Эта страница на других языках: English · 日本語 · 繁體中文 · 简体中文 · Русский · Español · Español (México) · Português · Português (Brasil) · Deutsch · Italiano · Polski

Что содержится в списках

Списки основаны на нашей собственной модерации, а не на данных третьих сторон: изображение попадает в чёрный список, когда наши инструменты проверки или подтверждённая и проверенная человеком сигнатура определяют его как материал сексуального насилия над детьми или связанный с ним нелегальный материал, и каждый onion-сервис и каждый eepsite, на котором мы нашли такое изображение, записывается вместе с ним. В этих списках нет догадок, и ничего не попадает в них из-за названия сайта или ключевого слова.

Хеш это одностороннее значение. Он идентифицирует содержимое, и его нельзя превратить обратно в это содержимое. Мы публикуем хеши, а не изображения, адрес публикуется только как хеш, и ни один из списков не позволяет найти материал. Они сделаны для того, чтобы его распознавать и не показывать.

Хеш изображения

Каждая строка списка изображений это MD5-хеш байтов одного изображения из чёрного списка, в любой из двух сетей, ровно так, как утилита md5sum вычисляет его для того же файла:

md5sum <file>

Поскольку хеш следует за байтами, одно и то же изображение имеет один и тот же хеш независимо от того, где оно отдаётся, как оно называется и как оно было перекодировано. Именно это свойство делает список полезным, и поэтому же хеш идентифицирует содержимое, а не человека.

Хеш onion-адреса

Каждая строка списка onion-адресов это MD5-хеш одного onion-хоста, вычисленный по адресу в нижнем регистре вместе с суффиксом .onion. Это тот же способ, который публикует ahmia.fi:

echo -n "abcdefghijklmnopqrstuvwxyz234567abcdefghijklmnopqrstuvab.onion" | md5sum

Для примера адреса abcdefghijklmnopqrstuvwxyz234567abcdefghijklmnopqrstuvab.onion результат d8604171b8f0441a72a574c3661d9d58.

Сам адрес в этом списке никогда не публикуется. Сервис попадает сюда, когда одно из изображений из нашего чёрного списка действительно отдавалось с него, а не потому что он куда-то ссылается, не из-за названия и не из-за того, что хост заблокирован по другой причине.

Хеш eepsite в i2p

Список I2P следует тому же правилу для eepsite. Каждая строка это MD5-хеш одного имени хоста I2P, вычисленный по адресу в нижнем регистре вместе с суффиксом: b32-адрес со своим окончанием .b32.i2p, именованный eepsite со своим .i2p:

echo -n "abcdefghijklmnopqrstuvwxyz234567abcdefghijklmnopqrst.b32.i2p" | md5sum

Для примера адреса abcdefghijklmnopqrstuvwxyz234567abcdefghijklmnopqrst.b32.i2p результат 4c5e146a233d1c32593e385bbd27c355.

Как и на стороне Tor, сам адрес никогда не публикуется. Eepsite попадает сюда, когда одно из изображений из нашего чёрного списка действительно отдавалось с него.

Списки

Все три списка это обычный текст: один MD5-хеш из 32 символов в нижнем регистре на строку, больше ничего, без заголовка и без комментариев. Они регулярно пересобираются и публикуются заново и отдаются с кешем на двенадцать часов.

Хеш в этих списках это запись о том, что мы нашли и внесли в чёрный список, а не доказательство того, что тот, кто его отдавал, отдаёт его до сих пор.

  • Хеши изображений из чёрного списка
    MD5-хеш каждого изображения, которое наша модерация внесла в чёрный список, в любой из двух сетей.
    /blacklist/image-hashes
  • Onion-сервисы, которые их отдавали
    MD5-хеш каждого onion-хоста, с которого отдавалось одно из этих изображений.
    /blacklist/onion-hashes
  • Eepsite в I2P, которые их отдавали
    MD5-хеш каждого имени хоста I2P, с которого отдавалось одно из этих изображений.
    /blacklist/i2p-hashes

Как их использовать

Вычислите хеш того, что отдаёте вы, по тому же правилу: файл изображения или имя хоста, и сравните результат с этими списками. Совпадение означает, что у нас есть вердикт модерации: для изображения что проверяющий или подтверждённая сигнатура отметили его как материал сексуального насилия над детьми; для хоста что он отдавал такое изображение. Ни один из списков не полон, и хост может начать отдавать материал из чёрного списка после того, как мы в последний раз его смотрели.