«Хранители» RuTracker: кто и почему раздаёт редкие торренты, не слезая с них годами
Истории людей, которые не смогли пройти мимо архивных находок и организовали масштабную кампанию по их защите.
Иллюстрация Аси Соколовой для TJ
В современном интернете, где порой легче заплатить за легальный контент, чем скачать пиратскую версию, всё ещё остаётся большое пространство для торрент-трекеров. Пока стриминговые сервисы привлекают зрителей сериальными новинками, RuTracker делает ставку на давно забытую или даже утерянную классику. Оцифрованные киноплёнки, журналы 90-х и cамоучитель по боевому искусству — всё это можно найти в одном месте — на торренте.
Не дают кануть в Лету редким вещам хранители. Эти люди годами сидят на раздачах, сохраняя доступ к файлам всем пользователям. Кто они? Что и почему они хранят? Какое оборудование используют и сколько на него тратят? Эти и другие вопросы TJ задал модераторам, хранителям и пользователям сервиса.
Трекер на поводу у правообладателей
RuTracker, созданный в 2004 году (тогда Torrents.ru), оказался очень кстати для интернета начала нулевых и десятых годов. Многие сайты были не способны отдавать файлы со скоростью несколько десятков килобайт в секунду. Эту проблему решил BitTorrent-протокол — сетевой протокол для обмена файлами. Коротко технологию можно описать как процесс деления одного большого файла на много маленьких кусочков, которые скачивают пользователи, а потом раздают его другим.
Высокую скорость скачивания контента обеспечивают сиды — участники файлообмена, которые после загрузки файлов продолжают хранить их у себя на компьютерах. Если сиды есть — раздача живёт, если нет — умирает, объясняет один из модераторов RuTracker, представившийся Антоном.
«В ответ на «смерть» раздач некоторые участники трекера стали целенаправленно такие файлы скачивать и поддерживать, иногда самостоятельно, иногда группируясь по интересам или подразделам. — рассказал модератор ресурса. — Постепенно, где-то к 2010 году, эти энтузиасты сформировали группу Хранители и стали заниматься поддержкой раздач более систематично и организованно».
Некорректно ставить знак равенства между пиратством и BitTorrent-протоколом. Через торренты часто распространяют контент (например, любительское видео и музыку) с подачи самих правообладателей. Кроме того, так распространяют свои записи некоторые радиостанции (CBC, NRK и VPRO), а производители софта и игр — свои программы (Blizzard). Даже Facebook и Twitter используют торренты для автоматического обновления ПО на своих серверах.
Плодотворная работа хранителей и простых пользователей стала заметна правообладателям контента. Какое-то время трекеру даже удавалось с ними договариваться: некоторые раздача удаляли по требованию. «RuTracker одно время пытался идти на поводу у правообладателей, но ни к чему хорошему это не привело. Правообладатели ведь действуют как террористы. Попытка сотрудничать с ними привела к ещё большему террору. И в итоге они всё равно добились блокировки», — рассказал TJ Алексей, один из сидов RuTracker.
В 2015 году иски против площадки подали издательство «Эксмо», «С.Б.А. Продакшн» («дочка» Warner Music Russia) и другие правообладатели. Ресурс требовали заблокировать за незаконное распространение композиций рэпера Гуфа, книг Виктора Пелевина, Дарьи Донцовой и других авторов. Суд они выиграли и в начале 2016 года Роскомнадзор начал процедуру блокировки сайта.
Пользователь трекера, музыкант Герберт Моралес, желая отомстить за блокировку сайта, опубликовал в фейсбуке спойлеры к детективам Донцовой. Список состоит из примерно сотни названий, к каждому из которых указано, какой из персонажей убийца.
Блок instagram недоступен
После решения суда у ресурса было два пути, считает пользователь проекта Алексей: легализоваться или уйти в подполье. Администрация выбрала второй вариант. Правда, это не мешает модерации периодически блокировать раздачи по запросам правообладателей. «Легализоваться — это значило стать чем-то другим. А чем? Стриминговым сервисом? На трекере далеко не только кино, а ещё музыка, книги, плюс много контента полулегального, то есть такого, который никакому правообладателю уже не нужен, типа софта из 90-х или тв-передач. Легализация означала бы смерть для ресурса», — считает хранитель.
Блокировка ударила по ресурсу и спустя год, к январю 2017 года, сократила его посещаемость на 40%. Сайт больше не может похвастаться статистикой в 15 миллионов посетителей в месяц. Из-за оттока сидов (те, кто обеспечивают раздачу файлов) стали быстрее, чем раньше умирать раздачи. Тогда на RuTracker пришли новые хранители, которые вложили в файлообменник свое время и средства.
С одной стороны, посещаемость сайта безусловно снизилась, почти вдвое. Это связано со сложностью обхода блокировок с мобильных устройств и тех, где обход блокировки не так просто настроить — приставки, телевизоры и такое прочее.
С другой стороны блокировка избавила нас от общения с правообладателями, и сохранила много раздач, которые правообладатели удаляли. Если судить по количеству скачиваемых торрентов — активность аудитории осталась на прежнем уровне — это примерно миллион торрентов в день.
из ответа руководства RuTracker в комментарии TJ
«Трекер был полон бесхозных вещей»: что раздают хранители
Основной мотив, которым движет сидами, — это желание сохранить доступ к редким фильмам, книгам и музыке и другим продуктам. То есть к такому контенту, которого в интернете никогда и не было бы без RuTracker.
В начале своей «карьеры» хранители предпочитают раздавать прежде всего то, что их самих увлекает. Модератору и по совместительству хранителю Антону интересны старинные, антикварные книги. В качестве примера он привёл Птолемеев атлас мира, изданный в 1596 году под редакцией Джованни Маджини. По его словам, раздача подобных книг даёт особенное ощущение важности, «чувствуешь, что несёшь кусочек культуры куда-то дальше, делаешь его доступным для других».
Сначала я взял на хранение музыкальный раздел. Тогда никакой автоматизации не было, все раздачи нужно было добавлять в торрент-клиент вручную. Очень медитативное занятие — прокликать почти три тысячи раздач. Вообще, когда мы только начинали, трекер был полон бесхозных вещей. Сейчас же я этим разделом горжусь: приведён в образцовое состояние, ни одной потерянной раздачи, все живые.
В процессе восстановления раздач, поиска утерянных файлов и так далее хранители нередко открывают для себя интересные вещи. Никодим нашел несколько десятков, по его словам, настоящих музыкальных жемчужин, например, музыкального исполнителя 7and5.
Ещё один сид с многолетним опытом — Алексей — питает страсть к компьютерам прошлого века и софту к нему.
Я увлекаюсь ретро ПК, старым железом из 80-х и 90-х, имею несколько работающих экземпляров, периодически играю на них ради аутентичных ощущений. Софт для своих машин скачиваю на RuTracker, так как купить или где-то найти программы для, например, Windows 98, сейчас просто невозможно.
Среди особо охраняемых раздач также встречаются старые телевизионные передачи. Например, «Белую студию», первые эфиры которой вышли в 2012-2014 годах, но долгое время не были официально доступны в сети. Также на файлообменнике есть записи чемпионата по гонкам «Формула-1». В легальном пространстве архивы гонок появились не так давно (на платном ресурсе F1 TV), и то только с 1981 года.
Помимо старого софта, на ресурсе Алексей скачивает и читает видеоигровые журналы девяностых и нулевых годов, такие как, «Страна игр», Game.exe, и Dendy, которые сегодня уже мертвы. Одно из таких изданий Алексей сам нашёл, привёл в удобный вид и выложил. «Скачавших и поблагодаривших за раздачу были сотни», — вспоминает хранитель.
Обложка журнала «Страна игр» за июль 2002 год
Умирает ли RuTracker? Анализируем раздачи
Любая деятельность генерирует данные. Чем бы вы ни занимались, у вас наверняка на руках кладезь необработаной полезной информации, ну или хотя бы доступ к его источнику.
Сегодня побеждает тот, кто принимает решения, основываясь на объективных данных. Навыки аналитика как никогда актуальны, а наличие под рукой необходимых для этого инструментов позволяет всегда быть на шаг впереди. Это и является подспорьем появления данной статьи.
У вас есть свой бизнес? Или может… хотя, не важно. Сам процесс добычи данных бесконечен и увлекателен. И даже просто хорошо покопавшись в интернете можно найти себе поле для деятельности.
Вот, что мы имеем сегодня – Неофициальная XML-база раздач сайта RuTracker.ORG. База обновляется раз в полгода и содержит в себе информацию о всех раздачах за историю существования данного торрент-трекера.
Что она может рассказать владельцам рутрекера? А непосредственным пособникам пиратства в интернете? Или обычному юзеру, увлекающемуся аниме, например?
Понимаете о чем я?
Дисклеймер
Я не поддерживаю пиратство в интернете и против него. Прибегаю к использованию торрентов только в случае скачивания open source продуктов.
Выбор данной темы вызван исключительно интересом к аналитике и big data.
Стэк – R, Clickhouse, Dataiku
Любая аналитика проходит несколько основных этапов: извлечение данных, их подготовка и изучение данных (визуализация). Для каждого этапа — свой инструмент. Потому сегодняшний стэк:
- R. Да, непопулярный и уступает Python. Но до того же чистый и приятный со своим dplyr и ggplot2. Он рожден для аналитики и не пользоваться этим – преступление.
- Clickhouse. Колоночная аналитическая СУБД. Наверняка слышали: “clickhouse не тормозит” или “скорость на грани фантастики”. Народ не врет, и мы в этом убедимся. В ответе за моментальность.
- Dataiku. Платформа для обработки, визуализации и прогнозного анализа бизнес-данных.
Ревью: Dataiku работает на линуксе и маке. Доступна бесплатная версия с ограничением пользователей до 3 человек. Документация тут.
Удивительно, но на русскоязычных ресурсах и даже на Хабре до сих пор нет ажиотажа или хайпа, если хотите, на тему неотразимости данной платформы. Возьмусь исправить сие недоразумение и прошу поздравить dataiku с почином.
Big Data – big problems
На руках сжатый xml–файл весом 5 Гб. Внутри – база всех раздач сайта rutracker.org, с самого начала его существования (2005 г.) и до ноября 2019 г. А это 15 лет!
Загрузить такой объем в R Studio – ха! Не вариант. Мы люди простые, ресурсы ограничены.
Значит нужна БД, дабы подключаться и делать запросы через R. Поскольку имеем дело с Big Data, выбираем Clickhouse и … не так быстро, у нас все еще xml–файл. Надо распарсить. И опять упираемся в ресурсы.
Тут на сцену выходит наш сегодняшний дебютант. Импортировать и подготовить такой объем в Dataiku DSS не проблема. Но у нас будет ограничение на отображаемый семпл – 10 000 строк. Просмотреть аналитику также можно только в рамках семпла. Но для парсинга нам достаточно, вполне. Лимит на семпл можно и поднять, документация для корректной работы советует не больше 200 000 строк.
Создаем проект, импортируем дату. Пару минут и сырые данные готовы к предобработке.
Получили данные разных форматов. Самые интересные: колонка content — с описанием каждого торрента в разметке форумного движка и несколько колонок в формате массива json.
Удаляем пока колонку content, для сквозного анализа она будет нам в тягость. Но к ней мы еще вернемся – там есть где закопаться.
Создаем recipe — правила предобработки. Из соответствующих колонок достаем информацию о торренте, загружаемом файле и форуме к которому он относится. Благо датайку позволяет нам парсить json массивы.
Форматируем дату регистрации торрента. Отмечу, ни строчки кода еще не написано, и это огромный + для dataiku.
Запускаем наш recipe, ждем полчаса — на выходе все красиво.
Забираем csv с чистой датой и импортируем в Clickhouse.
Простота и фантастическая скорость
Давайте протестируем Clickhouse и охватим наконец все 15 лет существования rutracker-a.
Сколько же торрентов в нашей базе?
SELECT ROUND(uniq(torrent_id) / 1000000, 2) AS Count_M FROM rutracker ┌─Count_M─┐ │ 1.46 │ └─────────┘ 1 rows in set. Elapsed: 0.247 sec. Processed 25.51 million rows, 204.06 MB (103.47 million rows/s., 827.77 MB/s.)Итого 1.5 млн торрентов и 25 млн строк. За 0.3 с! Попробуем запрос посложнее и понаблюдаем за скоростью.
Посмотрим, к примеру, сколько книжек нам доступно для скачивания.
SELECT COUNT(*) AS Count FROM rutracker WHERE (file_ext = 'epub') OR (file_ext = 'fb2') OR (file_ext = 'mobi') ┌──Count─┐ │ 333654 │ └────────┘ 1 rows in set. Elapsed: 0.435 sec. Processed 25.51 million rows, 308.79 MB (58.64 million rows/s., 709.86 MB/s.)300 тыс — читать не перечитать! Но согласитесь, там есть дубли. Раз уж на то пошло узнаем их суммарный вес.
SELECT ROUND(SUM(file_size) / 1000000000, 2) AS Total_size_GB FROM rutracker WHERE (file_ext = 'epub') OR (file_ext = 'fb2') OR (file_ext = 'mobi') ┌─Total_size_GB─┐ │ 625.75 │ └───────────────┘ 1 rows in set. Elapsed: 0.296 sec. Processed 25.51 million rows, 344.32 MB (86.24 million rows/s., 1.16 GB/s.)Итог – мы охватили 25 млн строк менее чем за пол секунды. Приятно, не правда ли?
Добыча данных в R
Продолжим добывать данные уже в R. Подключим библиотеки, в часности DBI (для работы с БД). И установим соединение с Clickhouse.
library(DBI) # Для работы с БД, в.т.ч. Clickhouse library(dplyr) # Для пайпов %>% # Визуализация library(ggplot2) library(ggrepel) library(cowplot) library(scales) library(ggrepel) # Подключимся к localhost:9000 connection Все, можно делать запросы и сразу же визуализировать. А благодаря dplyr можем легко обойтись и без переменных.
Так умирают ли торренты? Давайте посмотрим статистику их количества на rutracker.org по годам.
years_stat 
На каждом из графиков заметно просел 2016 год. Важно отметить, что в январе 2016 официально вступило в силу решение Роскомнадзора о блокировке rutracker.org для российских пользователей. Тогда в СМИ сообщалось о незначительном снижении посещаемости сайта, что коррелирует с нашей картиной.
Количество файлов последние года очевидно возрастает, при том что количество торрентов остается практически на одном уровне. Это значит, что на один торрент приходится все больше возможных расширений.
Пролить свет на данную картину нам поможет статистика ТОПа расширений за весь период.
extention_stat % filter(Year == x[i]) %>% arrange(desc(Count), desc(Total_Size_TB)) %>% head(n) )) > return(res_tab) > years_list 
И вот ответ. Очень существенно возросло количество картинок в торрентах. Они и влияют на рост количества файлов.
Давайте погуляем по разделам rutracker-a. Узнаем их суммарный вес и количество торрентов внутри.
chapter_stat return(res) > chapters_data % group_by(Chapter)%>% ggplot(mapping = aes(x = reorder(Chapter, Total_Size_TB), y = Total_Size_TB))+ geom_bar(stat = "identity", fill="darkblue", alpha =0.8)+ theme(panel.grid.major.x = element_line(colour="grey60", linetype="dashed"))+ xlab('Раздел\n') + theme_minimal() + labs(title = "Cуммарный вес разделов RuTracker-а", subtitle = "на ноябрь 2019\n")+ theme(axis.text.x = element_text(), axis.text.y = element_text(family = "sans", size = 9, color = "#101010", hjust = 1, vjust = 0.5), axis.title.y = element_text(vjust = 2.5, hjust = 0, family = "sans", size = 9, color = "grey40", face = "plain"), axis.title.x = element_blank(), axis.line.x = element_line(color = "grey60", size = 0.1, linetype = "solid"), panel.grid.major.y = element_blank(), panel.grid.major.x = element_line(size = 0.7, linetype = "solid"), panel.grid.minor.x = element_line(size = 0.4, linetype = "solid"), plot.title = element_text(vjust = 3, hjust = 1, family = "sans", size = 16, color = "#101010", face = "bold"), plot.subtitle = element_text(vjust = 2, hjust = 1, family = "sans", size = 12, color = "#101010", face = "plain"), plot.caption = element_text(vjust = -3, hjust = 1, family = "sans", size = 9, color = "grey60", face = "plain"), plot.margin = unit(c(1,0.5,1,0.5), "cm"))+ scale_y_continuous(labels = number_format(accuracy = 1, suffix = " ТБ"))+ coord_flip()
Топ увесистых разделов вполне понятен и логичен. А вот антилидеры — Мобильные устройства и Иностранные языки — вероятно на торрентах умирают. Взглянув на распределение количества торрентов, мы в этом убедимся. Тут же, рядом расположился и раздел с Apple.
chapters_data %>% group_by(Chapter)%>% ggplot(mapping = aes(x = reorder(Chapter, Count), y = Count))+ geom_bar(stat = "identity", fill="#008b8b", alpha =0.8)+ theme(panel.grid.major.x = element_line(colour="grey60", linetype="dashed"))+ xlab('Раздел') + theme_minimal() + labs(title = "Распределение торрентов по разделам RuTracker-а", subtitle = "на ноябрь 2019\n")+ theme(axis.text.x = element_text(), axis.text.y = element_text(family = "sans", size = 9, color = "#101010", hjust = 1, vjust = 0.5), axis.title.y = element_text(vjust = 3.5, hjust = 0, family = "sans", size = 9, color = "grey40", face = "plain"), axis.title.x = element_blank(), axis.line.x = element_line(color = "grey60", size = 0.1, linetype = "solid"), panel.grid.major.y = element_blank(), panel.grid.major.x = element_line(size = 0.7, linetype = "solid"), panel.grid.minor.x = element_line(size = 0.4, linetype = "solid"), plot.title = element_text(vjust = 3, hjust = 1, family = "sans", size = 16, color = "#101010", face = "bold"), plot.subtitle = element_text(vjust = 2, hjust = 1, family = "sans", size = 12, color = "#101010", face = "plain"), plot.caption = element_text(vjust = -3, hjust = 1, family = "sans", size = 9, color = "grey60", face = "plain"), plot.margin = unit(c(1,0.5,1,0.5), "cm"))+ scale_y_continuous(limits = c(0, 300), labels = number_format(accuracy = 1, suffix = " тыс"))+ coord_flip()
Уяснив ранее, что торренты с годами не умирают, у вас вероятно возник вопрос: а как же тогда время влияет на понятие торрент-трекера.
Тут мы можем использовать агрегацию по разделам и просмотреть тенденции за ~15 лет.
library("RColorBrewer") getPalette = colorRampPalette(brewer.pal(19, "Spectral")) chapters_data %>% #filter(Chapter %in% chapter_stat$Chapter[c(4,6,7,9:20)])%>% filter(!Chapter %in% chapter_stat$Chapter[c(16, 21, 22)])%>% filter(Year>=2007)%>% ggplot(mapping = aes(x = Year, y = Count, fill = as.factor(Chapter)))+ geom_area(alpha =0.8, position = "fill")+ theme_minimal() + labs(title = "Как изменяется характер торрент-трекера", subtitle = "за ~15 лет", fill = "Раздел")+ theme(axis.text.x = element_text(vjust = 0.5), axis.text.y = element_blank(), axis.title.y = element_blank(), axis.title.x = element_blank(), panel.grid.major.x = element_blank(), panel.grid.major.y = element_line(size = 0.9), panel.grid.minor.y = element_line(size = 0.4), plot.title = element_text(vjust = 3, hjust = 0, family = "sans", size = 16, color = "#101010", face = "bold"), plot.caption = element_text(vjust = -3, hjust = 1, family = "sans", size = 9, color = "grey60", face = "plain"), plot.margin = unit(c(1,1,1,1), "cm")) + scale_x_continuous(breaks = c(2008, 2010, 2012, 2014, 2016, 2018),expand=c(0,0)) + scale_fill_manual(values = getPalette(19))
Кино-пиратство на торрентах умирает — это факт. С ним за руку — Apple и мобильные устройства, которых почти и не видно.
При этом в последнее время явно возрастает количество игр и сериалов. Вероятно эта тенденция будет сохраняться.
Отойдя немного в сторону и взглянув на данные под новым углом, можно обнаружить еще пару скелетов Rutracker-a. Посмотрим-ка на тепловую карту ежедневного появления торрентов на rutracker.org.
unique_torr_per_day % ggplot(aes(format(date, "%Y"), format(date, "%j"), fill = as.numeric(count)))+ geom_tile() + theme_minimal() + labs(title = "Тепловая карта пополняемости RuTracker-a", subtitle = "за ~15 лет\n\n", fill = "К-во уникальных торрентов \n")+ theme(axis.text.x = element_text(vjust = 0.5), axis.text.y = element_text(), axis.title.y = element_blank(), axis.title.x = element_blank(), panel.grid.major.y = element_blank(), panel.grid.major.x = element_line(size = 0.9), panel.grid.minor.x = element_line(size = 0.4), legend.title = element_text(vjust = 0.7, hjust = -1, family = "sans", size = 10, color = "#101010", face = "plain"), legend.position = c(0.88, 1.30), legend.direction = "horizontal", plot.title = element_text(vjust = 3, hjust = 0, family = "sans", size = 16, color = "#101010", face = "bold"), plot.caption = element_text(vjust = -3, hjust = 1, family = "sans", size = 9, color = "grey60", face = "plain"), plot.margin = unit(c(1,1,1,1), "cm"))+ coord_flip(clip = "off") + scale_y_discrete(breaks = c(format(as.Date("2007-01-15"), "%j"), format(as.Date("2007-02-15"), "%j"), format(as.Date("2007-03-15"), "%j"), format(as.Date("2007-04-15"), "%j"), format(as.Date("2007-05-15"), "%j"), format(as.Date("2007-06-15"), "%j"), format(as.Date("2007-07-15"), "%j"), format(as.Date("2007-08-15"), "%j"), format(as.Date("2007-09-15"), "%j"), format(as.Date("2007-10-15"), "%j"), format(as.Date("2007-11-15"), "%j"), format(as.Date("2007-12-15"), "%j")), labels = c("янв", "фев", "мар", "апр", "май", "июн","июл", "авг", "сен", "окт","ноя","дек"), position = 'right') + scale_fill_gradientn(colours = c("#155220", "#c6e48b")) + annotate(geom = "curve", x = 16.5, y = 119, xend = 13, yend = 135, curvature = .3, color = "grey15", arrow = arrow(length = unit(2, "mm"))) + annotate(geom = "text", x = 16, y = 45, label = "Релиз приложения для борьбы с «замедлителем торрентов» Роскомнадзора\n", hjust = "left", vjust = -0.75, color = "grey25") + guides(x.sec = guide_axis_label_trans(~.x)) + annotate("rect", xmin = 11.5, xmax = 12.5, ymin = 1, ymax = 366, alpha = .0, colour = "white", size = 0.1) + geom_segment(aes(x = 11.5, y = 25, xend = 12.5, yend = 25, colour = "segment"), show.legend = FALSE)
Сразу бросается в глаза всплеск активности в 2017 году. (ред. В мае того года на GitHub было выложено приложение для борьбы с попытками российских властей замедлять скорость скачивания файлов). А вот блокировка сайта в 2016 году отнюдь не очевидна, т.к существенно не повлияла на активность добавления торрентов.
Закопаться можно и хочется в любую из найденных выше закономерностей. Добывать данные можно до бесконечности. А писать и читать статью – нет.
Давайте еще немного поиграем, вернем весьма информативную колонку content и посмотрим, что нам расскажут данные, к примеру, об аниме за последние 15 лет.
Её величество Dataiku
Создаем новую ветку, оставляем все видео файлы касательно аниме и парсим колонку с описанием торрентов: вытягиваем режиссера, страну, жанр, продолжительность и год выхода анимешки.
Отфильтруем картинки, субтитры и инфо-файлы. Также поднимем лимит отображаемого семпла. Пару кликов – все красиво.
Предлагаю взглянуть на года выхода наших анимешек и в тоже время потрогать удобнейшую функцию датайку – внутриколоночную аналитику.
Резюмирую: на rutracker.org доступно для скачивания аниме, снятое за последние пол века Если быть точнее, уникальных годов выпуска — 60. При этом наиболее продуктивными оказались 2009 — 2014 года.
Платформа также позволяет моментально визуализировать данные. И при этом, напомню, никакого кода. Просто выбираем нужные фильтры.
К примеру, агрегируем Японию и возьмем топ самых продуктивных режиссеров. Получаем тепловую карту их активности простым перетаскиванием переменных.
К чему я веду, dataiku — отличный инструмент для аналитика любого уровня. Импорт, подготовка, анализ и визуализация данных реализуется как кодом (R, Python), так и кликаньем мышки. Но это уже совсем другая история и отличная тема для следующей статьи.
А пока, возвращаясь к RuTracker, констатируем: торренты не умирают, даже в условиях блокировок. Сама же база раздач невероятно емкая и может ответить еще не на один вопрос. Могу пообещать сделать больше аналитики, при проявленном интересе. Предлагайте свои гипотезы в комментариях.
UPD: В ответ на один из комментариев, опишу детальнее этап формирования recipe в dataiku.
Условно, приведенный в данной статье recipe, можно разделить на две части: подготовка данных для анализа в R и подготовка данных об аниме для анализа непосредственно на платформе.
Этап подготовки к анализу в R
Состоит из блоков парсинга json-колонок и даты.
Блоки парсинга json-колонок
Блоки однотипны. Задаем колонку из которой нужно достать переменную и ее название.
Блок парсинга даты
Парсим и форматируем timestamp указав удобный формат.
Этап подготовки данных об аниме
Этап в основном состоит из фильтров, нацеленных на отбор только видео файлов, связанных с аниме. Также он содержит блок парсинга колонки content — Descr_Data.
Блок парсинга колонки content
С помощью regexp достаем данные о режиссере, стране, жанре, продолжительности и дате выхода аниме. Отмечу, что синтаксис regexp в dataiku немного специфичный и к нему нужно приловчиться.
Россияне собрали миллионы рублей, чтобы спасти раздачи на Rutracker
Торрент-трекер Rutracker провел краудфандинговую кампанию, в ходе которой собрал более 1,8 млн руб. На эти деньги он закупит жесткие диски емкостью в сумме от 600 до 800 ТБ, и на них будут храниться редкие раздачи – старые и специализированные программы, выпущенные много лет назад фильмы и игры и многое другое, что требуется узкому кругу пользователей. Сохранением таких раздач трекер занимается около 10 лет.
Миллионы рублей на сотни терабайт
Пользователи популярного и одновременно заблокированного в России торрент-трекера Rutracker собрали для него почти 2 млн руб. для сохранения редких, но от этого не менее востребованных раздач. Деньги, как сообщили операторы трекера, пойдут на закупку гигантского массива жестких дисков.
О сборе средств операторы объявили 27 декабря 2020 г., а начался он 29 декабря 2020 г. Целью был сбор $25 тыс., (1,84 млн руб. по курсу ЦБ на 26 февраля 2021 г.), и нужную сумму удалось накопить к 25 февраля 2021 г., то есть менее чем за два месяца.
Эти деньги будут потрачены на приобретение пока не установленного количества накопителей. Известна только их суммарная емкость – от 600 до 800 ТБ.
Россияне поддерживают Rutracker даже спустя пять лет после его блокировки
Сбор средств проводился не только в России, но также в Азербайджане, Белоруссии, Грузии, Казахстане, Украине и ряде других стран, в том числе в Южной Корее, Израиле, Таиланде, Индии и даже Панаме. В качестве «донатов» принимались виртуальные деньги (Qiwi, WebMoney, «Юmoney» (в прошлом «Яндекс.деньги»)), прямые переводы с банковских карт Visa, MasterCard и «Мир» и даже криптовалюты, в том числе Litecoin. Пользователи платежной системы PayPal принять участие в краудфандинге не могли.
Хранилище для «Хранителей»
Необходимость в закупке нового массива винчестеров возникла на почве всероссийской блокировки трекера – россияне не могут пользоваться им без VPN и других способов обхода санкций Роскомнадзора с января 2016 г. Это, со слов операторов Rutracker, «негативное влияние и ставит под угрозу многообразие существующего на портале материала», поскольку многие пользователи из-за трудностей в доступе к порталу не могут активно раздавать файлы.
На фоне этого многие раздачи становятся «редкими» - людей, позволяющих скачать такие материалы немного, и существует риск потери этих данных. Их сохранением занимается несколько энтузиастов, называющих себя «Хранителями», и им-то и потребовались новые накопители.
Миссия выполнена
К категории «редких» относятся, как правило, раздачи специализированного софта, утративших актуальность (устаревших) версий программ, а также образов старых видеоигр и многое другое. «Если вы смотрите фильмы, слушаете музыку, скачиваете игры или ПО, которые были выпущены более года назад, то, значит, каждый из вас может столкнуться с ситуацией, когда скачать нужную раздачу нет возможности из-за отсутствия раздающих. Данный сбор предназначен для минимизации подобных случаев», – прокомментировали краудфандинговую кампанию операторы трекера.
«Хранители» занимаются сохранением редких раздач около 10 лет. За то время им удалось спасти почти 2500 ТБ данных, а это около 1,52 млн раздач. «Это 620 жестких дисков по 4 TБ или почти 6 млн руб. В день группа раздает 100-150 ТБ на редких раздачах, и ее работа является крайне востребованной в нынешних условиях, но личные ресурсы и возможности этой группы ограничены, а приток энтузиастов не поспевает за скоростью исчезновения раздач», – отметили инициаторы краудфандинга.
Начало войны с властями
На момент публикации материала сервис Rutracker существовал более 16 лет – он был запущен 18 сентября 2004 г. Первоначально проект назывался «Torrents.ru», и под этим именем он просуществовал в течение более пяти лет, пока 18 февраля 2010 г. регистратор «Ру-центр» не приостановил делегирование одноименного домена.
Владельцам трекера пришлось срочно переводить его на домен rutracker.org (регистратор – Internet.bs) и в целом менять название проекта. Спустя еще пять лет трекер попал под действие «антипиратского закона», вступившего в силу 1 августа 2013 г. 1 мая 2015 г. заработала его расширенная версия, чем моментально воспользовалось издательство «Эксмо».
Перестройка ИТ-инфраструктуры: какие проблемы возникают и как с ними справиться
Безопасность
Издательство обратилось в Мосгорсуд с иском о пожизненной блокировке трекера, и тот в ноябре 2015 г. вынес свое решение в пользу истца, даже несмотря на то, что к тому моменту «Рутрекер» позволял правообладателям закрывать раздачи с их интеллектуальной собственностью. Решение суда вступило в силу 22 января 2016 г.
Rutracker моментально отреагировал на решение Мосгорсуда и еще до вступления его в силу, в декабре 2015 г., провел всероссийские «учения по гражданской обороне», посвященные обучению пользователей способам обхода блокировки. Эти действия принесли значительные результаты: спустя более пяти лет с начала блокировки проект продолжает существовать и развиваться.
Сразу после блокировки в России, 26 января 2016 г. Rutracker объявил о разрыве всех отношений с правообладателями – они потеряли возможность блокировать раздачи, а ранее закрытые темы были вновь открыты на постоянной основе.
Продолжение противостояния
Спустя еще год, в феврале 2017 г. российские власти предприняли новую попытку уничтожить не только Rutracker, но и другие сайты, распространяющие пиратский контент. Они, как сообщал CNews, приняли законопроект о необходимости блокировки не только самих пиратских сайтов, но и их зеркал. Спустя еще три месяца Rutracker представил и выложил на Github приложение Rutracker Proxy, позволяющее обходить новые ограничения Роскомнадзора.
В конце ноября 2018 г. Rutracker запустил новый действенный способ обхода блокировки – сервис «Мой.рутрекер», позволяющий пользователям создавать личные зеркал ресурса. Он давал возможность создать не просто доменное имя-редирект, ведущее на оригинальный сайт, а настоящее зеркало, полностью функциональную копию трекера.
Сейчас сервис создания зеркал Rutracker по неизвестным причинам недоступен по прежнему адресу
От пользователей требовалось лишь держать адрес зеркала в секрете от всех, чтобы его не заблокировали. На момент публикации материала сервис был недоступен даже через VPN.
Другая игра Старую версию игры "The Long Dark"
Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно.
Вам необходимо обновить браузер или попробовать использовать другой.
Mamashin
Известный
Автор темы
Привет, возможно кто то знает такую игру про выживание "The Long Dark" - я её достаточно хороший фанат, впервые увидел прохождение по ней в 2017 году, но поиграть смог только в 2019, хотелось бы найти первые версии данной игры которые проходили многие ютуберы(2017), данная игра куплена у меня в стиме, кто то мне говорил, что возможно через стим как то скачать прошлые версии - насчет этого факта я довольно сильно сомневаюсь, плюсом - не могу найти достойный сайт для скачивания, ну чтобы без прикольчиков =)
Заранее спасибо
Привет, возможно кто то знает такую игру про выживание "The Long Dark" - я её достаточно хороший фанат, впервые увидел прохождение по ней в 2017 году, но поиграть смог только в 2019, хотелось бы найти первые версии данной игры которые проходили многие ютуберы(2017), данная игра куплена у меня в стиме, кто то мне говорил, что возможно через стим как то скачать прошлые версии - насчет этого факта я довольно сильно сомневаюсь, плюсом - не могу найти достойный сайт для скачивания, ну чтобы без прикольчиков =)
Заранее спасибо