возрожденное сообщество

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]16 сен 2023, 06:36 Держите...
Свел в 1 json (в архив закинул тоже), ошибки синтаксиса и косяки исправил, перевел в csv со всеми полями\столбцами, там уж сами удалите какие столбцы не нужны...

49 млн записей

Итак,
файл MAIN.csv - тут все основные поля ФИО, др и т.д.
далее идут файлы по "вложенным json массивам": ники, авто, работа, колледжи и соц сети. Все они имеют связку с основным файлом по столбцу _link_main ---> _link
можете свести все в одну таблицу, если есть желание, даже посредством того же Emeditor. Но дело в том, что у некоторых личностей по несколько ников, несколько соц. сетей, мест работы и авто. Нужно либо сводить-переводить их в столбцы и объединять, либо тупо построчно соединить - это быстро, но получится еще несколько миллионов "полудублирующих строк"...
Либо, насколько я понимаю, в кронос конвертировать, по связке этого столбца, но тут я не спец, с кроносом дел особо не имею...

В общем дальше сами...

Скрытый текст

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]15 сен 2023, 15:50 Это pochta_kartoteka кто то слепил из старых ФОМСов и ПФР и пытался выдать его за почту РФ как раз в 2022.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]16 сен 2023, 17:19

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]16 сен 2023, 06:36 Держите...
Свел в 1 json (в архив закинул тоже), ошибки синтаксиса и косяки исправил, перевел в csv со всеми полями\столбцами, там уж сами удалите какие столбцы не нужны...

49 млн записей

Итак,
файл MAIN.csv - тут все основные поля ФИО, др и т.д.
далее идут файлы по "вложенным json массивам": ники, авто, работа, колледжи и соц сети. Все они имеют связку с основным файлом по столбцу _link_main ---> _link
можете свести все в одну таблицу, если есть желание, даже посредством того же Emeditor. Но дело в том, что у некоторых личностей по несколько ников, несколько соц. сетей, мест работы и авто. Нужно либо сводить-переводить их в столбцы и объединять, либо тупо построчно соединить - это быстро, но получится еще несколько миллионов "полудублирующих строк"...
Либо, насколько я понимаю, в кронос конвертировать, по связке этого столбца, но тут я не спец, с кроносом дел особо не имею...

В общем дальше сами...

Скрытый текст

Благодарю! Думал никто не возьмется, или работа затянется на долгие дни.
Очень круто!

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]15 сен 2023, 10:49 Доброй ночи!
Публикую архив с кучей отвратительных, необработанных JSON
pipl.com
Там должны быть десятки миллионов записей.

Просьба, если у кого-то есть время на обработку и хороший инструмент - поделитесь пожалуйста готовым результатом.

Ссылка и пароль:

► Показать

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]12 сен 2023, 12:18 БД:
Более 100 млрд почта:пароль
Формат тхт
В разархивированном виде занимает 600 Гб
В архиве - 200 Гб
mail.ru в огромных колчиествах, свой старый пароль нашел
Ссылка для скачивания:
[External Link Removed for Guests]

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]16 сен 2023, 20:52

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]15 сен 2023, 10:49 Доброй ночи!
Публикую архив с кучей отвратительных, необработанных JSON
pipl.com
Там должны быть десятки миллионов записей.

Просьба, если у кого-то есть время на обработку и хороший инструмент - поделитесь пожалуйста готовым результатом.

Ссылка и пароль:

► Показать

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

я в начале года делал конверт в кронос этого pipl.com, и выкладывал на xss. но там исходник был другой, без авто и прочего, на 52М записей.
параметры конверта были такие:

Спойлер

##############################################################
Тип банка: Cronos
Размер банка: 6`634`748 Kb
Общее количество записей в банке: 52`082`020

База :US-Pipl.com
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|firstname|Т|142|||
2|lastname|Т|18|||
3|middlename|Т|9|||
4|dateOfBirth|Т|10|||
5|gender|Т|1|||
6|zip|Т|5|||
7|state|Т|2|||
8|city|Т|18|||
9|street|Т|30|||
10|phone|Т|10|||
11|emails|Т|34|||
12|race|Т|17|||
13|religion|Т|9|||
14|educationLevel|Т|17|||
15|professionalLicense|Т|22|||
16|politicalParty|Т|11|||
17|bankruptcies|Т|4|||
18|civilCourtRecordCount|Т|1|||
19|criminalCourtRecords|Т|4|||
20|currentIncarceration|Т|4|||
21|dateOfDeath|Т|10|||

==========================

если надо, могу и здесь выложить.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]16 сен 2023, 19:39 а что за данные это?

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]16 сен 2023, 20:52 я в начале года делал конверт в кронос этого pipl.com, и выкладывал на xss. но там исходник был другой, без авто и прочего, на 52М записей.
параметры конверта были такие:

Спойлер

##############################################################
Тип банка: Cronos
Размер банка: 6`634`748 Kb
Общее количество записей в банке: 52`082`020

База :US-Pipl.com
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|firstname|Т|142|||
2|lastname|Т|18|||
3|middlename|Т|9|||
4|dateOfBirth|Т|10|||
5|gender|Т|1|||
6|zip|Т|5|||
7|state|Т|2|||
8|city|Т|18|||
9|street|Т|30|||
10|phone|Т|10|||
11|emails|Т|34|||
12|race|Т|17|||
13|religion|Т|9|||
14|educationLevel|Т|17|||
15|professionalLicense|Т|22|||
16|politicalParty|Т|11|||
17|bankruptcies|Т|4|||
18|civilCourtRecordCount|Т|1|||
19|criminalCourtRecords|Т|4|||
20|currentIncarceration|Т|4|||
21|dateOfDeath|Т|10|||

==========================

если надо, могу и здесь выложить.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]17 сен 2023, 06:53 13% дублей файлов внутри самой базы, а сколько там дублей внутри записей и паблика... полагаю, привата 0.00...%

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]17 сен 2023, 07:43

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]16 сен 2023, 20:52

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]15 сен 2023, 10:49 Доброй ночи!
Публикую архив с кучей отвратительных, необработанных JSON
pipl.com
Там должны быть десятки миллионов записей.

Просьба, если у кого-то есть время на обработку и хороший инструмент - поделитесь пожалуйста готовым результатом.

Ссылка и пароль:

► Показать

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

я в начале года делал конверт в кронос этого pipl.com, и выкладывал на xss. но там исходник был другой, без авто и прочего, на 52М записей.
параметры конверта были такие:

Спойлер

##############################################################
Тип банка: Cronos
Размер банка: 6`634`748 Kb
Общее количество записей в банке: 52`082`020

База :US-Pipl.com
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|firstname|Т|142|||
2|lastname|Т|18|||
3|middlename|Т|9|||
4|dateOfBirth|Т|10|||
5|gender|Т|1|||
6|zip|Т|5|||
7|state|Т|2|||
8|city|Т|18|||
9|street|Т|30|||
10|phone|Т|10|||
11|emails|Т|34|||
12|race|Т|17|||
13|religion|Т|9|||
14|educationLevel|Т|17|||
15|professionalLicense|Т|22|||
16|politicalParty|Т|11|||
17|bankruptcies|Т|4|||
18|civilCourtRecordCount|Т|1|||
19|criminalCourtRecords|Т|4|||
20|currentIncarceration|Т|4|||
21|dateOfDeath|Т|10|||

==========================

если надо, могу и здесь выложить.

Залей свою базу сюда. Плиз

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]05 сен 2023, 20:15 База ОСАГО Москва сентябрь 2022 г.

Состав: policy, vin, Модель, insurer_name, region, city, osago_start_date, osago_end_date, VIN, Категория, Год выпуска, Двигатель, Мощность лс, Телефон, ФИО, ДР, ГРЗ.

Формат: excel.
Под конверт в кронос.
11 000+ строк.
Рекомендованный пароль.

[External Link Removed for Guests]