Прочие базы данных

[LibVik]

Колл Центр UA 02.2023
При удалении доп инфо, уников выходит 1.644.591

по к-ву телефонов должно быть не больше 1.290.559

[AsmusW8ndy]

скачал этого Джека,а открыть не могу, 7zip ошибку выдает, подскажи как открыл

Попробуйте открыть нормальным архиватором, например вот, всё должно распаковываться: [External Link Removed for Guests]

скачал,пишет невозможно открыть архив..., походу кривые файлы изначально(

Хочу поделиться такой странностью. Я файлы скачал (через ПК), не открываются. Смотрю, а у них у всех разная длина (отлична от 2048000). Скачал на телефон, перенес на ПК, все прекрасно.

[Lakmus]

по к-ву телефонов должно быть не больше 1.290.559

Чисто телефоны не считал, уники по нескольким колонкам

[ChapaNur]

Парсинг ресурса afy.ru
Дата парсинга - февраль 2024
Нет времени заниматься чисткой, большую часть почистил
Формат цсв
[External Link Removed for Guests]
Пароль рекомендованный

[SDFnik]

если сама база весит 200 пи (?), то проще её держать в распакованном виде , чем заморачиваться с переделками

Когда есть исходники (полная база NPD), то особого смысла в базе Джек_Восьмёркин нету.
Первый раз пробить по ФИО + DOB(если известно), второй раз - по найденным адресам.

а Джек восьмеркин это NPD?

Что пишет Берёза на эту тему:

Спойлер

База не полная (полная весила бы под 3Тб), в ней отобраны только записи, где по каждому адресу было меньше 14 фигурантов. Максимальное количество регистраций доходило до 70 тысяч. Это могли быть студенческие кампусы, военные базы итд. Так что если кто, то хочет заморочиться, то может собрать из исходников базу под названием что-то типа «сослуживцы военной базы Льюис–Маккорд, штат Вашингтон».

А какая из утечек за последнее время содержит ВСЕ адреса для одного человека? NPD.

я просто как раз сейчас чищу NPD под свои нужды

Как чистить? Удалять адреса (или оставлять один) и потом удалять дубли записей по SSN? - Пропадет возможность пробивки на проживание по одному адресу (как и была сделана база Джек восьмеркин, хотя там нет данных, что эти люди проживали в одно и то же время - это могут быть съёмные апартаменты и число зарегистрированных по этому адресу будет уйма - и они будут далеко не родственники ...)

[LibVik]

Чисто телефоны не считал, уники по нескольким колонкам

для такой базы телефоны основной ID ,
а дубли в своём варианте можешь без труда увидеть глазами в конце файла

[LibVik]

А какая из утечек за последнее время содержит ВСЕ адреса для одного человека? NPD.

я видел 3 варианта NPD
* тот что на форуме,
* 100 пи в архиве
* 200 пи - архивы + файлы с SSN и без (может тот же что и предыдущий)

Как чистить?

там есть повторы имени и данных даже в одной строке, как вариант

[SDFnik]

А какая из утечек за последнее время содержит ВСЕ адреса для одного человека? NPD.

я видел 3 варианта NPD
* тот что на форуме,
* 100 пи в архиве
* 200 пи - архивы + файлы с SSN и без (может тот же что и предыдущий)

Как чистить?

там есть повторы имени и данных даже в одной строке, как вариант

В этом случае - да, (если это повторы: aka1fullname,aka2fullname,aka3fullname,alt1DOB,alt2DOB,alt3DOB)

У меня NPD в сжатом виде - 50 Gb (files NPD202401.7z, NPD202402.7z), в распакованном - 284 Gb (files ssn.txt, ssn2.txt).

А как такое чистить?

Спойлер

ID,firstname,lastname,middlename,name_suff,dob,address,city,county_name,st,zip,phone1,aka1fullname,aka2fullname,aka3fullname,StartDat,alt1DOB,alt2DOB,alt3DOB,ssn
25717441,EDWARD,FOMENKO,G,,,701 S RIVER HEIGHTS DR,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
28294620,EDWARD,FOMENKO,G,,19390901,701 S RIVER HEIGHT DR,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
28294621,EDWARD,FOMENKO,G,,19390901,PO BOX 1241,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
28294622,EDWARD,FOMENKO,G,,19390901,PO BOX 2301,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
28294623,EDWARD,FOMENKO,G,,19390901,213 E 3RD AVE,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
28294624,EDWARD,FOMENKO,G,,19390901,831 E MILES AVE,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
30116342,EDWARD,FOMENKO,G,,19700701,800 S MAJESTIC VIEW DR,POST FALLS,KOOTENAI,ID,83854,2087779658,,,,,,,,518398509
30116343,EDWARD,FOMENKO,G,,19700701,701 S RIVER HEIGHT DR,POST FALLS,KOOTENAI,ID,83854,8167417598,,,,,,,,518398509
33592521,EDWARD,FOMENKO,G,,,213 E 3 RD AVE,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
33875737,EDWARD,FOMENKO,G,,19700701,800 S MAJESTIC VIEW DR,POST FALLS,KOOTENAI,ID,83854,2087732446,,,,,,,,518398509
33988293,EDWARD,FOMENKO,G,,,701 S RIVER HEIGHT DR,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
33988294,EDWARD,FOMENKO,G,,,PO BOX 1241,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
33988295,EDWARD,FOMENKO,G,,,PO BOX 2301,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509
33988296,EDWARD,FOMENKO,G,,,213 E 3RD AVE,POST FALLS,KOOTENAI,ID,83854,,,,,,,,,518398509
33988297,EDWARD,FOMENKO,G,,,831 E MILES AVE,HAYDEN,KOOTENAI,ID,83835,,,,,,,,,518398509

15 адресов, 3 телефона (2087779658, 8167417598, 2087732446), 2 даты рождения (19390901, 19700701), 1 SSN.

[FamilyTheRapy]

Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1 ( emeditor на половине умер )
[External Link Removed for Guests]

[Olkaddott]

Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1 ( emeditor на половине умер )
[External Link Removed for Guests]

1. распаковать все файлы в 1 папку
2. если на винде, то создать файл типа 1.bat в той же папке, внутрь засунуть следующий код

Код: [Local Link Removed for Guests]

@for /r %%i in (*.) do cls&@type "%%i">>merge.lst&@%ComSpec% /q/c @echo.>>merge.lst

3. запустить 1.bat
4. уйти... долго будет соединять в 1, ради интереса 3 файла попробовал, минуты 4-5 заняло
5. на выходе получаем один файл merge.lst