Прочие базы данных ч.2 -АРХИВ

[[N]etwork[P]irate]

Клиенты/пациенты synevo.ua (2023)
Количество строк: 4.929.033

Что было сделано?:

Спойлер

Изначально, всё было в json формате.
Добавил столбец Line, в нём содержится номер строки, так как массив имел несколько значений на одной строке.
Удалил столбец ParentalName, так как он был пустой.

Пример содержимого:

Спойлер

"SilabPersonId","LastName","FirstName","DateOfBirth","Gender","MobilePhone","Email","Line"
"9213232","Исмаилов","Интиган Мамад оглы","05.11.1981","M","0675000004","[email protected]","1"
"10355677","Черевишник","Сергій Всеволодович","21.04.1966","M","0675000009","[email protected]","2"
"5657837","Наумов","Сергій Харитонович","09.06.1971","M","0675000010","[email protected]","3"
"69000202942","Наумов","Сергій Харітонович","09.06.1971","M","0675000010",,"3"
"5001545652","Калынив","Наталья Сергеевна","21.08.1978","F","0675000013","[email protected]","4"

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

[[N]etwork[P]irate]

Аптека Низких Цен insur.anctm.biz (2023)
Количество строк: 98.578

Что было сделано?:

Спойлер

Изначально, всё было в json формате (битый).
Удалил столбцы status_color и goods (после него json был битый).
Ещё удалил () в номерах телефонов.

Пример содержимого:

Спойлер

"id","customer","tel","email","dop","summ","date","apt","city","brand","trusted","police","juridical","juridical_user","franchise","status"
"51000110","Кокоша Олександр Михайлович","0977059172",,"Заказ от страховой компании INSUR.ANCTM.BIZ (API)","725.99","19.01.2023 14:45:01","ул. Николая Лаврухина, 3 (Троещина)","Киев","АНЦ","Кокоша Олександр Михайлович","124024","Універсальна","Петрук Олександр Петрович","5","відмовлено клієнтом"
"51001320","Пилюшенко Інна Миколаївна","0978810288",,"Заказ от страховой компании INSUR.ANCTM.BIZ (API)","916.93","19.01.2023 15:00:04","ул. Грушевського, 10-В","Васильков","АНЦ","Пилюшенко Інна Миколаївна","107450","Універсальна","Петрук Олександр Петрович","0","виконано"
"51001460","Мельник Ігор Михайлович","0665149811",," INSUR.ANCTM.BIZ","1149.76","19.01.2023 15:01:32","пр. Независимости, 11 (Ленина)","Южноукраинск","АНЦ","Координатор СГ ТАС Трохимець","1455890","СГ ТАС","Світлана Миколаївна Кравець","0","виконано"
"51001610","Шевченко Тарас Григорович","0980796151",," INSUR.ANCTM.BIZ","479.69","19.01.2023 15:03:09","пр. Богдана Хмельницкого, 123 (ул. Героев Сталинграда)","Днепр","АНЦ","Шевченко Тарас Григорович","20913481","Провідна","Кобилянська Вікторія Ігорівна","0","виконано"
"51001760","Язенок Наталія Михайлівна","0961700372",,"Заказ от страховой компании INSUR.ANCTM.BIZ (API)","2116.41","19.01.2023 15:06:02","пр-т. Ивана Мазепы, 13/9","Вышгород","Аптека Копейка","Язенок Наталія Михайлівна","481/3-2-653","УНІКА","Сафарова Світлана Георгіївна","0","виконано"

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

[valepwnphreaker]

[External Link Removed for Guests]


Из интересных строк:
-Количество детей
-Пол
-Город
-Имя и фамилия
-Должность
-Номер телефона( не везде)
-Почта
всего строк: 120.510

Спойлер

[External Link Removed for Guests]

[[N]etwork[P]irate]

Стоит ли, выложить нормальный json формат базы Новой почты, та которая в 2022 году была взломанная и залитая 25 частями (np_dop1.json - np_dop25.json)? Я привёл весь json в порядок, каждая строка теперь содержит валидный json, в сумме вышло ровно 20.000.000 строк.

[[N]etwork[P]irate]

Было:

Спойлер

{
"_id": {
"$oid": "5e3430c354d5dc00e518cabd"
},
"consignee": {
"delivery_address": {
"address_type": "Door",
"address": "prospekt nahimova dom 156 kvartira 14",
"city": "Mariupol",
"region": null,
"zipcode": "87525",
"country": "UA",
"country_name": "Ukraine",
"comments": null,
"ref_city": null,
"ref_address": null,
"ref_warehouse": null,
"warehouse_owner": 12,
"street": null,
"building": null,
"apt": null,
"lang": "en"
},
"name": "Evgeniya Kovantceva",
"type": "Private person",
"code": null,
"public_legal_registry_code": null,
"residency": null,
"account_no": null,
"contact_person_name": "Evgeniya Kovantceva",
"contact_person_surname": null,
"phone_num_main": "380730525836",
"initial_phone_num": "380730525836",
"additional_phone_nums": null,
"email": null,
"notifications": [],
"address": {
"address": "prospekt nahimova dom 156 kvartira 14",
"city": "Mariupol",
"region": null,
"zipcode": "87525",
"country": "UA",
"country_name": "Ukraine",
"address_type": "Door",
"warehouse": null,
"street": null,
"building": null,
"apt": null
}
}
}
{
"_id": {
"$oid": "5e3430c370d2dc00cb2ad6a3"
},
"consignee": {
"delivery_address": {
"address_type": "Door",
"address": "prospekt nahimova dom 156 kvartira 14",
"city": "Mariupol",
"region": null,
"zipcode": "87525",
"country": "UA",
"country_name": "Ukraine",
"comments": null,
"ref_city": null,
"ref_address": null,
"ref_warehouse": null,
"warehouse_owner": 12,
"street": null,
"building": null,
"apt": null,
"lang": "en"
},
"name": "Evgeniya Kovantceva",
"type": "Private person",
"code": null,
"public_legal_registry_code": null,
"residency": null,
"account_no": null,
"contact_person_name": "Evgeniya Kovantceva",
"contact_person_surname": null,
"phone_num_main": "380730525836",
"initial_phone_num": "380730525836",
"additional_phone_nums": null,
"email": null,
"notifications": [],
"address": {
"address": "prospekt nahimova dom 156 kvartira 14",
"city": "Mariupol",
"region": null,
"zipcode": "87525",
"country": "UA",
"country_name": "Ukraine",
"address_type": "Door",
"warehouse": null,
"street": null,
"building": null,
"apt": null
}
}
}
{
"_id": {
"$oid": "5e3430c370d2dc00d21957ac"
},
"consignee": {
"delivery_address": {
"address_type": "Door",
"address": "prospekt nahimova dom 156 kvartira 14",
"city": "Mariupol",
"region": null,
"zipcode": "87525",
"country": "UA",
"country_name": "Ukraine",
"comments": null,
"ref_city": null,
"ref_address": null,
"ref_warehouse": null,
"warehouse_owner": 12,
"street": null,
"building": null,
"apt": null,
"lang": "en"
},
"name": "Evgeniya Kovantceva",
"type": "Private person",
"code": null,
"public_legal_registry_code": null,
"residency": null,
"account_no": null,
"contact_person_name": "Evgeniya Kovantceva",
"contact_person_surname": null,
"phone_num_main": "380730525836",
"initial_phone_num": "380730525836",
"additional_phone_nums": null,
"email": null,
"notifications": [],
"address": {
"address": "prospekt nahimova dom 156 kvartira 14",
"city": "Mariupol",
"region": null,
"zipcode": "87525",
"country": "UA",
"country_name": "Ukraine",
"address_type": "Door",
"warehouse": null,
"street": null,
"building": null,
"apt": null
}
}
}

Стало:

Спойлер

{"_id": {"$oid": "5e3430c354d5dc00e518cabd"},"consignee": {"delivery_address": {"address_type": "Door","address": "prospekt nahimova dom 156 kvartira 14","city": "Mariupol","region": null,"zipcode": "87525","country": "UA","country_name": "Ukraine","comments": null,"ref_city": null,"ref_address": null,"ref_warehouse": null,"warehouse_owner": 12,"street": null,"building": null,"apt": null,"lang": "en"},"name": "Evgeniya Kovantceva","type": "Private person","code": null,"public_legal_registry_code": null,"residency": null,"account_no": null,"contact_person_name": "Evgeniya Kovantceva","contact_person_surname": null,"phone_num_main": "380730525836","initial_phone_num": "380730525836","additional_phone_nums": null,"email": null,"notifications": [],"address": {"address": "prospekt nahimova dom 156 kvartira 14","city": "Mariupol","region": null,"zipcode": "87525","country": "UA","country_name": "Ukraine","address_type": "Door","warehouse": null,"street": null,"building": null,"apt": null}}}
{"_id": {"$oid": "5e3430c370d2dc00cb2ad6a3"},"consignee": {"delivery_address": {"address_type": "Door","address": "prospekt nahimova dom 156 kvartira 14","city": "Mariupol","region": null,"zipcode": "87525","country": "UA","country_name": "Ukraine","comments": null,"ref_city": null,"ref_address": null,"ref_warehouse": null,"warehouse_owner": 12,"street": null,"building": null,"apt": null,"lang": "en"},"name": "Evgeniya Kovantceva","type": "Private person","code": null,"public_legal_registry_code": null,"residency": null,"account_no": null,"contact_person_name": "Evgeniya Kovantceva","contact_person_surname": null,"phone_num_main": "380730525836","initial_phone_num": "380730525836","additional_phone_nums": null,"email": null,"notifications": [],"address": {"address": "prospekt nahimova dom 156 kvartira 14","city": "Mariupol","region": null,"zipcode": "87525","country": "UA","country_name": "Ukraine","address_type": "Door","warehouse": null,"street": null,"building": null,"apt": null}}}
{"_id": {"$oid": "5e3430c370d2dc00d21957ac"},"consignee": {"delivery_address": {"address_type": "Door","address": "prospekt nahimova dom 156 kvartira 14","city": "Mariupol","region": null,"zipcode": "87525","country": "UA","country_name": "Ukraine","comments": null,"ref_city": null,"ref_address": null,"ref_warehouse": null,"warehouse_owner": 12,"street": null,"building": null,"apt": null,"lang": "en"},"name": "Evgeniya Kovantceva","type": "Private person","code": null,"public_legal_registry_code": null,"residency": null,"account_no": null,"contact_person_name": "Evgeniya Kovantceva","contact_person_surname": null,"phone_num_main": "380730525836","initial_phone_num": "380730525836","additional_phone_nums": null,"email": null,"notifications": [],"address": {"address": "prospekt nahimova dom 156 kvartira 14","city": "Mariupol","region": null,"zipcode": "87525","country": "UA","country_name": "Ukraine","address_type": "Door","warehouse": null,"street": null,"building": null,"apt": null}}}

P.S. Увы сразу с табуляциями не видно здесь, потому нажимайте "цитировать".

[[N]etwork[P]irate]

Новая почта novaposhta.ua (2022)
Количество строк: 20.000.000

Для удобства разбил файл по 2.000.000 строчек, вышло 10 частей, каждая размером ≈2GB, в сумме ≈20GB. Доставайте, систематизируйте любую информацию на своё усмотрение, всё у ваших руках.
Наслаждайтесь господа!

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

[Burg0mister]

Доброго всем!
Добавил столбец ФИО rus
[External Link Removed for Guests]
Пасс автора

Если не секрет, каким образом транслитерация проводится? Нужен какой-то словарь и специальный скрипт?

[External Link Removed for Guests]

► Показать

Из интересных строк:
-Количество детей
-Пол
-Город
-Имя и фамилия
-Должность
-Номер телефона( не везде)
-Почта
всего строк: 120.510

Спойлер

[External Link Removed for Guests]

К valepwnphreaker вопросов нет, спасибо за публикацию!
А вот тот, кто экспортировал базу и выбрал разделителем запятую, по сути испоганил файл {там нет нормального экранирования кавычками, нужно было ставить разделителем другой символ при экспорте}.

[[N]etwork[P]irate]

Предполагаю, что это перевод с Google или Яндекс, строк немного, потому быстро можно перевести через любой скрипт, собираюсь и сам перенять его опыт, ведь здесь сразу и нормализация ФИО в подарок. Словарь сложно создать, ведь ФИО пишут по разному, где-то случайный повтор букв дважды, где-то латиница совместно с кириллицей и т.д.

[valepwnphreaker]

zarina.ru

932 016 строк
Имя
Фамиля
Почта
Телефон

► Показать

[External Link Removed for Guests]

[bobber]

zarina.ru

не только зарина, но и другие бреды melonfashion, в том числе Sela