возрожденное сообщество

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 10:00

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]05 июл 2023, 12:32 Скрытый текст

Вопрос к форумчанам.
К сожалению везде эта утечка встречается в виде JSON с уплывшими столбцами. Пожалуйста подскажите, кто-нибудь видел в другой, более упорядоченной выгрузке?
Может кто-нибудь знает как такой JSON раздербанить чтобы в нём всё по порядку было, и чтобы при этом не поднимать всякие серверы баз данных? Может какая программа есть для этого? Есть JSon To CSV, но он такое не сможет прожевать.

Держите

Спойлер

[External Link Removed for Guests]

К слову, гигашит большие бд кромсает, например эту он парсит только 53 столбца…
в частности адреса теряются и прочие поля..

ikumf
Olkaddott

Спасибо Вам большое за ссылку и за обработку, времени сэкономили уйму!
Я из интереса всё же смог перевести файл в нормальный текст с помощью оффлайнового конвертера {вручную там слишком уж много править}, но даже в таком виде пришлось бы ещё долго чистить.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 10:00

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]05 июл 2023, 12:32 Скрытый текст

Вопрос к форумчанам.
К сожалению везде эта утечка встречается в виде JSON с уплывшими столбцами. Пожалуйста подскажите, кто-нибудь видел в другой, более упорядоченной выгрузке?
Может кто-нибудь знает как такой JSON раздербанить чтобы в нём всё по порядку было, и чтобы при этом не поднимать всякие серверы баз данных? Может какая программа есть для этого? Есть JSon To CSV, но он такое не сможет прожевать.

Так эксель 2020 и далее подтягивает json через импорт.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 17:52 ikumf
Olkaddott

Спасибо Вам большое за ссылку и за обработку, времени сэкономили уйму!
Я из интереса всё же смог перевести файл в нормальный текст с помощью оффлайнового конвертера {вручную там слишком уж много править}, но даже в таком виде пришлось бы ещё долго чистить.

присоединяюсь!!! спасибо!!!, я тоже запарился столбцы "ровнять"

nadpo.ru (2022)

50 145 lines (csv)

Поля:
Email
Name
Phone
City

Без пароля
[External Link Removed for Guests]

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 19:47

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 10:00

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]05 июл 2023, 12:32 Скрытый текст

Вопрос к форумчанам.
К сожалению везде эта утечка встречается в виде JSON с уплывшими столбцами. Пожалуйста подскажите, кто-нибудь видел в другой, более упорядоченной выгрузке?
Может кто-нибудь знает как такой JSON раздербанить чтобы в нём всё по порядку было, и чтобы при этом не поднимать всякие серверы баз данных? Может какая программа есть для этого? Есть JSon To CSV, но он такое не сможет прожевать.

Так эксель 2020 и далее подтягивает json через импорт.

Ого, не знал, спасибо! Пока не пробовал с большими файлами, подозреваю что несколько гигабайт он не потянет и придётся резать, но вариант интересный!

В соседней ветке увидел, что ищут autozs.

Внутри 2 файла, с самой базой и сурсами.

ФИО
Номер телефона
Почта
Адрес
IP
Прочая техническая информация

Без пароля
[External Link Removed for Guests]

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]08 июл 2023, 23:44

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 19:47

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 10:00

Вопрос к форумчанам.
К сожалению везде эта утечка встречается в виде JSON с уплывшими столбцами. Пожалуйста подскажите, кто-нибудь видел в другой, более упорядоченной выгрузке?
Может кто-нибудь знает как такой JSON раздербанить чтобы в нём всё по порядку было, и чтобы при этом не поднимать всякие серверы баз данных? Может какая программа есть для этого? Есть JSon To CSV, но он такое не сможет прожевать.

Так эксель 2020 и далее подтягивает json через импорт.

Ого, не знал, спасибо! Пока не пробовал с большими файлами, подозреваю что несколько гигабайт он не потянет и придётся резать, но вариант интересный!

Максимальное количество строк в Excel равно же 1.048.576, в Excel 2020 его оставили прежним, для больших файлов вариант так себе

Парсил 08.07.2023, так как старый исходник потерял
Поля:

Спойлер

Фамилия
Имя
Отчество
Дата рождения
Образование
Место жительства
емаил
Телефон домашний
Телефон рабочий
Домашняя страничка
Фото (отдельная папка с файлами)
ссылка

[External Link Removed for Guests]
Без пароля

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]06 июл 2023, 20:08 присоединяюсь!!! спасибо!!!, я тоже запарился столбцы "ровнять"

Там вся заковырка в том, что в исходнике есть несколько символов ;
При конвертировании в CSV автоматом разделитель ставится в виде как раз точки с запятой и некоторые поля уезжают.
Я сначала прошёлся по этим символам и удалил их из исходника, а уже потом перегнал файл из JSON в CSV и вот тогда всё стало ровненько, оставалось только зачистить.
При этом сбивают с толка некоторые поля, в которые похоже изначально не везде правильно записывалась информация, это по-моему был размер одежды, инвалидность и группа здоровья.
Когда я это понял было уже поздно и группы здоровья я просто удалил, а вот по инвалидности столбец удалось сохранить.
И ещё в последних столбцах таблицы есть путаница, где тип класса указан, где-то правильно - кадеты и прочее, а где-то ФИО и что-то ещё. Вот это может вызвать ощущение, что поля уехали, а на самом деле сама таблица похоже писалась иногда неправильно.
Это один из самых сложных в плане обработки файлов, которые встречались, но благодаря ему стало понятно как распарсивать JSON, а раньше я это всё чистил вручную