
Прочие базы данных
- memnos
- профи
- Сообщения: 109
- Зарегистрирован: 06 июл 2022, 16:45
- Благодарил (а): 133 раза
- Поблагодарили: 547 раз
Re: Прочие базы данных
BK парсинг
.
Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным 
Последний раз редактировалось memnos 22 авг 2022, 15:05, всего редактировалось 6 раз.
-
- местный
- Сообщения: 47
- Зарегистрирован: 21 июл 2022, 12:11
- Благодарил (а): 1 раз
- Поблагодарили: 27 раз
Re: Прочие базы данных
Странно. В начале существования было vkontakte.ru. Потом vk.com.
vk.ru не левый ли сайт?
Если при заходе на vk.com осуществляется переход на личную страничку по IP или MAC адресу, то на vk.ru этого не происходит.
vk.ru не левый ли сайт?
Если при заходе на vk.com осуществляется переход на личную страничку по IP или MAC адресу, то на vk.ru этого не происходит.
- xaoxh
- Сообщения: 9
- Зарегистрирован: 01 дек 2021, 19:12
- Благодарил (а): 67 раз
- Поблагодарили: 22 раза
Re: Прочие базы данных
Это парсинг через VK Pay.[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 13:10 BK парсинг
Скрытый текст
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным.
-
- профи
- Сообщения: 106
- Зарегистрирован: 26 янв 2022, 11:29
- Благодарил (а): 100 раз
- Поблагодарили: 422 раза
про json, oriflame и т.д.
так, для информации и общего понимания.
в исходнике орифлейма, json-файле, было 196 блоков адресов, каждый из которых представлен 9-ю полями: addresses.nnn.area, addresses.nnn.province, addresses.nnn.locality, addresses.nnn.country, addresses.nnn.zipcode, addresses.nnn.city, ну и так далее.
Т. е. только на одни адреса приходилось 196x9=1764 поля. На телефоны приходилось 25 полей, и т.п. Вот скрины первичной(предварительной) выгрузки из json-файла oriflame:
[External Link Removed for Guests]
[External Link Removed for Guests]
Обратите внимание на число выгружаемых полей - 1807.
В моём конверте в кронос базы oriflame все 196 адресных полей сведены в одно поле addresses(через запятую и с удалением дублей, разумеется), все 25 телефонных полей сведены в одно поле telephones, и т.д.
Вообще, работа с большими json файлами для последующей их выгрузки в csv, cronos или ещё куда - задача не всегда тривиальная и требует определённых знаний, навыков, опыта и соответствующего инструментария.
в исходнике орифлейма, json-файле, было 196 блоков адресов, каждый из которых представлен 9-ю полями: addresses.nnn.area, addresses.nnn.province, addresses.nnn.locality, addresses.nnn.country, addresses.nnn.zipcode, addresses.nnn.city, ну и так далее.
Т. е. только на одни адреса приходилось 196x9=1764 поля. На телефоны приходилось 25 полей, и т.п. Вот скрины первичной(предварительной) выгрузки из json-файла oriflame:
[External Link Removed for Guests]
[External Link Removed for Guests]
Обратите внимание на число выгружаемых полей - 1807.
В моём конверте в кронос базы oriflame все 196 адресных полей сведены в одно поле addresses(через запятую и с удалением дублей, разумеется), все 25 телефонных полей сведены в одно поле telephones, и т.д.
Вообще, работа с большими json файлами для последующей их выгрузки в csv, cronos или ещё куда - задача не всегда тривиальная и требует определённых знаний, навыков, опыта и соответствующего инструментария.
- https2
- профи
- Сообщения: 181
- Зарегистрирован: 15 дек 2021, 19:44
- Благодарил (а): 665 раз
- Поблагодарили: 332 раза
Re: ЕДС Липецкой области
Архив какойто непонятный, открыли коллеги?[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 00:37 Единая диспетчерская служба Липецкой области
Формат базы: json
Состав полей: дата, ФИО, приоритет, телефоны автора обращения, адрес проживания, координаты, тексты обращения и ответа
Уникальных номеров около 190 тысяч, не приведены к единому формату
[External Link Removed for Guests]
без пароля
-
- местный
- Сообщения: 47
- Зарегистрирован: 21 июл 2022, 12:11
- Благодарил (а): 1 раз
- Поблагодарили: 27 раз
Re: про json, oriflame и т.д.
У меня получалось немного меньше:[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 17:26 ...в исходнике орифлейма, json-файле, было 196 блоков адресов, каждый из которых представлен 9-ю полями: addresses.nnn.area, addresses.nnn.province, addresses.nnn.locality, addresses.nnn.country, addresses.nnn.zipcode, addresses.nnn.city, ну и так далее...
Спойлер
Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
Хотя такая картина как изменение количества полей может наблюдаться. Т.е. начинают работать с одним количеством, потом смотрят чего то не хватает, добавляют поля, потом могут опять удалить.
- Sabch
- профи
- Сообщения: 50
- Зарегистрирован: 12 дек 2021, 12:34
- Благодарил (а): 161 раз
- Поблагодарили: 257 раз
Re: ЕДС Липецкой области
Перегон файла формата json ЕДС Липецкой области в текстовый файл[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 18:30Архив какойто непонятный, открыли коллеги?[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 00:37 Единая диспетчерская служба Липецкой области
Формат базы: json
Состав полей: дата, ФИО, приоритет, телефоны автора обращения, адрес проживания, координаты, тексты обращения и ответа
Уникальных номеров около 190 тысяч, не приведены к единому формату
[External Link Removed for Guests]
без пароля
[External Link Removed for Guests]
-
- Сообщения: 8
- Зарегистрирован: 15 июн 2022, 08:10
- Благодарил (а): 22 раза
- Поблагодарили: 18 раз
Re: Прочие базы данных
[External Link Removed for Guests][Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]20 авг 2022, 02:26[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2022, 05:29 [External Link Removed for Guests]
Архив содержит 4 json-файла
Данные : ФИО, номер телефона, ИНН
Количество строк в файлах:
privat_people.json 21066695
privat_people_phone.json 36701301
privat_phone.json 40134498
privat_passport.json 20873108
Добрый день!
Можно обновить ссылку? Заранее Спасибо!
- ttm
- профи
- Сообщения: 140
- Зарегистрирован: 09 июн 2022, 12:24
- Благодарил (а): 435 раз
- Поблагодарили: 218 раз
Re: ЕДС Липецкой области
А в чем собственно перегон? Как был json так и остался.[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 21:31 Перегон файла формата json ЕДС Липецкой области в текстовый файл
- Burg0mister
- профи
- Сообщения: 326
- Зарегистрирован: 19 июл 2022, 17:07
- Благодарил (а): 1794 раза
- Поблагодарили: 697 раз
Re: Прочие базы данных
Видел эту раздачу в тележке. Они там у себя на канале хотят собрать 10000 лайков и после этого обещают сделать файл уже на 100 миллионов. Имена из файла пробиваются и похоже не обман. Жаль конечно, что ID не включены в список.[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 13:10 BK парсинг
Скрытый текст
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным.
Похоже что так. Этим может и обусловлены их сложности с указанием ID.[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 15:11 Это парсинг через VK Pay.
Спойлер
Если на раздачи ставлю личный пароль - делюсь им безвозмездно, так же он есть и у администрации! Приму в дар БД с контактами, ФИО, адресами по СНГ/РФ. Интересуют: Современные ГИБДД, банки, блэклисты банков, телефоны, спецучет и т. п.