Страница 27 из 96
Re: Прочие базы данных
Добавлено: 22 авг 2022, 13:10
memnos
BK парсинг
Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным

.
Re: Прочие базы данных
Добавлено: 22 авг 2022, 14:24
PiMar
Странно. В начале существования было vkontakte.ru. Потом vk.com.
vk.ru не левый ли сайт?
Если при заходе на vk.com осуществляется переход на личную страничку по IP или MAC адресу, то на vk.ru этого не происходит.
Re: Прочие базы данных
Добавлено: 22 авг 2022, 15:11
xaoxh
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 13:10
BK парсинг
Скрытый текст
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным

.
Это парсинг через VK Pay.
про json, oriflame и т.д.
Добавлено: 22 авг 2022, 17:26
barabas66
так, для информации и общего понимания.
в исходнике орифлейма, json-файле, было 196 блоков адресов, каждый из которых представлен 9-ю полями: addresses.nnn.area, addresses.nnn.province, addresses.nnn.locality, addresses.nnn.country, addresses.nnn.zipcode, addresses.nnn.city, ну и так далее.
Т. е. только на одни адреса приходилось 196x9=1764 поля. На телефоны приходилось 25 полей, и т.п. Вот скрины первичной(предварительной) выгрузки из json-файла oriflame:
[External Link Removed for Guests]
[External Link Removed for Guests]
Обратите внимание на число выгружаемых полей - 1807.
В моём конверте в кронос базы oriflame все 196 адресных полей сведены в одно поле addresses(через запятую и с удалением дублей, разумеется), все 25 телефонных полей сведены в одно поле telephones, и т.д.
Вообще, работа с большими json файлами для последующей их выгрузки в csv, cronos или ещё куда - задача не всегда тривиальная и требует определённых знаний, навыков, опыта и соответствующего инструментария.
Re: ЕДС Липецкой области
Добавлено: 22 авг 2022, 18:30
https2
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 00:37
Единая диспетчерская служба Липецкой области
Формат базы: json
Состав полей: дата, ФИО, приоритет, телефоны автора обращения, адрес проживания, координаты, тексты обращения и ответа
Уникальных номеров около 190 тысяч, не приведены к единому формату
[External Link Removed for Guests]
без пароля
Архив какойто непонятный, открыли коллеги?
Re: про json, oriflame и т.д.
Добавлено: 22 авг 2022, 20:22
PiMar
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 17:26
...в исходнике орифлейма, json-файле, было 196 блоков адресов, каждый из которых представлен 9-ю полями: addresses.nnn.area, addresses.nnn.province, addresses.nnn.locality, addresses.nnn.country, addresses.nnn.zipcode, addresses.nnn.city, ну и так далее...
У меня получалось немного меньше:
Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
Всего 96 полей, включая поля в блоках Адреса и Телефоны. Блок Адрес - 22 поля, блок Телефоны - 7 полей. Каждый из блоков может содержать неограниченное количество значений, но количество полей вроде стабильно.
Хотя такая картина как изменение количества полей может наблюдаться. Т.е. начинают работать с одним количеством, потом смотрят чего то не хватает, добавляют поля, потом могут опять удалить.
Re: ЕДС Липецкой области
Добавлено: 22 авг 2022, 21:31
Sabch
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 18:30
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 00:37
Единая диспетчерская служба Липецкой области
Формат базы: json
Состав полей: дата, ФИО, приоритет, телефоны автора обращения, адрес проживания, координаты, тексты обращения и ответа
Уникальных номеров около 190 тысяч, не приведены к единому формату
[External Link Removed for Guests]
без пароля
Архив какойто непонятный, открыли коллеги?
Перегон файла формата json ЕДС Липецкой области в текстовый файл
[External Link Removed for Guests]
Re: Прочие базы данных
Добавлено: 22 авг 2022, 22:01
Tolyan
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]20 авг 2022, 02:26
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2022, 05:29
[External Link Removed for Guests]
Архив содержит 4 json-файла
Данные : ФИО, номер телефона, ИНН
Количество строк в файлах:
privat_people.json 21066695
privat_people_phone.json 36701301
privat_phone.json 40134498
privat_passport.json 20873108
Добрый день!
Можно обновить ссылку? Заранее Спасибо!
[External Link Removed for Guests]
Re: ЕДС Липецкой области
Добавлено: 23 авг 2022, 07:30
ttm
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 21:31
Перегон файла формата json ЕДС Липецкой области в текстовый файл
А в чем собственно перегон? Как был json так и остался.
Re: Прочие базы данных
Добавлено: 23 авг 2022, 09:00
Burg0mister
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 13:10
BK парсинг
Скрытый текст
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным

.
Видел эту раздачу в тележке. Они там у себя на канале хотят собрать 10000 лайков и после этого обещают сделать файл уже на 100 миллионов. Имена из файла пробиваются и похоже не обман. Жаль конечно, что ID не включены в список.
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 15:11
Это парсинг через VK Pay.
Похоже что так. Этим может и обусловлены их сложности с указанием ID.