Прочие базы данных

ВСЕ СТАРЫЕ И ЗАКРЫТЫЕ ТЕМЫ

Модераторы: konkar, deicide

Закрыто
Аватара пользователя
memnos
профи
Сообщения: 109
Зарегистрирован: 06 июл 2022, 16:45
Благодарил (а): 133 раза
Поблагодарили: 547 раз

Re: Прочие базы данных

Сообщение memnos »

BK парсинг
 Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным :D .
Последний раз редактировалось memnos 22 авг 2022, 15:05, всего редактировалось 6 раз.
PiMar
местный
Сообщения: 47
Зарегистрирован: 21 июл 2022, 12:11
Благодарил (а): 1 раз
Поблагодарили: 27 раз

Re: Прочие базы данных

Сообщение PiMar »

Странно. В начале существования было vkontakte.ru. Потом vk.com.
vk.ru не левый ли сайт?
Если при заходе на vk.com осуществляется переход на личную страничку по IP или MAC адресу, то на vk.ru этого не происходит.
Аватара пользователя
xaoxh
Сообщения: 9
Зарегистрирован: 01 дек 2021, 19:12
Благодарил (а): 67 раз
Поблагодарили: 22 раза

Re: Прочие базы данных

Сообщение xaoxh »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 13:10 BK парсинг
Скрытый текст
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным :D .
Это парсинг через VK Pay.
barabas66
профи
Сообщения: 106
Зарегистрирован: 26 янв 2022, 11:29
Благодарил (а): 100 раз
Поблагодарили: 422 раза

про json, oriflame и т.д.

Сообщение barabas66 »

так, для информации и общего понимания.
в исходнике орифлейма, json-файле, было 196 блоков адресов, каждый из которых представлен 9-ю полями: addresses.nnn.area, addresses.nnn.province, addresses.nnn.locality, addresses.nnn.country, addresses.nnn.zipcode, addresses.nnn.city, ну и так далее.
Т. е. только на одни адреса приходилось 196x9=1764 поля. На телефоны приходилось 25 полей, и т.п. Вот скрины первичной(предварительной) выгрузки из json-файла oriflame:
[External Link Removed for Guests]
[External Link Removed for Guests]
Обратите внимание на число выгружаемых полей - 1807.
В моём конверте в кронос базы oriflame все 196 адресных полей сведены в одно поле addresses(через запятую и с удалением дублей, разумеется), все 25 телефонных полей сведены в одно поле telephones, и т.д.
Вообще, работа с большими json файлами для последующей их выгрузки в csv, cronos или ещё куда - задача не всегда тривиальная и требует определённых знаний, навыков, опыта и соответствующего инструментария.
Аватара пользователя
https2
профи
Сообщения: 181
Зарегистрирован: 15 дек 2021, 19:44
Благодарил (а): 665 раз
Поблагодарили: 332 раза

Re: ЕДС Липецкой области

Сообщение https2 »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 00:37 Единая диспетчерская служба Липецкой области
Формат базы: json
Состав полей: дата, ФИО, приоритет, телефоны автора обращения, адрес проживания, координаты, тексты обращения и ответа
Уникальных номеров около 190 тысяч, не приведены к единому формату
[External Link Removed for Guests]
без пароля
Архив какойто непонятный, открыли коллеги?
PiMar
местный
Сообщения: 47
Зарегистрирован: 21 июл 2022, 12:11
Благодарил (а): 1 раз
Поблагодарили: 27 раз

Re: про json, oriflame и т.д.

Сообщение PiMar »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 17:26 ...в исходнике орифлейма, json-файле, было 196 блоков адресов, каждый из которых представлен 9-ю полями: addresses.nnn.area, addresses.nnn.province, addresses.nnn.locality, addresses.nnn.country, addresses.nnn.zipcode, addresses.nnn.city, ну и так далее...
У меня получалось немного меньше:
Спойлер
 Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]
Всего 96 полей, включая поля в блоках Адреса и Телефоны. Блок Адрес - 22 поля, блок Телефоны - 7 полей. Каждый из блоков может содержать неограниченное количество значений, но количество полей вроде стабильно.
Хотя такая картина как изменение количества полей может наблюдаться. Т.е. начинают работать с одним количеством, потом смотрят чего то не хватает, добавляют поля, потом могут опять удалить.
Аватара пользователя
Sabch
профи
Сообщения: 50
Зарегистрирован: 12 дек 2021, 12:34
Благодарил (а): 161 раз
Поблагодарили: 257 раз

Re: ЕДС Липецкой области

Сообщение Sabch »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 18:30
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 00:37 Единая диспетчерская служба Липецкой области
Формат базы: json
Состав полей: дата, ФИО, приоритет, телефоны автора обращения, адрес проживания, координаты, тексты обращения и ответа
Уникальных номеров около 190 тысяч, не приведены к единому формату
[External Link Removed for Guests]
без пароля
Архив какойто непонятный, открыли коллеги?
Перегон файла формата json ЕДС Липецкой области в текстовый файл
[External Link Removed for Guests]
Tolyan
Сообщения: 8
Зарегистрирован: 15 июн 2022, 08:10
Благодарил (а): 22 раза
Поблагодарили: 18 раз

Re: Прочие базы данных

Сообщение Tolyan »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]20 авг 2022, 02:26
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]29 июл 2022, 05:29 [External Link Removed for Guests]
Архив содержит 4 json-файла
Данные : ФИО, номер телефона, ИНН

Количество строк в файлах:
privat_people.json 21066695
privat_people_phone.json 36701301
privat_phone.json 40134498
privat_passport.json 20873108

Добрый день!
Можно обновить ссылку? Заранее Спасибо!
[External Link Removed for Guests]
Аватара пользователя
ttm
профи
Сообщения: 140
Зарегистрирован: 09 июн 2022, 12:24
Благодарил (а): 435 раз
Поблагодарили: 218 раз

Re: ЕДС Липецкой области

Сообщение ttm »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 21:31 Перегон файла формата json ЕДС Липецкой области в текстовый файл
А в чем собственно перегон? Как был json так и остался.
Аватара пользователя
Burg0mister
профи
Сообщения: 326
Зарегистрирован: 19 июл 2022, 17:07
Благодарил (а): 1794 раза
Поблагодарили: 697 раз

Re: Прочие базы данных

Сообщение Burg0mister »

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 13:10 BK парсинг
Скрытый текст
VK.com или VK.ru науке не известно. Если владелец будет проплывать мимо - просьба не кусаться, а разъяснить нам, ракообразным :D .
Видел эту раздачу в тележке. Они там у себя на канале хотят собрать 10000 лайков и после этого обещают сделать файл уже на 100 миллионов. Имена из файла пробиваются и похоже не обман. Жаль конечно, что ID не включены в список.
[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]22 авг 2022, 15:11 Это парсинг через VK Pay.
Похоже что так. Этим может и обусловлены их сложности с указанием ID.
Спойлер
Если на раздачи ставлю личный пароль - делюсь им безвозмездно, так же он есть и у администрации! Приму в дар БД с контактами, ФИО, адресами по СНГ/РФ. Интересуют: Современные ГИБДД, банки, блэклисты банков, телефоны, спецучет и т. п.
Закрыто