Прочие базы данных

[Boris00]

Доброго всем!
Существует 3 варианта "ОК"
1) 5.000.000 строк
2) 17.272 строки (телефоны норм, но emailы частично закрыты "*")
3) 1.322.993 строки
Кто в курсе различий кроме количества строк???

Да вроде как нет никаких различий, это все один и тот-же человек парсил и в чат сливал

В какой чат? Остались ссылки на файлы?

Доброго!
Ссылки??? - Интернет помнит всё!!!
[External Link Removed for Guests]
Рекомендованный
Вопрос кто возьмётся (у самого со временем беда) привести в божеский вид соединив все три файла???

[deicide]

Парсинг одноклассников, 2024 год.
Может кто привести в кронос, но вытащив фото по ссылкам и вставив в базу?

Вытащить фото и засунуть в кроносе не проблема. Надо ли? Раздует базу в разы.
Приблизительно 100 тысяч фото это где то 7 гиг, на лям фото база будет гиг так 70.

[Swapper]

Да вроде как нет никаких различий, это все один и тот-же человек парсил и в чат сливал

В какой чат? Остались ссылки на файлы?

Доброго!
Ссылки??? - Интернет помнит всё!!!
[External Link Removed for Guests]
Рекомендованный
Вопрос кто возьмётся (у самого со временем беда) привести в божеский вид соединив все три файла???

1. Ваши файлы не смотрел, но если говорить о базах на 5 млн и 1,3 млн, то файл из 1,3 млн это вырезка из файла на 5 млн. Поэтому объединять ничего не нужно - вариант на 5 млн будет включать в себя вариант на 1,3 млн.
2. По поводу фоток, есть опыт работы с бд с фотками в кроносе - не рекомендую, куда лучше сохранять с правильными именами фотки, а в кроносе просто давать ссылку (можно даже в текстовом формате) на соответствующий файл. Для сравнения, фотки примерно 5 млн профилей соцсетей могут выжрать до 1 Тб (в оригинальном качестве), держать такое в кроносе - так себе затея.
3. Для того, кто будет парсить ОК по ссылках на профиля из 5 млн базы дам бесплатный совет по повышению продуктивности
есть ссылки вида
а) [External Link Removed for Guests]....
б) [External Link Removed for Guests]...
ссылки "а" будут отдавать при открытии фото и их можно сохранять под удобным вам именем, ссылки "б" это ссылки на профиль в ОК, как правило (в 97+% случаев эти профиля без фото), поэтому их можно и не парсить.
В любом случае, места под это лучше резервировать не меньше 1 Тб.
Знаю, что на руках есть парс куда большего количества ОК с ру номерами (30+ млн).
А особо интересует метод парсинга, если кто-то готов поделиться в личку - был бы благодарен.

[AKPM]

Парсинг одноклассников, 2024 год.
Может кто привести в кронос, но вытащив фото по ссылкам и вставив в базу?

Вытащить фото и засунуть в кроносе не проблема. Надо ли? Раздует базу в разы.
Приблизительно 100 тысяч фото это где то 7 гиг, на лям фото база будет гиг так 70.

100 тысяч фото уже 13,1ГБ на диске )))... поставил на закачку все фото посмотрю))) опять же ужму до 300х300 или 200х200 в половину легче станет

[deicide]

100 тысяч фото уже 13,1ГБ на диске )))... поставил на закачку все фото посмотрю))) опять же ужму до 300х300 или 200х200 в половину легче станет

Там много фот, где не морда лица (машины, мотоциклы, животные), вычещать гемморно.
Где нет фото, там серая картинка, их тоже полно.

[AKPM]

100 тысяч фото уже 13,1ГБ на диске )))... поставил на закачку все фото посмотрю))) опять же ужму до 300х300 или 200х200 в половину легче станет

Там много фот, где не морда лица (машины, мотоциклы, животные), вычещать гемморно.
Где нет фото, там серая картинка, их тоже полно.

Ты прав, затея так себе

[striker_max01]

Сеть сайтов ООО «Спорт-Юнити» (11.2024)
Утечка затронула четыре сайта компании, общая численность которых превышает 500 000 пользователей самокатов и другой спортивной продукции.
Наполнение: ID, Логин, ФИО, Электронная почта, Адрес доставки

Медкруг (09.2024)
Интернет магазин косметики
16к клиентов.
Наполнение: ФИО, почта, телефон

Страховая финист (05.2024)
15к клиентов
Данные: фио, почта, телефон, место работы, должность

Sotovik (09.2024)
Сайт продает айфоны
26к килентов
Данные: фио, почта, телефон, адрес доставки

+ еще несколько подобных сайтов

[External Link Removed for Guests]

И еще бэкап SQL-баз c названием ZUP19 и BKHL, общим размером 40 ГБ, сайта Континентальной хоккейной лиги ([External Link Removed for Guests]) был выложен в открытый доступ.
[External Link Removed for Guests]

Вообщем по полной программе все утекает.

[Burg0mister]

Парсинг одноклассников, 2024 год.
Может кто привести в кронос, но вытащив фото по ссылкам и вставив в базу?

Вытащить фото и засунуть в кроносе не проблема. Надо ли? Раздует базу в разы.
Приблизительно 100 тысяч фото это где то 7 гиг, на лям фото база будет гиг так 70.

100 тысяч фото уже 13,1ГБ на диске )))... поставил на закачку все фото посмотрю))) опять же ужму до 300х300 или 200х200 в половину легче станет

Там много фот, где не морда лица (машины, мотоциклы, животные), вычещать гемморно.
Где нет фото, там серая картинка, их тоже полно.

Приветствую!
Сами фото парсить есть смысл, потому что мы не знаем когда утратим к ним доступ. Еще в момент проверки наша активность детектится и некая третья сторона или хозяин сервера будет знать что мы смотрели фото определенного человека. Если мы будем смотреть в своей базе никто об этом не узнает.
Как подмечено выше, там часть фото принадлежит котам, персонажам аниме, трансформерам в виде машин и разным квадроберам. Вот если бы как-то этот хлам отсеять было бы гораздо лучше. С другой стороны некоторые изображения редкие и по ним можно найти другие аккаунты.

Вот если бы кто-то придумал и написал собственную систему поиска по лицам, тогда бы такая база с отдельно хранящимися фотографиями имела бы гораздо больше пользы. Осталось лишь придумать как проименовать фотографии в соответствии с ИД в текстовой базе с прочими данными, и самая маласть еще написать систему распознавания и сравнения лиц. Работы на пять секунд, думаю рублей за 200 любой студент справится

З Ы
Несколько недель ранее видел на одном из каналов в телеграме объявление о продаже всего кода {видимо и поисковой системы тоже} и базы с фотографиями одного известного сервиса сравнения лиц. Цена была тысяч 500 по моему. Деньги еще ладно, но под такую базу нужно флешку размером терабайт в 50, такая и не в каждый карман поместится.

И еще бэкап SQL-баз c названием ZUP19 и BKHL, общим размером 40 ГБ, сайта Континентальной хоккейной лиги ([External Link Removed for Guests]) был выложен в открытый доступ.
[External Link Removed for Guests]

Кто нибудь достал этот некрономикон из диаволического бэкапа в нормальный SQL или текст?

[sergeiii]

HH 2022 поиск работы
поля:Телефон|ФИО|Дата рождения|Возраст|Профессия|Зарплата|Образование|Языки|Email|Пол|Город|Метро|Водительские права|Дата резюме

-строк 3.381.189
-"почистил,подравлял,причесал"
-формат CSV, разделитель |
-p.s. если сопоставить столбцы Дата рождения и Возраст, то получается не 2022 год, 2019-2020

[External Link Removed for Guests]
пасс-рекомендованный

[Чашечка_Кофе]

HH 2022 поиск работы
поля:Телефон|ФИО|Дата рождения|Возраст|Профессия|Зарплата|Образование|Языки|Email|Пол|Город|Метро|Водительские права|Дата резюме

-строк 3.381.189
-"почистил,подравлял,причесал"
-формат CSV, разделитель |
-p.s. если сопоставить столбцы Дата рождения и Возраст, то получается не 2022 год, 2019-2020

[External Link Removed for Guests]
пасс-рекомендованный

Вообще никого не нашел по своему региону, кто публиковал резюме с 2021 по 2022 год, думаю что это действительно +-19-20год, а вообще возможно еще, что это дополнение к базе 2018 года, т.е просто продолжение какое-то
Ну уж точно не 2022