Базы данных в SQL

[sandro123]

давайте попробуем
конверты данных в SQL постим здесь

[stdrom]

Предлагаю (по возможности) выкладывать базы тремя файлами чтобы просто заливать в папку, в формате MyIsam под MySQL 5.7 - его должны переваривать разные версии MySQL и MariaDB. Темы оформлять как в разделе с базами Cronos указывая количество строк, поля и прочую информацию.

[stdrom]

ПриватБанк 2014 (Украина)
Формат: MySQL 5.7 (MyISAM файлы)
Строк: 18 524 219
Уникальных телефонов: 18 213 452
Размер: 941.8 МБ (322.3 МБ архив)

Поля:

► Показать

ИНН (ДРФО)
Фамилия
Имя
Отчество
Дата рождения
Пол
Телефон

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

Просто распакуйте файлы в папку и запустите базу без импорта. Есть больше телефонов по ПриватБанку, но в другой базе. Возможно выложу позже, или обменяю на RU базы. Есть много других баз, если тема взлетит буду потихоньку выкладывать и меняться в личке.

[stdrom]

По предыдущему посту - ИНН были прочеканы на предмет соответствия контрольной сумме (и кажется дате рождения), не валидные строки были удалены. Изначальный размер базы был около 21М с юриками, невалидом, пустыми телефонами.

Срок правки предыдущего поста кончился, а упомянуть такую информацию забыл.

[sandro123]

ПриватБанк 2014 (Украина)
Формат: MySQL 5.7 (MyISAM файлы)
Строк: 18 524 219
Уникальных телефонов: 18 213 452
Размер: 941.8 МБ (322.3 МБ архив)

Поля:

► Показать

ИНН (ДРФО)
Фамилия
Имя
Отчество
Дата рождения
Пол
Телефон

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

Просто распакуйте файлы в папку и запустите базу без импорта. Есть больше телефонов по ПриватБанку, но в другой базе. Возможно выложу позже, или обменяю на RU базы. Есть много других баз, если тема взлетит буду потихоньку выкладывать и меняться в личке.

доброго дня, возник вопрос, получается помимо базы еще скрипт писать надо под запрос из базы?

[stdrom]

доброго дня, возник вопрос, получается помимо базы еще скрипт писать надо под запрос из базы?

Вопроса не понял. Если про поиск в базе то просто берешь любую оболочку (в них не силен), или на сервере (web, локальном) запускаешь обычно установленный уже по дефолту PhpMyAdmin и там и там окна запросов по полям примерно как в Cronos. Единственное что я без индексов для облегчения веса залил, там можно поставить индексы где именно тебе нужно - ИНН/дата рождения/фамилия, короче по каким полям именно ты ищешь. Мне кажется с тем же PhpMyAdmin новичку разобраться легче чем с Cronos.

[stdrom]

Краткая инструкция по работе с MySQL базами MyISAM (содержит 3 файла с одинаковым именем, но с разными расширениями - . frm, . MYI и . MYD), это по сути таблица, в каждой отдельной базе может быть много таблиц. Базы сами групируете по каким принципам хотите - банки, магазины, авто и т.п.

Если оболочка типа всяких "SQL manager" там просто как в Кроносе выбираете папку с базой и юзаете поля поиска

На сервере (веб/локальном):

► Показать

1. [шаг не нужен если база есть] Заходите на своем сервере через браузер в PhpMyAdmin или аналог (обычно стоят по дефолту) и содаете новую базу, только имя остальное пофиг. Создается папка на сервере.

2. Гуглите где именно в вашей системе мускуль хранит базы, идете туда и выбираете папку с версией мускуля которую юзаете, например *:\OpenServer\userdata\MySQL-5.7 (рекомендую обычным юзерам 5.7 версию, 8.* ее понимает, а вот обратно уже проблемы)

3. Выбираете папку с названием нужной базы, заливаете туда 3 файла таблицы. Можно поменять имя файлов, все три до расширения, например private2014.* и у вас появиться база с таким именем (обовите окно с PhpMyAdmin, иногда может потребоваться перезагрузка сервера), потом имя можно поменять прямо в PhpMyAdmin. Не лейте базу в системные папки mysql и performance_schema, юзайте имена файлов с символами A-Za-z0-9_, за остальные не отвечаю, зависит от вашей системы!

4. Выбираете залитую таблицу в базе, идете во вкладку Поиск PhpMyAdmin и юзаете примерно как Кронос. Чтобы работало шустрее на больших базах во вкладке Структура можно повесить индексы на нужные поля. Можно юзать SQL запросами, они не такие уж сложные + писать вам их сможет ChatGPT.

Все это должно работать в MySQL и MariaDB но только с типом таблицы MyISAM, если база в формате InnoDB то там уже через экспорт/импорт (на больших таблицах порой долго и нудно). В одной базе могут содержаться и MyISAM и InnoDB таблицы.

[h0b4]

Хотел бы перекатиться в вашу схему с работой в sql.
У меня часть баз (в тхт, csv, sql) из-за ограниченного места на диске пожата в zst (сейчас долгий поиск грепом по zst).

Вопросы:
1. Нужно ли все распаковать или она понимает архивы в zst?
2. Нужно ли все перевести в sql?
3. Сжимает ли ваша схема для экономии места?
4. Создает ли дополнительный объем ваша схема (индексация содержимого или прочего)? Если да, то условно примерно сколько дополнительно прибавляется к одному sql файлу весом 10гб или 1гб ?

Пардонте за нубские вопросы

[sandro123]

Хотел бы перекатиться в вашу схему с работой в sql.
У меня часть баз (в тхт, csv, sql) из-за ограниченного места на диске пожата в zst (сейчас долгий поиск грепом по zst).

Вопросы:
1. Нужно ли все распаковать или она понимает архивы в zst?
2. Нужно ли все перевести в sql?
3. Сжимает ли ваша схема для экономии места?
4. Создает ли дополнительный объем ваша схема (индексация содержимого или прочего)? Если да, то условно примерно сколько дополнительно прибавляется к одному sql файлу весом 10гб или 1гб ?

Пардонте за нубские вопросы

тема и правда интересная, есть ряд плюсов, и минусов. вот тоже простой вопрос "нубский" например есть 5 баз sql, как осуществить глобальный поиск по ним? или одну здоровенную базу создавать? сижу вроде как бы удобно в sql, а без наличия интернета, на флешке кронос с базами портативнее.

[stdrom]

тема и правда интересная, есть ряд плюсов, и минусов. вот тоже простой вопрос "нубский" например есть 5 баз sql, как осуществить глобальный поиск по ним? или одну здоровенную базу создавать? сижу вроде как бы удобно в sql, а без наличия интернета, на флешке кронос с базами портативнее.

Мускуль (тот же OpenServer) + базы ставяться на флешку и запускаются и без инета. При этом по ощущениям правильные базы в мускуле раза в 3 меньше весят аналогичных Кроноса (ощущение потому как закладываюсь на индексы и прочее).

Про поиск по 5 базам - ну так есть JOIN всякие запросы (можно научится, или просить составлять ChatGPT, он неплохо справляется), или написать простенькую веб морду, или бота в телеге. Кроме того стоит сводить в одну базу например 50 баз примерно одинаковых по полям некрупных, по 1-2 ляма так. По ощущениям база строк до 50М на офисном ноутбуке, или самом слабом VPS (рублей за 200-300 в месяц) вполне себе летает с правильными индексами. Секунда-другая запрос более менее стандартный, например поиск по ДР+ФИО.

ИМХО, в мускуле еще быстрее и удобнее редактировать базы, кажется на этом форуме читал что типа почистить телефоны только до цифр и привести к формату 7*** занимало у людей несколько часов 30-50М строк, на офисном ноуте и при нормальном подходе мускуль это минут 10 делал. Кроме того ряд сливов идет sql дампами, как бы неплохо уметь с ними работать, а не ждать конвертов Кронос. Вот я в Кроносе не работаю но приходится на минималках знать (как минимум открыть/экспортировать в csv)