Базы данных Cronos ч.2 -АРХИВ

[лёва]

"Сообщение Olkaddott » 16 окт 2022, 20:49
Пользователи diia.gov.ua - укр. госуслуги.
строк 2,543,584
Чищенная версия. Оставил поля мыло, имя, инн, паспорт, адрес, др, тел."

Загнал в Кронос файл предоставленный Olkaddott, за что спасибо.
Для того чтобы не читались ФИО кракозябрами поменял некоторые букофки на кириллицу.

Наименование банка: UA_diia.gov.ua_users 01.2022

Тип банка: Cronos
Размер банка: 656`746 Kb
Дата и время модификации: 21.10.2022 (11:59:43)
Общее количество записей в банке: 2`543`541

База :diia.gov.ua_users 01.2022.csv
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|email|Т|268|||
2|name|Т|34|||
3|birthday|Т|10|||
4|phone|Т|12|||
5|gender|Т|6|||
6|ipn|Т|10|||
7|address|Т|97|||
8|passport_series|Т|2|||
9|passport_number|Т|6|||
10|passport_issue_date|Т|10|||
11|passport_issued_by|Т|64|||

==========================

Спойлер

Пасс - ник
[External Link Removed for Guests]

[Altron]

"Сообщение Olkaddott » 16 окт 2022, 20:49
Пользователи diia.gov.ua - укр. госуслуги.
строк 2,543,584
Чищенная версия. Оставил поля мыло, имя, инн, паспорт, адрес, др, тел."

Загнал в Кронос файл предоставленный Olkaddott, за что спасибо.
Для того чтобы не читались ФИО кракозябрами поменял некоторые букофки на кириллицу.
Наименование банка: UA_diia.gov.ua_users 01.2022

Немного переделал
1. Дата рождения в 2-х вариантах (в формате Дата и ДР из ДРФО)
2. Убрал пустышки (null в ФИО)
3. Построил индексы
4. Паспорт - серия+номер слитно

Спойлер

Данные: Сжатые
Индексы: Сжатые
Размер банка: 799`514 Kb
Дата и время модификации: 21.10.2022 (16:48:25)
Общее количество записей в банке: 2`502`851
Имя словарного банка:
Адрес словарного банка:

Список баз:
N|Название базы|Имя|Тип|Кол-во наборов|Поле кода|Кол-во записей
1|Украина: ГосУслуги - diia.gov.ua [2022.01]|DV|1|0||2502851

База :Украина: ГосУслуги - diia.gov.ua [2022.01]
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
1|ФИО-группа|Т|70||ИФ|
2|Дата_Рождения|Д||||
3|*Телефон|Т|12|||
4|*Адрес|Т|255|||
5|Паспорт|Т|15|||
6|Дата_Выдачи|Д||||
7|E-mail|Т|50|||
8|Пол|Т|6|||
9|ЕДРФО-ИНН|Т|10|||
10|passport_issue_date|Т|10|||
11|passport_issued_by|Т|64|||
13|birthday|Т|10|||
21|passport_series|Т|2|||
22|passport_number|Т|6|||
23|ДР из ЕДРФО|Д||||
0|Системный номер|Ц|10|||

[External Link Removed for Guests]

Рекомендованный пароль

[ostrow]

"Сообщение Olkaddott » 16 окт 2022, 20:49
Пользователи diia.gov.ua - укр. госуслуги.
строк 2,543,584
Чищенная версия. Оставил поля мыло, имя, инн, паспорт, адрес, др, тел."

Загнал в Кронос файл предоставленный Olkaddott, за что спасибо.
Для того чтобы не читались ФИО кракозябрами поменял некоторые букофки на кириллицу.
...
==========================

Спойлер

Пасс - ник
[External Link Removed for Guests]

Господа хорошие, это конечно радует, сделать базу читаемой, но поосторожней с украинскими ФИО - изменение буквы и это другой человек!
ИМХО. Желательно выкладывать две базы: с кракозябрам и без!
Уважаемый Altron, а Вы в своей базе ФИО правили?

[Altron]

"Сообщение Olkaddott » 16 окт 2022, 20:49
Пользователи diia.gov.ua - укр. госуслуги.
строк 2,543,584
Чищенная версия. Оставил поля мыло, имя, инн, паспорт, адрес, др, тел."

Загнал в Кронос файл предоставленный Olkaddott, за что спасибо.
Для того чтобы не читались ФИО кракозябрами поменял некоторые букофки на кириллицу.
...
==========================

Спойлер

Пасс - ник
[External Link Removed for Guests]

Господа хорошие, это конечно радует, сделать базу читаемой, но поосторожней с украинскими ФИО - изменение буквы и это другой человек!
ИМХО. Желательно выкладывать две базы: с кракозябрам и без!
Уважаемый Altron, а Вы в своей базе ФИО правили?

Исходник от лёва

[AKPM]

 Скрытый текст. Для просмотра нужно быть [Local Link Removed for Guests] и иметь сообщений: 3

[лёва]

"Сообщение Olkaddott » 16 окт 2022, 20:49
Пользователи diia.gov.ua - укр. госуслуги.
строк 2,543,584
Чищенная версия. Оставил поля мыло, имя, инн, паспорт, адрес, др, тел."

Загнал в Кронос файл предоставленный Olkaddott, за что спасибо.
Для того чтобы не читались ФИО кракозябрами поменял некоторые букофки на кириллицу.
...
==========================

Спойлер

Пасс - ник
[External Link Removed for Guests]

Господа хорошие, это конечно радует, сделать базу читаемой, но поосторожней с украинскими ФИО - изменение буквы и это другой человек!
ИМХО. Желательно выкладывать две базы: с кракозябрам и без!
Уважаемый Altron, а Вы в своей базе ФИО правили?

Исходник от лёва

Где лежит исходник в оригинале - указал кто выкладывал, ссылка живая. Поясните как в кроносе работать с текстовыми кракозябрами, как пользоваться поиском, т.к. от наличия не читаемой буквы не читаемым становится все слово целиком. И я все же менял буквы не абы на что, а на созвучные гласные в обоих языках.

[silenoz]

Господа хорошие, это конечно радует, сделать базу читаемой, но поосторожней с украинскими ФИО - изменение буквы и это другой человек!
ИМХО. Желательно выкладывать две базы: с кракозябрам и без!
Уважаемый Altron, а Вы в своей базе ФИО правили?

Исходник от лёва

Где лежит исходник в оригинале - указал кто выкладывал, ссылка живая. Поясните как в кроносе работать с текстовыми кракозябрами, как пользоваться поиском, т.к. от наличия не читаемой буквы не читаемым становится все слово целиком. И я все же менял буквы не абы на что, а на созвучные гласные в обоих языках.

Как в кроносе не знаю, но по моему опыту крокозябки у меня появлялись из за неправильной кодировки исходника. Например если файл с украинскими символами сохранить в привычных кодировках вроде windows 123 или coi8-r то появлялись кроказябки на местах например украинской i по этому исходники я сохранял в coi8-u и все кроказябки исчезали.

[лёва]

Наименование банка: ФССП ЮЛ 2022 09

Тип банка: Cronos
Размер банка: 2`555`796 Kb
Дата и время модификации: 24.10.2022 (10:54:19)
Общее количество записей в банке: 8`342`150

База :фссп юл 2022 09.txt
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
3|Должник ЮЛ|Т|73|||
4|Адрес должника ЮЛ|Т|129|||
5|Фактический адрес должника|Т|104|||
6|ИНН должника ЮЛ|Т|10|||
7|Взыскатель ЮЛ|Т|99|||
8|ИНН взыскателя ЮЛ|Т|10|||
10|Дата ИП|Д||||
12|Тип исполнительного документа|Ц|20|||
13|Номер исполнительного документа|Т|20|||
14|Дата исполнительного документа|Д||||
15|Требования исполнительного документа|Ц|20|||
16|ОСП|Ц|20|||
17|Предмет исполнения|Ц|20|||
18|Сумма долга|Ц|20|||
19|Остаток долга|Ц|20|||
20|Дата прекращения ИП|Д||||
21|Причина прекращения ИП|Ц|20|||

Исходник внутри

Спойлер

[External Link Removed for Guests]
пасс- ник

[ostrow]

Сконвертил в кронос пользователей diia.gov.ua (из январской утечки).

Спойлер

##############################################################
Тип банка: Cronos
Размер банка: 2`127`940 Kb
Общее количество записей в банке: 2`543`587
База :diia.gov.ua_users
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|email|Т|2993|||
3|first_name|Т|11|||
4|last_name|Т|15|||
5|middle_name|Т|16|||
6|birthday|Т|12|||
9|phone|Т|14|||
10|valid|Т|35|||
11|gender|Т|8|||
12|provider|Т|7|||
13|createdAt|Т|31|||
14|updatedAt|Т|31|||
15|ipn|Т|12|||
16|role|Т|12|||
17|useTwoFactorAuth|Т|7|||
18|edrpou|Т|12|||
19|isLegal|Т|7|||
20|companyName|Т|30|||
21|isIndividualEntrepreneur|Т|7|||
22|address|Т|99|||
24|userIdentificationType|Т|9|||
25|passport_series|Т|4|||
26|passport_number|Т|8|||
27|passport_issue_date|Т|12|||
28|passport_issued_by|Т|66|||
29|id_card_number|Т|11|||
30|id_card_issue_date|Т|12|||
31|id_card_issued_by|Т|6|||
32|onboardingTaskId|Т|38|||
33|needOnboarding|Т|7|||
34|addressStruct|Т|2517|||
35|isActive|Т|6|||
36|id_card_expiry_date|Т|12|||
37|is_private_house|Т|7|||
38|foreigners_document_series|Т|20|||
39|foreigners_document_number|Т|11|||
40|foreigners_document_issue_date|Т|12|||
41|foreigners_document_issued_by|Т|6|||
42|foreigners_document_expire_date|Т|12|||
43|foreigners_document_type|Т|4|||
==========================
Проиндексированы: email, first_name, last_name, middle_name, birthday, phone, address, passport_series, passport_number.

Странно, но уважаемый barabas66 при конвертации diia.gov.ua в Cronos никаких трудностей не испытывал!
Скачал "пользователи diia.gov.ua - укр. госуслуги." от уважаемого Olkaddott по первым ссылкам. Открыл в Excelе - і, ї,' наместе и читаемы. Да и Cronos эти буквы и знаки должен понимать.

[ttm]

Странно, но уважаемый barabas66 при конвертации diia.gov.ua в Cronos никаких трудностей не испытывал!
Скачал "пользователи diia.gov.ua - укр. госуслуги." от уважаемого Olkaddott по первым ссылкам. Открыл в Excelе - і, ї,' наместе и читаемы. Да и Cronos эти буквы и знаки должен понимать.

Исходник (по крайней мере тот, который у меня) изначально в cp1251 и в нем с буквами все в порядке. Если при обработке была промежуточная конвертация в utf8, в зависимости от конвертера, буквы с точкой могли быть преобразованы в двух символьные диакритические unicode знаки и при обратной конвертации в cp1251 могли поплыть (опять же от кривизны конвертера зависит). Мне так видится источник проблемы.