Базы данных Cronos -АРХИВ

[memnos]

Приведение в порядок поля "телефон" в почте россии заняло 50 часов непрерывной работы...

Что то многовато времени потрачено. Наверное вручную . Это ж 6 полных рабочих дней.
Но проблемы с файлом имеются. Есть лишние переводы строк. Есть смещение полей. Например, 225 строк содержат лишние поля, в частности разбиение на отдельные поля фамильно-именной группы, из-за чего телефоны "уезжают".
Анализ представления телефонов с помощью выходных форм и формул длится не более 10 минут. Чуть более длится коррекция телефонов с помощью формул. Но не часы, тем более десятки.

ну скобки, тире и пробелы удобно коррекцией убирать. Это понятно. А вот лишние цифры - уже время надо. Выше написал.

[btrwz]

...
по-сырому так делал:
IF LEN(PT15)=0 THEN GOTO W;
IF LEN(PT15)=10 THEN GOTO Y;
IF LEN(PT15)=11 THEN GOTO X;
IF LEN(PT15)=15 THEN GOTO A;
PT75:="не 11 не 15";
GOTO W;
...

Приветствую.
Такой скорости не должно быть. Либо Кронос работает криво, либо оператор GOTO слишком медленный (а это очень может быть!). Ну не на третьем пне делали же?
Проще избавится от оператора перехода и усложнить условный оператор, что-то вроде (к примеру):
@A=AV6 //Поле с телефоном.
@B:=""
IF (LEN(@A)=12) & (SUBSTR(@A,1,1)="+") THEN @B:=SUBSTR(@A,2,11)

IF (LEN(@A)=11) & (SUBSTR(@A,1,2)="89") THEN @B:=CONCAT("79",SUBSTR(@A,3,9))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8495") THEN @B:=CONCAT("7495",SUBSTR(@A,5,7))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8499") THEN @B:=CONCAT("7499",SUBSTR(@A,5,7))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8496") THEN @B:=CONCAT("7496",SUBSTR(@A,5,7))
IF (LEN(@A)=11) & (SUBSTR(@A,1,4)="8812") THEN @B:=CONCAT("7812",SUBSTR(@A,5,7))

IF (LEN(@A)=10) & (SUBSTR(@A,1,1)="9") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="495") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="499") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="496") THEN @B:=CONCAT("7",@A)
IF (LEN(@A)=10) & (SUBSTR(@A,1,3)="812") THEN @B:=CONCAT("7",@A)

IF @B="" THEN @B:=AV6
AV6:=@B
Данный вариант на не "боевом" банке дал около 2,5-3 тыс. операций в секунду.

[memnos]

СДЭК лайт 2022
##############################################################
Наименование банка:СДЭК лайт 2022
Формат: Cro 5
Размер банка: 909`565 Kb
Общее количество записей в банке: 8`772`905

► Показать

База :CDEK
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|телефон|Т|255|||
2|Клиент|Т|255|||
3|@Email|Т|255|||

==========================

 Скрытый текст. Для просмотра нужно [Local Link Removed for Guests]

[Volchara46]

СДЭК лайт 2022
##############################################################
Наименование банка:СДЭК лайт 2022
Формат: Cro 5
==========================[/spoil]
Скрытый текст

В данной версии вырезано большое количество телефонов, которые есть в полной базе...
Не вижу смысла в данном варианте базы! (мое личное мнение!)

[barabas66]

Работа 5ka.ru 2021, полный конверт в кронос.
В моём конверте, в отличие от здесь выкладывавшихся, из дампа postgreSQL извлечены и помещены в поле resume файлы вложений.
Это файлы резюме соискателей в форматах doc\docx\pdf, зачастую содержащие фото и другую доп. информацию.
Вложений немного, всего 707, но тем не менее.
Также в банк извлечена небольшая табличка с админ. персоналом пятёрочки.

► Показать

##############################################################
Тип банка: Cronos
Размер банка: 215`668 Kb
Общее количество записей в банке: 177`891

База :vacancy_responses
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|name|Т|202|||
2|city_name|Т|24|||
3|birthdate|Д||||
4|nationality|Т|22|||
5|phone|Т|13|||
6|want_type_name|Т|19|||
7|want_position|Т|32|||
8|is_employee|Т|5|||
9|created_at|Д||||
10|region_name|Т|42|||
12|email|Т||||
13|ready_to_travel|Т||||
15|resume|Ф||||

==========================

База :adm_personal.csv
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|name|Т|197|||
2|email|Т|26|||
3|password|Т|60|||
4|created_at|Д||||
5|updated_at|Д||||
6|role|Т|35|||

==========================

проиндексированы поля: name, city_name, birthdate, phone, region_name, email.

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

Если есть возможность, работайте с данным банком в 6-ом кроносе, т.к. пятый кронос довольно капризно относится к полям с вложениями, и иногда сыпется ни с того ни с сего.

[slope]

Спойлер

Размер банка: 2`015`075 Kb
Общее количество записей в банке: 7`530`027
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|Системный номер|Ц|20|||
2|ROW_ID|Т|32|||
3|CREATED|Т|23|||
4|LAST_UPD|Т|23|||
5|PROGRAM_ID|Т|32|||
6|EMAIL|Т|29|||
7|NAME|Т|23|||
8|SEX|Т|4|||
9|SEGMENT_CODE|Т||||
10|MSISDN|Т|11|||
11|BERCUT_CONTACT_ID|Т|8|||
12|QR|Т|23|||
13|QR_CODE_LINK_TYPE|Т|5|||
14|CHANNEL|Т|5|||
15|BIRTHDAY|Т||||
16|SUBS_ID|Т|8|||
17|BRANCH|Т|2|||
18|EMAIL_ACTIVATION|Т|1|||
19|SMS_SENDING|Т|1|||
20|SC_SMS|Т|1|||
21|ADMIN|Т|1|||
22|EMAIL_CASHBACK|Т|1|||
23|T2_EMPL_ID|Т||||
24|REFERRER_ID|Т||||

==========================

[External Link Removed for Guests] пароль: BsA8ro

[Volchara46]

Спойлер

РФ-Теле-2. Участники программы лояльности. 06.2022 г (5`662`069)

Тип банка: Cronos
Адрес банка: R:\БАЗЫ ПОИСКА-07.2022 г\3. ТЕЛЕФОНЫ\РФ-Теле-2. Участники программы лояльности. 06.2022 г (5`662`069)\
Данные: Сжатые и зашифрованные
Индексы: Сжатые и зашифрованные
Размер банка: 493`527 Kb
Дата и время модификации: 08.08.2022 (21:35:22)
Общее количество записей в банке: 5`662`069
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|Телефон|Т|11|||
2|ФИО|Т|34|||

[External Link Removed for Guests]

Пароль: 1111

[barabas66]

Oriflame.ru 09-2021 5.5M, конверт в кронос.

► Показать

##############################################################
Тип банка: Cronos
Размер банка: 1`766`900 Kb
Общее количество записей в банке: 5`422`297

База :russiaoriflame
Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|NAME|Т|171|||
2|BIRTH_DATE|Т|65|||
3|TELEPHONES|Т|78|||
4|EMAILs|Т|45|||
5|ADDRESSES|Т|213|||
6|PASSPORT_NUMBER|Т||||
7|V_KONTAKTE_ID|Т||||
8|FACEBOOK_ID|Т||||

==========================

проиндексировал все поля.

Скрытый текст

Для просмотра скрытого текста необходимо быть авторизованным пользователем.

[PiMar]

Oriflame.ru 09-2021 5.5M, конверт в кронос.

Спасибо. Хорошая работа.
Постараюсь сконвертировать в более подходящую структуру. Адреса, Контактные данные (телефоны, emails, соц.сети...) Потому что встречаются по несколько телефонов и адресов и они объединены.

[Volchara46]

Убрал лишнее и оставил только поля интересые мне: ФИО, ДР, Email, Телефон
Построил индекс по полям Телефон и Email.

Спойлер

Тип банка: Cronos
Данные: Сжатые и зашифрованные
Индексы: Сжатые и зашифрованные
Размер банка: 195`821 Kb
Дата и время модификации: 09.08.2022 (13:33:01)
Общее количество записей в банке: 1`178`336

Состав полей базы
N поля| Название поля|Тип|Длина поля|Словарь|Статус|Связь с базами
0|Системный номер|Ц|10|||
1|Фамилия|Т|20|||
2|Имя, Отчество|Т|30|||
3|Дата рождения|Т|10|||
4|Email|Т|29|||
5|Телефон|Т|11|||

==========================

[External Link Removed for Guests]
Пароль: 1515