возрожденное сообщество

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 06:59 Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1 ( emeditor на половине умер )
[External Link Removed for Guests]

[External Link Removed for Guests]
Закидываешь файлы в input
забираешь output
жмакаешь TrueSort.exe и включаешь галку turbo on
проблема тоже такая было 25 тыс файлов
но никто не справился, а она смогла
если нет кучи кодировок выдаст норм результат,
также удаляет дубли

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 07:16

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 06:59 Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1 ( emeditor на половине умер )
[External Link Removed for Guests]

1. распаковать все файлы в 1 папку
2. если на винде, то создать файл типа 1.bat в той же папке, внутрь засунуть следующий код

Код: [Local Link Removed for Guests]

@for /r %%i in (*.) do cls&@type "%%i">>merge.lst&@%ComSpec% /q/c @echo.>>merge.lst

А не быстрее будет так:
copy *.csv all.csv
В all.csv будут скопированы все файлы в данной папке с расширением .csv .

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 10:04 Скрытый текст

после удаления дублей,остаётся 6120 строк

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 06:59 Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1 ( emeditor на половине умер )
[External Link Removed for Guests]

emeditor умирает от нехватки ресурсов ПК, попробуй на более хорошем железе. все проги зависят от ресурсов ПК. Или как вариант собирать меньшим пакетом файлов и потом их соединять

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 13:51

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 06:59 Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1 ( emeditor на половине умер )
[External Link Removed for Guests]

emeditor умирает от нехватки ресурсов ПК, попробуй на более хорошем железе. все проги зависят от ресурсов ПК. Или как вариант собирать меньшим пакетом файлов и потом их соединять

Можно кодом считывать построчно каждый файл и записывать всё в один. Метод рабочий, только я так обычно разбиваю очень большие файлы для удобства обработки.

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 06:59 Всем привет, подскажите, чем можно собрать такое кол-во файлов в 1

imho, единственно правильным способом будет предложенный SDFnik

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 10:54 copy *.csv all.csv

все прочие могут привести к появлению в результирующем файле нечитаемых символов или ? в строках

другой вопрос, что полученный файл будет грузить ресурсы при чтении и обработке, данные стоит разбить на части, если не по регионам, то по хотя бы по размеру

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]13 сен 2024, 10:04 [External Link Removed for Guests]

[External Link Removed for Guests]

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]15 сен 2024, 08:28

Офтопик

[Local Link Removed for Guests] писал(а): [Local Link Removed for Guests]14 сен 2024, 13:41 единственно правильным способом будет

научиться пользоваться линуксом, где есть простые cat, cut, sed и awk которые закрывают любые вопросы с обработкой текстовых данных любого размера

Я под виндой cygwin использую. Очень удобно