Программа DjVu Small Mod

[monday2000]

textsharik
Скачал последнюю версию. Довольно интересно (на вид; пробовать времени нет). Только, на мой взгляд, сложность использования программы значительно повысилась - по сравнению с оригиналом. И словарь я бы оставил на значении 10 - а не так, чтобы один словарь на всю книгу (этот вопрос давно коллективно обсуждался, сам Леон Боту рекомендует не более 10-20).

ИМХО пусть исследования профилей DjVu - бесперспективен. Т.е. попытки заставить автоматическую сегментацию работать "как положено" мне представляются нереальными - для массового использования. Тем более, что исходники documenttodjvu - закрыты.

Лучше развивать направление DjVu Imager, а DjVu Small понизить исключительно до роли инструмента кодирования передних субсканов - и всё.

Опять-таки - принципиальный порок всех коммерческих DjVu-кодировщиков - это закрытость их исходных кодов (и их несвободность). Обойтись без них - пока невозможно, а развивать - по-моему, бессмысленно. Правильнее наборот - свести их использование к минимуму.

[textsharik]

ИМХО пусть исследования профилей DjVu - бесперспективен. Т.е. попытки заставить автоматическую сегментацию работать "как положено" мне представляются нереальными - для массового использования.

Есть как минимум три ситуации, в которых авто-сегментер всегда будет востребован:
1) Для ленивых и криворуких людей, которым влом пользоваться программами типа кромсатора/тайлора. (И это очень массовый случай).
2) Для людей, имеющих доступ к автоматическому сканеру. Когда человек сканирует тысячи страниц в день, желание обходиться без авто-сегментера очень быстро пропадает. (Этот случай пока не массовый, но прогресс идёт в этом направлении).
3) Для рукописей, которые требуют чуть ли не посимвольной сегментации.

[yuree]

Есть как минимум три ситуации, в которых авто-сегментер всегда будет востребован:
1) Для ленивых и криворуких людей, которым влом пользоваться программами типа кромсатора/тайлора. (И это очень массовый случай).<...>

Т.е., если я Вас правильно понял то DjVu Small Mod с авто-сегментером способствует умножению криворуких DjVu книг и журналов?
Что тут сказать — "спасибо".

[textsharik]

Т.е., если я Вас правильно понял то DjVu Small Mod с авто-сегментером способствует умножению криворуких DjVu книг и журналов?

Нет, наоборот

Я встречаю в интернете огромное количество книг, сделанных чёрт знает как. Например JPEG'и низкого разрешения, собранные в PDF. Размер файла под сотню мегабайт, а буквы размыты так, что еле читаются. Или ещё хуже. Научный текст с диаграммами и таблицами, распознанный FineReader'ом, и сохранённый в TXT. Таблицы в нём выглядят так:
"Удельная медь железо
свинец теплоемкость %1;№: #@# O45&%^"
(Странные символы - это цифры так распознались из-за неровности строки)

Представьте себе. Человек стоял несколько часов у дешёвого тормознутого сканера. Потратил на это огромное количество сил и времени. А потом взял весь свой труд - и за одну минуту превратил его в мусор...

Большинство этих людей не будет пользоваться интерактивными программами никогда, потому что это для них слишком долго и сложно. Им нужна автоматика, которая работает по принципу: нажал одну кнопку - получил результат. То есть, автосегментер с хорошо настроенными профилями.

[monday2000]

textsharik
Я думаю, что более перспективно не возиться с профилями DjVu - а заняться математическими алгоритмами авто-сегментации - наподобие авто-выделения зон иллюстраций в Скан Тейлоре. Можно разработать ещё аналогичных алгоритмов.

План такой: используя все эти алгоритмы, делать предварительную авто-сегментацию. Затем доводить её вручную до ума в интерактивном режиме (в некоей гипотетической программе, напоминающей Скан Тейлор - также кроссплатформенной и свободно-бесплатной). А потом просто собирать полученные слои в единый DjVu - маску - при помощи documenttodjvu, всё остальное - при помощи DjVuLibre.

Пока это не произошло, в настоящее время лучше, чем просто кодировать сканы цветных журналов в задний фон DjVu ИМХО ничего не придумать. Хотя мне это самому не нравится, я видел "Технику-Молодёжи" в таком варианте - читать такое не хочется, качество всё же низкое.

Вот что меня ещё интересует - насколько трудно заставить работать documenttodjvu под Linux? Можно ли будет как-то передавать ей в Linux параметры командной строки?

[yuree]

Представьте себе. Человек стоял несколько часов у дешёвого тормознутого сканера. Потратил на это огромное количество сил и времени. А потом взял весь свой труд - и за одну минуту превратил его в мусор...

Для таких случаев существуют темы типа этой.
Гугл им в помощь и не надо придумывать велосипед. Не можешь сам, попроси тех кто сделает как надо.

Им нужна автоматика, которая работает по принципу: нажал одну кнопку - получил результат. То есть, автосегментер с хорошо настроенными профилями.

В своё время, эксперимента ради, я жал цветной скан из журнала с разными профилями, по умолчанию поставленные в Моде. Скан был хоть и не самый рядовой, но часто попадающийся. Фон-картинка с текстом поверх него. Знаете какой вывод сделал в соотношении размер-качество? Лучше оставить в фоторежиме. Я не видел ещё не одного толково автосегментированного цветного листка. Текст от фона отделяется в авторежиме довольно фигово, не мне Вам это говорить. В продолжение, я-тут загонялся не так давно. Но это как вариант. Хотя мы прекрасно понимаем что этим никто заниматься не будет.
... а будут и дальше гнать покорёженные цветные сканы((

Люди — цените свой труд!!!

[textsharik]

Скан был хоть и не самый рядовой, но часто попадающийся. Фон-картинка с текстом поверх него. Знаете какой вывод сделал в соотношении размер-качество? Лучше оставить в фоторежиме. Я не видел ещё не одного толково автосегментированного цветного листка.

Понятно, что авто-сегментер не панацея, и со сложными случаями не справляется. Но даже в таких случаях он даёт терпимый результат, на который можно смотреть без слёз.

Для таких случаев существуют темы типа этой.
Гугл им в помощь и не надо придумывать велосипед. Не можешь сам, попроси тех кто сделает как надо.

К сожалению, это не сравнимо по трудозатратам с однокнопочным решением. Сканы надо заархивировать, потом залить на narod.ru (а размер может быть немалый), потом обратиться за помощью, потом ждать ответа неопределённое время... Да и саму эту тему надо сначала найти, а на форуме зарегистрироваться...

ИМХО, пусть будет и то и другое. Кто готов обратиться за помощью - пусть обращается за помощью. А для тех, кому нужна одна кнопка - пусть будет одна кнопка.

[NBell]

имхо
сегментатор делит картинку по уровням.
приведение черного на скане к уровню 255 дает лучшее сегментирование. типография тоже печатает не все цвета RGB, поэтому перевод в индексированный цвет часто дает превосходную сегментацию.

вопрос - доработаете ваш мод чтобы не вис глухо?
имхо - лучше 3 проги или интерфейса - продвинутый то что сейчас, однокнопочный для всех и sep отдельно, с настройками...

[textsharik]

Небольшая работа над ошибками...

DjVu Small Mod v. 0.6.1
http://rusfolder.com/37089909
http://freakshare.com/files/viwgdu1a/DjvuSmallMod-0_6_1.7z.html

Исправлены ошибки:
- Трей-иконка не реагировала на нажатия в Windows Vista и выше
- В диалоге выбора цвета не работала кнопка "Custom color"

По заявкам пользователей, небольшое изменение в работе профилей:
- По умолчанию показывается группа профилей "Персональные"
- По умолчанию в "Персональные" профили добавлены два новых: photo и bitonal-300dpi
(В "Персональном" профиле bitonal-300dpi установлена опция pages-per-dict=10, чтобы ускорить работу)

[sergiokapone]

textsharik , я не могу закодированть профилем bitonal, если стоит галочка на "Опциях":
Autosegmentation: Off+ dummy pages а также:
Layer naming conversion: Disable
Выдается сообщение: No pages were encoded in Djvu.
Так должно быть?

Autosegmentation: on
Layer naming conversion: Disable
Выдается сообщение: No pages were encoded in Djvu.

И при других возможных комбинациях.

Снимаю галочку, и все кодится. Но мне ведь нужно поменять размер словаря и т.д. помимо сегментации!

Ниже приведен лог для случая Autosegmentation: On. Какой еще segmenter-mode=photo (см. лог)? Почему так, ведь Autosegmentation: On!?
Лог:

Код: [Выделить]

Starting processing...


---------- Profile ----------
#
DjvuSmall:

# Extreme / Empty profile

# Base / bitonal
tobitonal=true

# Original / Bitonal (600 dpi)
dpi=-600
# aggressive=true -->

#
quality=70
crcbnormal=true
crcbdelay=12
pages-per-dict=1000
aggressive=true
target-subsample=12
jb2-format=N
segmenter-mode=photo
dummy-color=white
---------------------------------


"d:\Programs\BookShop\DjVuSmallMod\Bin\DocumentToDjvuM.exe" --verbose
--config="d:\Programs\BookShop\DjVuSmallMod\instances\3tpk87gp0ajol\documenttodjvu.conf"
--profile=DjvuSmall
--filelist="d:\Programs\BookShop\DjVuSmallMod\instances\3tpk87gp0ajol\filelist.txt"
"C:\Forzats.djvu"

Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
   [Страница 1]
Warning:  [1-25115] Не могу закодировать битональную страницу как фото
Warning:  [1-25112] Пропускаю страницу 1
Файл '-' : tif файл
   [Страница 1]
Warning:  [1-25115] Не могу закодировать битональную страницу как фото
Warning:  [1-25112] Пропускаю страницу 1
Файл '-' : tif файл
   [Страница 1]
Warning:  [1-25115] Не могу закодировать битональную страницу как фото
Warning:  [1-25112] Пропускаю страницу 1
Файл '-' : tif файл
   [Страница 1]
Warning:  [1-25115] Не могу закодировать битональную страницу как фото
Warning:  [1-25112] Пропускаю страницу 1
Файл '-' : tif файл
   [Страница 1]
Warning:  [1-25115] Не могу закодировать битональную страницу как фото
Warning:  [1-25112] Пропускаю страницу 1
Ошибка: [1-25106] Нет страницы для кодирования..

Processing failed to finish.
------------------------------------------------------------
PS вылечил удалением settings.ini

[sergiokapone]

И еще, каким профилем мне нужно кодировать сам текст при ручной сегментации?
Если выбираю bitonal, то:

Ошибка в формате файла d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0010.djvu

Ошибка конвертирования.

Код: [Выделить]

Начинаю конвертирование...


---------- Profile ----------
#
DjvuSmall:

# Extreme / Empty profile

# Base / bitonal
tobitonal=true

# Original / Bitonal (600 dpi)
dpi=-600
# aggressive=true -->

# Base / modern-pc
resolution-multiplier=1
# pages-per-dict=99999 -->
block-overlap=2

# Standard / Bitonal (600 dpi)

#
pages-per-dict=9999
aggressive=true
matching-level=100
target-subsample=3
tolerance-percent=1
segmenter-mode=sep
fg-codec=d2d
---------------------------------


"d:\Programs\BookShop\DjVuSmallMod\Bin\DocumentToDjvuM.exe" --verbose
--config="d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\documenttodjvu.conf"
--profile=DjvuSmall
--filelist="d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\filelist.txt"
"C:\DjVu Encoded.djvu"

Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
Файл '-' : tif файл
   [Страница 1]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 2]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 3]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 4]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 5]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 6]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 7]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 8]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 9]
Страница: 3168x4596 dpi:600
Файл '-' : tif файл
   [Страница 10]
Страница: 3168x4596 dpi:600
Страница 0001. 0001.tif -> 0001.djvu
Страница 0002. 0002.tif -> 0002.djvu
Страница 0003. 0003.tif -> 0003.djvu
Страница 0004. 0004.tif -> 0004.djvu
Страница 0005. 0005.tif -> 0005.djvu
Страница 0006. 0006.tif -> 0006.djvu
Страница 0007. 0007.tif -> 0007.djvu
Страница 0008. 0008.tif -> 0008.djvu
Страница 0009. 0009.tif -> 0009.djvu
Страница 0010. 0010.tif -> 0010.djvu
Результаты  (Время/Файл):  Предв. обработка=0.00   Сегментация=0.00   JB2=0.08   IW44=0.00

"d:\Programs\BookShop\DjVuSmallMod\bin\djvujoin.exe" "C:\DjVu
Encoded.djvu"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted"


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0001.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0001.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0002.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0002.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0003.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0003.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0004.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0004.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0005.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0005.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0006.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0006.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0007.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0007.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0008.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0008.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0009.djvu"
Sjbz=orig.Sjbz INCL=orig.INCL


"d:\Programs\BookShop\DjVuSmallMod\bin\djvumake.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0009.djvu"
INFO=3168,4596,600 INCL=0010.djbz Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0010.djvu"
Sjbz=orig.Sjbz


"d:\Programs\BookShop\DjVuSmallMod\bin\documenttodjvum.exe"
--config="d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\documenttodjvu.conf"
--verbose --profile=DjvuSmall "C:\33\0010.sep.tif"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\index.djvu"

Файл '-' : tif файл
Файл '-' : tif файл
   [Страница 1]
Страница: 3168x4596 dpi:600
Warning:  [1-10000] Неопознанное сообщение об ошибке:

Имя сообщения: StreamOpen: wrong data type 1 for "XMLPacket"; tag ignored.
Warning:  [1-10000] Неопознанное сообщение об ошибке:

Имя сообщения: StreamOpen: unknown field with tag 34665 (0x8769) encountered.
Результаты  (Время/Файл):  Предв. обработка=0.00   Сегментация=0.00   JB2=0.06   IW44=0.00

"d:\Programs\BookShop\DjVuSmallMod\bin\djvuextract.exe"
"d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\index.djvu"
BG44=extbg.BG44


Ошибка в формате файла d:\Programs\BookShop\DjVuSmallMod\instances\817fqfdfre06p\Extracted\0010.djvu

Ошибка конвертирования.


[textsharik]

PS вылечил удалением settings.ini

К сожалению, не могу воспроизвести проблему. У Вас не сохранился проблемный settings.ini?

И еще, каким профилем мне нужно кодировать сам текст при ручной сегментации?
Если выбираю bitonal, то:

Спасибо за информацию, скоро выпущу исправление.
Пока используйте профили без опции "to bitonal".

[sergiokapone]

К сожалению, не могу воспроизвести проблему. У Вас не сохранился проблемный settings.ini?

Пока писал про проблему, в голову спонтанно пришло решение, поэтому не сохранил.  Если повторится, сохраню.

[textsharik]

DjVu Small Mod, версия 0.6.2

http://rusfolder.com/37228436
http://freakshare.com/files/qrk3cyue/DjvuSmallMod-0_6_2.7z.html

Исправлены ошибки:
- Убран небольшой артефакт в опции "залить фон цветом"
- Исправлено вылетание BitonalToDjvu.exe на файлах неверного формата
- При аномальном завершении консольных утилит пользователю не показывается окно ошибки
- Также исправлено несколько мелких багов

Добавлены возможности:
- Добавлена возмжность конвертировать DjVu в HC-Pdf
 (т.е. Pdf высокой степени сжатия, практически идентичный DjVu по размеру и качеству)
- Добавлен индикатор прогресса в иконку в трее
- Профили 'Псевдо-Tiff' и 'Псевдо-Jpeg' объединены в один

[textsharik]

DjVu Small Mod, версия 0.6.3

http://rusfolder.com/37288375
http://freakshare.com/files/171i4lwd/DjvuSmallMod-0_6_3.7z.html

Исправлен небольшой, но неприятный баг - на windows с нестандартными шрифтами, вид программы трансформировался так, что работать было невозможно.