Просмотр сообщений

В этом разделе можно просмотреть все сообщения, сделанные этим пользователем.


Сообщения - MetaSpirit

Страницы: [1] 2
1
Linux / Re: OCR CuneiForm в Ubuntu
« : 04 јРЩ 2013, 23:30:16 »
Cuneiform развивается. Появился GUI к нему: Cuneiform-Qt — графический интерфейс для системы оптического распознавания символов Cuneiform
Небольшой список возможностей:

Общее:
    Значок приложения
    Контекстные меню действий для KDE
    Пакетный режим обработки
    Интеграция со ScanTailor

Движок распознавания:
    Использование библиотек напрямую
    Получение списка поддерживаемых языков и форматов из движка

Интерфейс:
    горизонтальное и вертикальное расположение панелей
    показывать параметры распознавания в строке состояния

Просмотр изображения:
    Получение изображения непосредственно со сканера
    Поддержка перетаскивания файлов на окно приложения
    Поддержка файлов на сетевых ресурсах
    Распознавание всех страниц многостраничного TIFF
    Интерактивный поворот отдельной страницы на заданный угол
    Регулирование тона, насыщенности, яркости
    Выделение области для распознавания
    Изменение масштаба
    Загрузка и распознавание документов PDF altbug #19542

Показ результата:
    Правка распознанного текста
    Открытие текста в LibreOffice
    Печать
    Проверка орфографии
    Поддержка файлов на сетевых ресурсах
    Меню «Правка» в основном меню
    Подтверждение выхода с несохранёнными данными

Варианты установки:
    из исходников
    скомпилированый rpm-пакет, который с помощью alien можно рпересобрать под debian дистрибутивы.

P.S. В том же репозитории Алекса есть програмка quneiform  - простой GUI к Cuneiform. Пока еще не сравнивал.

2
DjVu / Re: Djvu декодер
« : 11 БХЭвпСам 2011, 09:48:46 »
Если у Вас Linux (вряд ли, наверное ;), то моя новая утилита djvupages как раз для этого:
> djvupages --images djvu_file
отконвертирует все страницы в TIFF и поместит их в отдельную папку.

А где саму утилиту взять?
И как можно сконвертить PDF в TIFF под Линукс? Пользуюсь gscan2pdf но он делает многостраничный TIFF, что не очень удобно для последующей обработки.

3
Pdf / Re: Конвертирование PDF -> TIF
« : 03 ёоЫм 2011, 11:50:17 »
Подскажите, чем можно перекодировать PDF -> TIF на Линуксе?
Сам использую gscan2pdf, но на выходе создается многостраничный TIFF-файл, что не удобно для последующей редакции.

4
Включаюсь в полемику.

Давайте еще возмем такой показатель как многоплатформенность. Итак, СТ доступен для многих платформ, а СК только для "Окошек". В чем и сильно проигрывает. Пробовали поработать со СК, напр., в Убунту? Его можно запустить под Вином, но не все версии (последняя не работает), но это не вариант. А СТ доступен в нативном варианте и к тому же все найденые баги оперативно исправляются. А когда был последний релиз СК?

СТ логичнее. Но к предыдущим пунктам всегда можно обратится. А если у некоторых логика нарушена - читайте мануалы, смотрите видео, там все описано и отснято, любая блондинка разберется.

Цитировать
В кромсаторе намного быстрее, пусть и труднее.
Вот с этим тоже можно поспорить. Тестировали на разном аппаратном обеспечении, какие книги использовались, какая выборка, рандомизация и т.д.? Где результаты исследований, чтобы такое заявлять?
От себя скажу, что в 7 окошках и Убунту на многоядерной машине (или многопоточной) СТ в отличии от СК побыстрее будет.

5
Linux / OCR CuneiForm в Ubuntu
« : 22 ПЭТРам 2011, 14:23:26 »
Распознавание текста в ОС Linux доступно любому пользователю. Чтобы с легкостью распознать текст в операционной системе Linux есть OCR-система CuneiForm, которая служит для преобразования графических файлов в редактируемый текст. CuneiForm работает только из консоли, что существенно ограничивает круг людей, которые могут использовать данную программу.

Чтобы это исправить была разработана, на данный момент, лучшая графическая оболочка — YAGF. YAGF полностью раскрывает все возможности OCR-системы CuneiForm.

Для Linux CuneiForm представляет собой лишь движок для распознавания, а в качестве GUI используется программа YAGF.

Сильные стороны CuneiForm + YAGF:
Комплекс программ абсолютно бесплатен.
Довольно неплохие результаты распознования текста.
Результаты распознавания текста можно сохранить в формат html или text.
Есть возможность автоматической проверки орфографии при установленоном пакете aspell.
Большое количество поддерживаемых языков.
Красивый и эргономичный интерфейс.
Работа со сканером организована посредством Sane + XSane.

Слабые стороны CuneiForm + YAGF:
Нельзя сохранить результаты работы в текстовом документе, формат которого поддерживает сохранение форматирования текста: doc, odt, rtf и т. д.
Распознование текста, в некоторых случаях, еще далеко от идеального.

К сожалению, первый стабильный релиз версии 1.0 так и не появился в репозиториях Ubuntu. Поэтому будем ставить из .deb-пакетов или из PPA.

Можно подключить PPA от некоего Алекса (это не официальный репо):

ppa:alex-p/notesalexp
Обновляем список пакетов и ставим:

cuneiform-common

cuneiform-linux

yagf

Но у Алекса в PPA очень много сборок, и если не хочется обновлять некоторые пакеты до нестабильных версий, то можно установить подборку пакетов для Ubuntu 10.10 Maverick Meerkat:
для 32-битных сурикатов
для 64-битных сурикатов

В архиве 3 файла (приведены в порядке их установки):
  • cuneiform-common_1.0.0+bzr525-1_all.deb
  • cuneiform-linux_1.0.0+bzr525-1_XXX.deb
  • yagf_0.8.3-1_XXX.deb

Запускаем "Приложения - Офис - YAGF" и все распознаем.

6
Linux / Re: Однопроходный DjVu кодер
« : 22 ПЭТРам 2011, 12:56:54 »
Цитировать
# скрипт для добавления оглавления и алфавитного (предметного) указателя в DjVu-книгу
# скрипт для добавления метаинформации в DjVu-книгу
А вот этого нет совсем. Может, возьметесь?
Если бы был программистом, то уже б сделал.

7
Linux / Re: Однопроходный DjVu кодер
« : 12 ПЭТРам 2011, 12:46:00 »
Как уже упоминал, лучше было бы разделить скрипт на несколько отдельных:
  • скрипт для кодирования передних субсканов
  • скрипт для кодирования задних субсканов
  • скрипт для собирания DjVu-книги из отдельных файлов (передних и задних DjVu-файлов субсканов)
  • скрипт для добавления OCR в DjVu-книгу
  • скрипт для добавления оглавления и алфавитного (предметного) указателя в DjVu-книгу
  • скрипт для добавления метаинформации в DjVu-книгу
либо дорабатывание конвейера с возможность просмотра результатов на каждом этапе и возможности изменения параметров кодирования отдельных страниц или всего этапа без необходимости перекодирования полностью всей книги.

Опционально: добавление интерактивности в процесс ( можно использовать notify-send) и если скрипт запускается без параметров, то добавить простой диалоговый интерфейс (скриптовый GUI на базе Zenity).

8
Linux / Re: DjVu-книгоделание в GNU/Linux (Debian, Ubuntu)
« : 12 ПЭТРам 2011, 11:35:50 »
m7876
Цитировать
Может быть, Вы пробовали какой-то другой img2djvu?
Использовал версию из https://github.com/ashipunov/img2djvu
Цитировать
Настройки по умолчанию ЕСТЬ, и МОЖНО запустить img2djvu на папку с изображениями и получить DjVu-файл.
В README сказано:
Цитировать
SIMPLE USE

> img2djvu out

(where "out" is a name of folder wich contains some images)

img2djvu will output some diagnostics: first, total number of files in folder, then will show processing status of every file. Skipped non-graphic files are labeled with dots (.), graphic files are labeled with angle brackets (<>). Black and white pages are labeled with B or M (if minidjvu used), color pages with C, F (if cpaldjvu used) or L (if layer separation used). OCR labeled as an additional layer (+1) or additional plus (+). Aggressivity is the number of enclosed brackets (e.g., <<<>>> for -a 2).
т.е. все равно, даже при простом использовании, минимально необходимо указать папку с изображениями в строке инициализации. Или я не прав?
Цитировать
Давайте тогда разбираться с идеологией. В основе UNIX лежит в том числе конвейерная обработка при помощи множества последовательно запускающихся утилит, каждая из которых делает что-то одно. img2djvu устроен точно также
Не спорю как конвейер скрипт работает просто отлично, но, ИМХО, лучше было бы разделить на 3 отдельных скрипта:
  • скрипт для кодирования передних субсканов
  • скрипт для кодирования задних субсканов
  • скрипт для собирания DjVu-книги из отдельных файлов (передних и задних DjVu-файлов субсканов)
Немного проясню почему так думаю, напр., создал DjVu-книгу, но при просмотре выяснилось, что некоторые цветные страницы очень плохо закодировались, но так как DjVu-кодер однопроходной, то чтобы перекодировать эти страницы с другими настройками необходимо перекодировать всю книгу, а если кодеры раздельные, то тогда можно было бы только пережимать плохие страницы, а остальные не трогать.

Цитировать
Кстати, а Вы сами как делаете свои книги? Можно на них посмотреть?
На Ubuntu я только 12 дней. Поэтому и создал данную тему, т.к. данный вопрос слабо освещен в интернете.

В Windows делал по такому принципу: ScanKromsator -> DjVu Small -> DjVu Imager -> ABBYY FineReader 8.0  -> DjVu OCR  -> DjVu Hyperlinks Editor и финальные правки в Lizardtech DjVu Document Express Editor Pro 6.0.1 Build 1320. Пример книги - http://depositfiles.com/files/41j2bdwso
В Ubuntu:
Scan Tailor  уже освоил.
Теперь пытаюсь плотнее разобратся со скриптом img2djvu.
Свою первую книгу в Линуксе делал так (книга черно-белая): Scan Tailor -> any2djvu-bw -> ABBYY FineReader 8.0 (через WINE) -> DjVu OCR  (через WINE) -> Lizardtech DjVu Document Express Editor Pro 6.0.1 Build 1320 LE (через WINE)

Все мои книги находятся на сайте http://www.raslab.info/, но только с пометкой "релиз: RASLab.info", а также внутри книг можно встретить логотип "RASLab OCR". Книги сканирую с 2003 года.

Цитировать
Нет ли у Вас чего-нибудь конструктивного сказать? Может быть, что-то надо исправить или добавить?
Все мысли изложу в теме "Однопроходный DjVu кодер".

Первый пост обновлен!

9
Основным АРI в GNU/Linux для работы используется SANE.
Цитировать
Scanner Access Now Easy — интерфейс прикладного программирования (API), который предоставляет стандартизированный доступ к устройствам сканирования растровых изображений (планшетные сканеры, ручные сканеры, видео- и фото-камеры, устройства видеозахвата и т. д.). SANE API является общественным достоянием и открыт для всеобщего обсуждения и разработки.
Графические оболочки для SANE:
 - Simple Scan — это упрощённая графическая оболочка, использующая SANE, интегрирующаяся в среду рабочего стола GNOME. Написана Робертом Энселлом из Canonical Ltd. для Linux. Simple Scan вошла в состав Ubuntu 10.04 и 10.10.
 - Flegita — графическая оболочка для SANE, написанная для GNOME Этьеном Берсаком. Часть проекта GNOME Scan. Имеется плагин для GIMP. Ставится со стандартного репозитория.
 - XSane — графическая оболочка для SANE, написанная Oliver Rauch, для работы со сканером. Xsane может быть запущена как отдельная программа, так и из GIMP. При автономном запуске XSane может сохранять отсканированные изображения в разных форматах, распечатывать их, использоваться другими программами для работы с факсами. Наиболее продвинутая программа для сканирования. Ставится со стандартного репозитория.
Сильные стороны XSane:
  • Большое количество настроек.
  • Быстрое сканирование в файл формата JPEG, PDF, PNG, PNM, PostScript, TEXT, TIFF.
  • Возможность настроить сканирование в файл с уникальным именем. Эта функция очень удобна при ручном сканировании большого количества страниц.
  • Возможность пакетного сканирования.
  • Программа «доработана» в сторону пользователя.
Слабые стороны XSane:
  • все нужные окна программы не умещаются на одном рабочем столе. Выручает переключатель рабочих столов.
- Kooka еще одна программа для сканирования, но для рабочего окружения KDE:
Цитировать
Kooka -- это программа сканирования с открытыми исходными кодами для системы GNU/Linux, основанная на программе SANE и библиотеке KScan.
Kooka поможет вам задать наиболее важные параметры сканирования, выбрать подходящий формат файла для сохранения и обработать отсканированные изображения. Она предлагает поддержку для различных модулей распознавания символов. Libkscan, автономная часть Kooka, обеспечивает функцию сканирования для лёгкого совместного использования со всеми приложениями KDE.
Установите пакеты ocrad или gocr, если нужно выполнить распознавание символов в Kooka.
Этот пакет является частью компонента модуля KDE graphics. Для более подробной информации смотрите пакеты 'kde' и 'kdegraphics'.

Есть некое новшество - ScanTWAIN. Вот описание: http://www.linuxcenter.ru/news/2009/03/12/9316/ . Что это такое, любопытно. Кроме того, принят стандарт TWAIN 2.1, см. http://www.twain.org/ - что тоже может таить новые возможности (в т.ч. и для сканирования под Windows). (Заметка от monday2000)

Примечание: как вариант, для промежуточного графического формата (если в дальнейшем будут использоватся только *nix программы) использовать PNM: цветные (PPM), полутоновые (PGM) и чёрно-белые (PBM), т.к.  DjVuLibre не работает с *.tiff

Также рекомендую ознакомится со статьей "Сканирование изображений и документов в  GNU/LINUX на примере EPSON PERFECTION 1270"
Цитировать
Практическое руководство (версия 2.0). Оглавление
     Введение
1. Сканирование с использованием программы XSane
    1.1. Интерфейс программы XSane
    1.2. Сканирование отдельного изображения в программе XSane
    1.3. Сканирование в XSane с созданием многостраничного документа
    1.4. Пакетное сканирование с помощью программы XSane
2. Сканирование с использованием консольной программы scanimage
    2.1. Описание параметров программы scanimage
    2.2. Сканирование отдельных изображений с помощью scanimage
    2.3. Пакетное сканирование с помощью программы scanimage
3. Сканирование в графический редактор Gimp
4. Сканирование с помощью программы xscanimage
    4.1. Интерфейс программы xscanimage
    4.2. Настройка параметров xscanimage при сканировании

10
Linux / Re: DjVu-книгоделание в GNU/Linux (Debian, Ubuntu)
« : 11 ПЭТРам 2011, 18:31:34 »
m7876
Цитировать
Пробовали ли Вы img2djvu и djvupages (https://github.com/ashipunov) ?
Опробовал. Слишком много настроек в консоли. Нет значений по умолчанию, т.е. нельзя ее  (img2djvu) запустить в папке с изображениями и получить DjVu-файл. Скрипт по принципу "все в одном" и отходит от основной идеологии Linux, как говорит monday2000 - "вредный универсализм".
Цитировать
Идеология UNIX/Linux - один компонент или одна программа должны выполнять только какую-то одну задачу, но зато выполнять её хорошо. ("UNIX-way"). Программы под Linux напоминают конструктор LEGO (например, если существует программа для проверки орфографии, то её используют при разработке текстового редактора, или если уже существует мощная консольная программа для скачивания файлов, то проще написать к ней графический интерфейс (a.k.a Front-end), и т.д).
Вот пример простого скрипта для кодирования черно-белых изображений, использующий DjVuLibre:
#!/bin/bash
#
# any2djvu-bw
#

if [ -z `which anytopnm` -o -z `which ppmtopgm` -o -z `which pgmtopbm`\
-o -z `which cjb2` ]; then
usage
echo "Error: anytopnm, ppmtopgm, pgmtopbm and cjb2 are needed"
echo
exit 1
fi

shopt -s extglob


DEFMASK="*.tiff"
DPI=300
# uncomment the following line to compile a bundled DjVu document
OUTFILE="output.djvu"

function usage() {
echo
echo "usage:"
echo
echo "$0 [\"REGEXP\"]"
echo " converts single pages with the default mask $DEFMASK (or REGEXP if provided)"
echo " in the current directory to single-page black and white djvu documents"
# uncomment the following line to compile a bundled DjVu document
echo " and bundles them as a djvu file $OUTFILE"
echo
}

if [ -n "$1" ]; then
MASK=$1
else
MASK=$DEFMASK
fi

for i in $MASK; do
if [ ! -e $i ]; then
usage
echo "Error: current directory must contain files with the mask $MASK"
echo
exit 1
fi
if [ ! -e $i.djvu ]; then
echo "Procesing file $i"
anytopnm $i | ppmtopgm | pgmtopbm -value 0.499 > $i.pbm
# in netpbm >= 10.23 the above line can be replaced with the following:
# anytopnm $i | ppmtopgm | pamditherbw -value 0.499 > $.pbm
cjb2 -dpi $DPI $i.pbm $i.djvu
rm -f $i.pbm
echo "Created $i.djvu"
fi
done

# uncomment the following line to compile a bundled DjVu document
echo "Compiling $OUTFILE"
djvm -c $OUTFILE $MASK.djvu
echo "Created $OUTFILE"

monday2000
Цитировать
Остаётся лишь использовать Windows-DjVu-кодировщики под Linux. DjVuLibre-кодировщики (minidjvu, cjb2) - это, конечно, не очень серьёзно пока.
При использовании documenttodjvu.exe в режиме 'bitonal' размер конечного файла получается несколько меньше, чем при использовании cjb2. Разница у книги в 250 стр. и разрешением 600 dpi составила около 1mb.
Цитировать
Не существует ли своего рода "портабелизации" консольных Windows-утилит под Linux?
Только перекомпилировать исходный код под Linux. Иначе только WINE или аналогичная программа.

Цитировать
Для создания DjVu-книг под Linux существует ещё и такое давнишнее решение, как так называемый "Конвейер" от are: http://www.djvu-soft.narod.ru/soft/all2djvu.htm . По идее, он охватывает весь цикл создания DjVu-книги. Что там внутри - я точно не знаю, поскольку сам Линуксом не пользуюсь никаким.
Опробуем и изложим свои мысли.

11
Вот какой бы наипростейший "промежуточный" формат подобрать для Linux? Подозреваю, что это будет PBM / PGM / PPM (кажется, всё вместе это обозначается "PNM"). Не зря же он в DjVuLibre так широко используется. Вот про него статья в Википедии: http://ru.wikipedia.org/wiki/PNM .
Ваша правда, данный формат как раз наиболее подходит для *nix систем. Формат PNM достаточно прост для написания кода «с нуля» любым shell-скриптом. Статья: http://ru.wikipedia.org/wiki/Portable_anymap

12
Linux / DjVu-книгоделание в GNU/Linux (Debian, Ubuntu)
« : 10 ПЭТРам 2011, 12:29:28 »
Итак, последовательность создания DjVu–документа примерно такова (на примере Ubuntu):

1 этап. Сканирование. (перенесено).

2 этап. Сканобработка.
Основным инструментом для сканобработки будет  Scan Tailor, т.к. есть нативная версия для Linux и ставится из стандартного репозитория Ubuntu или можно скачать с офф. сайта.

Дополнительно можно использовать windows-версии СканКромсатора, а также Book Restorer. Запускаются они через WINE (загрузчик Windows-программ). СК удалось запусть vv. 5.91 и 5.93, 5.92b работать отказалась. Book Restorer тоже работает, но только нормальная версия, не портабельная.

Дополнительно можно почитать "Обработка сфотографированых/отсканированных страниц документов с помощью imagemagick"

3 этап. Собственно DjVu-кодирование. Опционально: добавление текстового слоя, создание оглавления и алфавитного указателя, а также добавление метаинформации.

Литература к ознакомлению. Наиболее полно данный этап расписан в статье "Создание Djvu документов в Linux от А до Я", где автор использует DjVuLibre и ImageMagick. Создание документов DJVU в Linux  http://mydebianblog.blogspot.com/2008/05/djvu.html . Добавление текстового слоя, используя родные Linux-утилиты, расписано в статье "KBookOCR for Linux". Дополнительно можно почитатать "Улучшение качества DJVU книг".

Кодирование DjVu:
 - однопроходный DjVu кодер - img2djvu (спасибо m7876)
 - скрипт any2djvu-bw для кодирования Ч/Б изображений (автор не известен, нашел в просторах интернета)
monday2000
Цитировать
- Для создания DjVu-книг под Linux существует ещё и такое давнишнее решение, как так называемый "Конвейер" от are: http://www.djvu-soft.narod.ru/soft/all2djvu.htm . По идее, он охватывает весь цикл создания DjVu-книги.
 - Print to DjVu through KPrinter  http://www.novell.com/coolsolutions/tools/17525.html
 - Scan to DjVu - http://www.novell.com/coolsolutions/tools/17462.html

Редактирование DjVu:
 - утилита djvupages (спасибо m7876)
Цитировать
Она умеет удалять и перемещать страницы, резать файл на отдельные DjVu файлы, вырезать многостраничный фрагмент, конвертировать страницы в TIFF и даже посылать выбранную страницу в GIMP, а после редактирования кодировать заново и вставлять на место.
- didjvu - использует Gamera framework для разделения передних и задних слоев, которые потом могут быть закодированы в DjVu-файл.
 - djvusmooth — это графический редактор файлов DjVu, который позволяет:
  * редактировать метаданные документа,
  * редактировать структуру документа (закладки),
  * исправлять случайные ошибки в слое скрытого текста.

И еще, набор инстументов python-djvulibre для работы с библиотеки DjVuLibre, реализованный на Python.

Также можно использовать windows программы, запуская их через WINE.
Что мы имеем:
 - программы от Lizardtech. Консольные утилиты работают без проблем. Из GUI удалось запустить только Lizardtech DjVu Document Express Editor Pro 6.0.1 Build 1320 LE. Остальные не запустились, скорее всего из-за того, что требуют для своей работы .net Framework.
 - DjVu Small и DjVu Imager работают, но есть баг, когда выбираешь пункт открыть папку, то кнопка "ОК" неактивна в любом случае.
 - ABBYY FineReader 8.0 Professional Edition Multilanguage работает.
 - DjVu OCR v2.4beta работает.
 - единственный момент, во всех GUI программах долго выбираются несколько файлов через Ctrl, либо через Shift, на это время (от нескольких сек. до мин.) программа может не отвечать на запросы (или даже виснуть), но это проблема самого Вайна.


Пока на этом все. Тема будет дополнятся. Продолжение следует...

13
В различных дистрибутивах GNU/Linux различается и базовая поддержка графических форматов. В наиболее распространенном дистрибутиве Ubuntu имеется возможность на базовом уровне умеет работать с Open Source графическими форматами, в том числе с PNG.

Цитировать
PNG - разработанный относительно недавно формат для Сети, призваный заменить собой устаревший GIF. Использует сжатие без потерь Deflate, сходное с LZW (именно из-за патентования в 1995-м году алгоритма LZW возник PNG). Сжатые индексированные файлы PNG, как правило, меньше аналогичных GIF'ов, RGB PNG меньше соответствующего файла в формате TIFF.

Глубина цвета может быть любой, вплоть до 48 бит. Используется двухмерный interlacing (не только строк, но и столбцов), который, так же, как и в GIF'е, слегка увеличивает размер файла. В отличие от GIF'а, где прозрачность как мед - либо есть, либо нет, PNG поддерживает также полупрозрачные пикселы (то есть в диапазоне прозрачности от 0 до 99%) за счет Альфа-канала с 256 градациями серого.

В файл формата PNG записывается информация о гамма-коррекции. Гамма представляет собой некое число, характеризующее зависимость яркости свечения экрана вашего монитора от напряжения на электродах кинескопа. Это число, считанное из файла, позволяет ввести поправку яркости при отображении. Нужно оно для того, чтобы картинка, созданная на Мас-е, выглядела одинаково и на РС и на Silicon Graphics. Таким образом эта особенность помогает реализации основной идеи WWW - одиакового отображения информации независимо от аппаратуры пользователя.

Для работы с проприеритарными форматами необходимо дополнительно установить пакеты расширений, напр., ImageMagick.

14
nbl
Цитировать
Тогда уж надо на PNG ориентироваться.
А в чём преимущества PNG?
Формат поддерживает жжатие без потери качества, в отличие от того же JPEG.

15
DjVu / Re: Удаление водяных знаков из DjVu-книги
« : 25 БХЭвпСам 2010, 15:52:47 »
Новый образец скачал, оценил. Теперь осваиваю методы очищения и шумоподавления в изображениях.

Страницы: [1] 2