Каталогизация DjVu книг

[monday2000]

Rezvan

Кто-нибудь решил для себя эту задачу?

Я так думаю, что это довольно простая задача: решать её следует ровно так же, как это делается в Windows.

Раз уж такая серьёзная система как Windows имеет такие ограничения, то, значит, её создателями было сочтено, что такие ограничения приемлемы.

То есть все как-то в Windows живут без двоеточий в имени файла - и ничего, нормально.

Что делать конкретно с недопустимыми символами - надо подумать. Как вариант, заменять их допустимыми. К примеру, Internet Explorer как-то по-своему сохраняет веб-страницы, где в названиях имеются недопустимые символы - кажется, заменяет их подчёркиванием (точно не помню, надо посмотреть).

Возможностью восстановления ИМХО можно и пренебречь. Или же записывать в метаданные точное имя файла - тем и удовлетвориться.

[woodyfon]

Выскажу мысль как библиотекарь (честно работаю библиотекарем  :
1. Краткое библиографическое описание + УДК и Авторский знак.
1а. Наименование файла djvu. Обычно автора (составителя), заглавия и года издания хватает, чтобы не было дублетности.
2. В каком режиме книга (BW, Gray, Color).
3. Разрешение.
4. Наличие титульной страницы.
5. Наличие OCR-слоя.
6. Наличие гиперлинков для перемещения по содержимому.
P.S. Каталогизация книг и в частности электронных не такой уж и легкий процесс.
Когда видишь описания книг на том же infanata чувствуешь, что все форматы, госты сводятся на нет. Они попросту не нужны. Спрашивайте у тех людей, которые этим занимаются профессионально.

[Alfizik]

Перерыл я на днях всевозможные каталогизаторы, коих набралось не так уж и мало. Вкратце вот некоторые из них:

- CD Collection
- All My Books
- Camel Disc Catalog
- BookSnake
- Домашняя коллекция (http://homecollection.narod.ru/russian/index.html)
- Free Library
- BookCAT

В теории все вроде неплохо и замечательно, но на практике ни одна мне в целом не понравилась (или книжки скопом, сразу целым каталогом нельзя добавлять, только по одной, или интерфейс какой-то больно перемудреный и сложный и т.п. и т.д.).

Возлагал большие надежды на Camel Disc Catalog (быстрая, небольшая), умеет вытаскивать обложку (первую страницу) из DjVu при помощи родного плагина, во всяком случае в старых версиях умела, в новой версии что то не работает даная фишка, так и не разобрался, что не так.

CD Collection программа примерно такого же рода, но все равно не то.

BookSnake по описаниям мега программа чего только не умеет (например просматриват\читать djvu можно прямо из неё при помощи lizardtech плагина), но интерфейс мне показался через чур сложным и перегруженным. Хотя возможно, надо просто привыкнуть...

И можно было бы сказать, что нет в жизни счастья, но нашелся слабый луч света в темном тоннеле.

Маленькая программа(меньше 1 Мб) BookCAT, не путать с зарубежной программой с таким же именем! Работать может без инсталляции (portable), проект еще только в начале пути, стабильная версия 0.7, в разработке 2.0alpha, проект OpenSource и доступен с исходными кодами.

Но даже при таком маленьком размере и ранней версией она покорила меня удобством, простотой и наглядностью. Конечно ей еще многого не достает, но благодаря открытости её можно вполне довести до ума под конкретные нужды.
- вести и поиск по текстовому слою в djvu
- и рейтинги качества книг
- систему универсального именования книг
- редактирование метаданных
- и много всего другого

Вот сайт программы - http://catbook.narod.ru/ 

[monday2000]

Alfizik

Вот сайт программы - http://catbook.narod.ru/

Мне не нравится .NET-зависимость. ИМХО без неё можно обойтись.

Вообще мне кажется, что более важная задача - это каталогизация DjVu-книг на больших Web-библиотеках - нежели чем у каждого отдельно взятого юзера на домашнем компе.

Пусть лучше большие онлайн-библиотеки упорядочивают у себя свой контент - а мы просто будем потом скачивать уже упорядоченную продукцию.

Неплохо бы также изобрести некий такой механизм, чтобы каждый желающий смог бы принять участие в разборе, пополнении и упорядочивании больших онлайн-библиотек. Пока что такой вопрос вообще практически даже и не ставится.

Идея в том, что зачем каждому делать на своём домашнем компе одну и ту же работу по упорядочиванию - лучше сразу на Web-сервере навести порядок.

Конечно, тут возникают дополнительные сложности - например, элементарно не всегда удаётся найти общий язык с хозяевами той или иной библиотеки.

Цитата с http://catbook.narod.ru/:

В интернете существуют множество электронных библиотек. В них книги лежат упорядоченно, отсортированные по разделам, авторам, году издания, серии и т.д. И вот ты скачиваешь 5, 10, 50 электронных книг, иногда в архивах, и... как и где книги хранить? Как быстро найти нужную?

    Лично я на пятидесятой книге запутался и захотел удобную программу. Программу, которая позволит просто и удобно рассортировать имеющиеся книги по Авторам, Категориям. Позволит быстро посмотреть все книги определенного автора, прочитать вкратце об авторе, прямо как на веб-сайтах. Программа, которая благодаря возможности множественных категорий позволит поместить книгу и в раздел История и в раздел Япония - и мне не нужно будет вспоминать, в какой именно каталог я положил интересующую меня книгу - в первый, или все-таки во второй. Программа, которая будет обладать легкой переносимостью между компьютерами, запустится с флэшки и позволит посмотреть имеющиеся у меня книги.

Все эти проблемы легко разрешатся при условии наличия метаданных в DjVu (и в PDF). При правильно заполненных метаданных нет никакой проблемы очень быстро найти все книги данного Автора, можно будет полностью автоматически сортировать книги по папкам. Правда, не знаю насчёт пользовательских множественных категорий (История, Япония). Стоит ли и их записывать в метаданные? Возможно, нет. Точнее, не стоит это делать на Web-серверах - а на домашнем компе - вполне можно дописать в метаданные такие метки - почему бы и нет.

Я думаю, что программ, умеющих грамотно работать с DjVu-метаданными, скорее всего нет вообще. Поэтому все существующие программы-каталогизаторы не годятся.

Я бы предложил добавить поддержку DjVu-метаданных в Яндекс Персональный Поиск (ЯПП). Для ЯПП существует SDK, который даёт возможность писать собственные плагины.

[Alfizik]

Alfizik

Вот сайт программы - http://catbook.narod.ru/

Мне не нравится .NET-зависимость. ИМХО без неё можно обойтись.

Можно, просто люди пишут как им проще, для начала уже и так неплохо. Да и не вижу я особых проблем в .NET, он уже почти стандарт де факто, для многих современных программ требуется, так что в большинстве случаев давно у всех установлен.

Пусть лучше большие онлайн-библиотеки упорядочивают у себя свой контент - а мы просто будем потом скачивать уже упорядоченную продукцию.

Неплохо бы также изобрести некий такой механизм, чтобы каждый желающий смог бы принять участие в разборе, пополнении и упорядочивании больших онлайн-библиотек. Пока что такой вопрос вообще практически даже и не ставится.

Идея в том, что зачем каждому делать на своём домашнем компе одну и ту же работу по упорядочиванию - лучше сразу на Web-сервере навести порядок.

Конечно, тут возникают дополнительные сложности - например, элементарно не всегда удаётся найти общий язык с хозяевами той или иной библиотеки.

Во первых с ними попробуй договорись, во вторых ни кому особо не хочется работать на дядю, который не сегодня завтра переведет библиотеку на коммерческую основу (вспоминаем Либрусек). И начнет пожинать безвозмездный труд других. (

Все эти проблемы легко разрешатся при условии наличия метаданных в DjVu (и в PDF). При правильно заполненных метаданных нет никакой проблемы очень быстро найти все книги данного Автора, можно будет полностью автоматически сортировать книги по папкам.

О чем я и говорю! ...с самого начала этой темы. Будут удобные программы для просмотра и редактирования метаданных, все остальное само образуется, и как мне кажется довольно быстро. Причем удобство очень важно, если программа будет удобной, то людям сканирующим и сжимающие в djvu, будет не лень причесать книжку метаданными. В итоге как говориться PROFIT! всем.

Я бы предложил добавить поддержку DjVu-метаданных в Яндекс Персональный Поиск (ЯПП). Для ЯПП существует SDK, который даёт возможность писать собственные плагины.

Как вам не нравиться .NET, так мне не нравятся индексируемые поисковики (см. подробности например тут - http://www.djvu-scan.ru/forum/index.php?topic=121.msg1210#msg1210 5 пост).

...что зачем каждому делать на своём домашнем компе одну и ту же работу по упорядочиванию - лучше сразу на Web-сервере навести порядок.

Цитата с http://catbook.narod.ru/:

В интернете существуют множество электронных библиотек. В них книги лежат упорядоченно, отсортированные по разделам, авторам, году издания, серии и т.д. И вот ты скачиваешь 5, 10, 50 электронных книг, иногда в архивах, и... как и где книги хранить? Как быстро найти нужную?

    Лично я на пятидесятой книге запутался и захотел удобную программу.

И для домашнего упорядочивания нужны программы. Не всегда есть интернет под рукой, да и когда он есть, скачиваешь ты себе домашнюю коллекцию и как было сказано выше - в итоге запутываешься.

Имхо идеал тут в удобном каталогизаторе по метаданным, с возможностью их подредактировать\добавить + функция поиска по ключевым словам из OCR слоя по всем книгам.
Если уж и вести индексацию, то только по метаданным.

[monday2000]

Во первых с ними попробуй договорись, во вторых ни кому особо не хочется работать на дядю, который не сегодня завтра переведет библиотеку на коммерческую основу (вспоминаем Либрусек). И начнет пожинать безвозмездный труд других.

Да, это серьёзная проблема. Однако не безнадёжная. В случае перехода некой бесплатной библиотеки на платную основу её контент неизбежно где-то зеркалируется бесплатно. В случае Либрусека - lib.ololo.cc.
Что касается "работать на дядю" - то эта проблема касается всех, кто сканирует в DjVu. В основном, все сканируют для всех (а вовсе не ради самого себя) - иначе не получится толк. Так что эта проблема ИМХО не страшна на практике.

Нужно лишь работать с теми библиотеками, кому доверяешь. Такие есть - это Колхоз, Homelab, Либген и ещё несколько таких.

Кроме того, работа по упорядочиванию контента вообще-то говоря не очень сложна. И её вполне можно полуавтоматизировать - такие наработки уже есть. Например, метаданные можно заполнять, вытащив нужные куски текста из OCR-слоя.
Раз уж кто-то сканирует книги - то почему бы тогда кому-то их не каталогизировать - это куда менее трудозатратно, а эффект - очень велик.

И для домашнего упорядочивания нужны программы.

Вот хорошо бы, проведя домашнее упорядочивание, перенести полученное упорядочивание на Web-сервер с коллективной библиотекой. Правда, пока не знаю - как именно это сделать бы. Наверное, заменить своими упорядоченными книгами неупорядоченные серверные.

Домашнее упорядочивание должно подразумевать 2 вещи:

- Переделка низкокачественных книг в приемлемое качество (если нужно).
- Добавление метаданных.

и тогда, если каждый у себя на домашнем компьютере упорядочит часть общих книг с Web-сервера, и потом загрузит это упорядочивание на Web-сервер - то в итоге общий уровень порядка на Web-сервере ощутимо возрастёт.

Пока не знаю, как конкретно достичь такой цели. Надо подумать.

[Alfizik]

monday2000

Пока не знаю, как конкретно достичь такой цели. Надо подумать.

Есть идея, может не очень реальная или неподходящая, но все же. А что если ввести в онлайн-библиотеку такую фичу как возможность скачать книгу, только после того как пользователь оформить её или какую нибудь другую предложную ему онлайн-библиотекой из своего архива автоматически.

Т.е. пусть некто Вася Пупкин хочет скачать книгу А, и допустим в эту книгу еще не забиты метаданные. Тогда он получает допустим доступ к первым 5 и последним 5 страницам из книги А и на этой же сгененерированной веб странице находятся поля для метаданных, пользователь просматривая доступные 5+5 стр. вбивает метаданные в поля, после чего получает доступ ко всей книге. Если книга A уже обработанна кем то ранее, Васе Пупкину будет предложена для обработки другая еще не обработанная книга.

Таким образом пользователи библиотеки при обращении в библиотеку будут сами её обрабатывать.

Выглядит идея правда коряво, но может из неё можно что нибудь додумать другое. Есть опасность что пользователи для экономии времени будут вбивать всякую абракадабру.

[monday2000]

Alfizik
Мне эта идея не нравится, поскольку предполагает насилие.

Никакого насилия быть не должно - только добровольное участие.

Но есть добровольные методы: просьба, агитация, личный пример и т.п.

[monday2000]

Ссылки по теме:

http://theowoll.netau.net/
http://www.diybookscanner.org/forum/viewtopic.php?t=368

[monday2000]

Ссылка по теме:

Стандарты и нормы с издательском деле

http://editorz.narod.ru/stand/

[monday2000]

Библиотечно-библиографическая классификация (ББК). Рабочие таблицы для массовых библиотек [1999, RUS, DjVu]

Описание:
http://rutracker.org/forum/viewtopic.php?t=2318279

Я этот файл скачал и переделал в СТ (поскольку там не было сделано Deskew). Заодно размер сократился на 30% от исходного. Вот что получилось:

http://djvu-soft0001.nxt.ru/bbk_mass.rar  (5,06 МБ)
Зеркало:
http://ifolder.ru/20999868

Универсальная десятичная классификация (УДК) [1999-2007, PDF, RUS]

Описание:
http://rutracker.org/forum/viewtopic.php?t=2457984

http://ifolder.ru/20999563  (101 МБ)
Этот файл я ещё даже сам не успел скачать. Как скачаю, посмотрю, надо ли его в DjVu переделывать.

P.S. Это совершенно уникальные и довольно ценные справочники, которые практически никогда ранее не были доступны в эл. виде. Правда, я ещё точно не понял, зачем они обычному человеку, но, надеюсь, пригодятся.

[monday2000]

Универсальная десятичная классификация (УДК) [1999-2007, PDF, RUS]

Я переделал этот набор PDF-файлов в DjVu. Точнее, только часть PDF-файлов - потому что там в папке "Основные размеры УДК" обнаружились векторные PDF - переделывать которые в DjVu нет большого смысла.

Вот что получилось (смесь DjVu и векторных PDF):
http://djvu-soft0001.nxt.ru/udc_pdf_djvu.rar  (18 МБ)
Зеркало:
http://ifolder.ru/21013325

Размер уменьшился со 100 МБ до 18 МБ - по сравнению с оригиналом (при том же качестве).

И ещё на всякий случай я всё же сконвертировал PDF-файлы из папки "Основные размеры УДК" в DjVu. Вот они:
http://djvu-soft0001.nxt.ru/udc_main_djvu.rar  (24 МБ)
Зеркало:
http://ifolder.ru/21013412

интересно, что размер этих файлов получился даже больше, чем у первого архива - поскольку DjVu не может тягаться по весу с векторным PDF.

[don555]

Применяю каталог BookCAT. Версия 9,2 стоит на большом компе, версия 6,22 на нетбуке. И там и там есть возможность к данным по книге присоединить саму книгу.
В версии 9.2 вообще легко. Мышкой бросаешь книгу в pdf или djvu формате на раздел “файл” в отображении книги  программы и линк на неё остается в программе. Можно название редактировать. Естественно, если изменить место файла, то программа его не найдёт.
Очень удобно. У меня на компе где-то 600 книг в электронном формате. Невозможно запомнить, где что находится. А так, открыл каталог, по поиску в самом каталоге нашёл книгу. Зашёл в раздел файл, нажал на линк и книга отрывается полностью и моментально.

[Rezvan]

ИМХО дискуссия в данной ветке немного гуляет
И все это из-за невнятного заголовка.
Наверное имеет смысл разбить ветку на несколько.
Основной вопрос открыт - надо предложить вариант именования файла электронной книги. Хоть какой-то предварительный, но стандарт. Пусть его поначалу будет придерживаться 5 человек - если он окажется удачным - дальше пойдет быстрее.
Второй вопрос, который можно решить только после первого - автоматизация создания этого имени. Тут возможности шире - или руками или через метаданные файла или еще как-то.
Ну а дискуссия по программам - это совсем другая тема
PS Я бы ограничился очень коротким именем файла - только ISBN/ББК/УДН и название/начало названия до 3 слов. Все остальное внутри. В любой файловый менеджер легко загнать плагин просмотра всей информации

PPS Хотя одним стандартом именования файла ограничиваться неправильно. Их должно быть несколько - укороченный, полный, еще какой-то.  Каждый может использовать тот. который ему удобен. А конвертация из одного в другой при наличии метаданных - несложная задача

[monday2000]

Rezvan

ИМХО дискуссия в данной ветке немного гуляет

Да ничего страшного, должны быть, наверное, и такие топики. Сама тема-то настолько обширна, что заслуживает даже отдельного форума по-хорошему.

Основной вопрос открыт - надо предложить вариант именования файла электронной книги. Хоть какой-то предварительный, но стандарт.

У меня в голове уже сложился такой предварительный стандарт. Постараюсь его изложить в виде странички своего сайта. Сделаю это, когда найду время.

Второй вопрос, который можно решить только после первого - автоматизация создания этого имени. Тут возможности шире - или руками или через метаданные файла или еще как-то.

Этот вопрос нельзя решить без проработки вопроса о метаданных. Потому что программа для поименования должна одновременно как задавать имя файла, так и записывать те же данные в метаданные (+ ещё доп. данные в метаданные).

Так что сейчас самое актуальное - это ИМХО проработка проблематики DjVu (и PDF желательно) метаданных. А это, как я писал ранее, требует прочтения некоторой литературы - чтобы метаданные мы заполняли "как положено", согласно мировым стандартам - а не пихали отсебятину в DjVu-метаданные.

Ну а дискуссия по программам - это совсем другая тема

Строго говоря, с моей точки зрения обсуждать какие-либо готовые программы по каталогизации DjVu-книг вообще абсолютно бессмысленно в настоящее время - потому что ни одна из таких программ не умеет работать с DjVu-метаданными. Вот когда мы совместно разберёмся с DjVu-метаданными (я лично уж точно разберусь - планирую в течение 2011, если ничто не помешает) - вот тогда только лишь и можно будет подумать о программе-каталогизаторе для множества DjVu-файлов. Что толку пытаться СЕЙЧАС какой-либо программой каталогизировать некое множество DjVu-файлов - без учёта DjVu-метаданных это будет лишь пустая трата времени и усилий (поскольку это будет обязательно выглядеть как отсебятинское изобретение сущностей, совпадающих по смыслу с DjVu-метаданными).

PS Я бы ограничился очень коротким именем файла - только ISBN/ББК/УДН и название/начало названия до 3 слов. Все остальное внутри. В любой файловый менеджер легко загнать плагин просмотра всей информации

В любом случае, длина имени файла будет в пределах порядка 245 символов - с целью учесть ограничение Windows на максимальную длину пути файла.

PPS Хотя одним стандартом именования файла ограничиваться неправильно. Их должно быть несколько - укороченный, полный, еще какой-то.  Каждый может использовать тот. который ему удобен. А конвертация из одного в другой при наличии метаданных - несложная задача

Совершенно верно, этот вопрос уже тут поднимался. Я предложу свой вариант, который будет ИМХО оптимален для книжно-новостных сайтов.

Вообще я представляю себе жизнь любой DjVu-книги примерно так:

1. Некто частным образом сканирует книгу и создаёт её DjVu-версию. У этого человека далее возникает вопрос (не такой уж простой, кстати): куда её девать, эту книгу, куда выложить?

Как мне кажется (может, я и не прав), в основном человек выкладывает свою собственноручно отсканированную книгу в некое достаточно публичное место - некий форум, инфаната, или новостной сайт. У всех этих ресурсов (я бы назвал такие места "первичные источники") имеются такие свойства:

- обильно посещаются людьми
- активно обновляются
- используют либо торренты, либо файлообменники (т.е. относительно недолговечно пребывание там DjVu-книги)
- низкая концентрация DjVu-книг по страницам ресурса (обилие рекламы, всплывающих окон и т.п.).

Так вот, тот стандарт имени DjVu, что я собираюсь предложить, "заточен" как раз именно под такие "первичные источники". Отсюда и специфические требования к стандарту именования:

- человеко-понятность (имени файла).
- максимальная информативность при длине имени < 245.
- отсутствие юникода в имени файла.

Для "первичных источников", кстати, наиболее важно информативное имя файла - а вот метаданные там абсолютно побоку.

Но, как известно, судьба любой новой DjVu-книги не заканчивается попаданием в "первичные источники". Далее крупные онлайн-библиотеки периодически шерстят такие "первичные источники", и забирают оттуда DjVu-книги себе - уже на серьёзное, постоянное архивное хранение. Либо как-то иначе десятыми окольными путями DjVu-книги из "первичных источников" рано или поздно добираются в "архивные хранилища" (назовём их так). Как правило, они имеют некоммерческий характер (или около того).

Для "архивных хранилищ" имя файла уже не играет никакой роли. Им важны только метаданные, и всё.