В ScanTailor, как вкратце мне сообщил автор, Deskew делается путем поиска такого угла наклона, который максимизирует различия соседних строк в терминах количества черных пикселей. Сначала делается итеративный поиск с шагом 1 градус, а потом бинарный поиск в сторону лучшего результата. За подробностями естественно в исходники. В перспективе было бы здорово разобраться и с этим алгоритмом.
Вообщем с алгоритмом Deskew дела обстоят не плохо, есть исходники, статьи и главное желание разобраться, а что касается исправления ориентации: в ST исправление ориентации оставлено в ручном режиме, а нас интересует максимальная автоматизация процесса скан обработки.