Guia de Configuração - Conversor de Documentos Distribuído

Introdução

Neste guia serão apresentados os passos para fazer a configuração do Conversor de Documentos de forma Distribuída.

O que é a conversão de documentos?

No módulo de Documentos é possível fazer o upload de documentos de diversas extensões para dentro do Fusion, que podem ser visualizados utilizando os visualizadores de documentos do Fusion (Visualizador Universal e Visualizador PDF). Para que essa operação seja possível, uma conversão é realizada no documento permitindo essa renderização dentro do sistema, além da possibilidade de pesquisa interna no documento quando ele está no formato PDF utilizando a tecnologia OCR.

Essa conversão pode ser configurada para acontecer de forma Interna (próprio Fusion) ou Distribuída (como serviço).

Interno ou Distribuído?

No formato Interno, o próprio ambiente Fusion fará a conversão de documentos utilizando rotinas já inclusas no pacote Fusion.

No formato Distribuído, o ambiente Fusion não será responsável pela conversão dos documentos, e sim um conversor externo ao ambiente, poupando recursos alocados especificamente para o Fusion e melhorando a performance do ambiente em casos onde existem grandes quantidade de documentos sendo manipuladas no sistema constantemente.

E ainda, no formato distribuído, podemos optar entre diferentes abordagens:

1. Ambiente Fusion e Conversor Distribuído na mesma máquina Windows: Nessa configuração retira-se do Ambiente Fusion a responsabilidade sobre a rotina de conversão de documentos e ela fica a cargo do conversor distribuído.
2. Ambiente Fusion e Conversor Distribuído em máquinas Windows diferentes: Essa configuração permite que o Ambiente Fusion e o conversor estejam em maquinas diferentes, dessa forma não só a rotina de conversão é realizada externa ao Fusion como ainda estará em outra máquina consumindo um hardware diferente.

A vantagem de utilizar um conversor distribuído está no aspecto de cada “parte” ter seus próprios recursos de software, pois dessa forma, o ambiente Fusion continua funcionando normalmente sem lentidão mesmo quando quantidades massivas de documentos estão sendo manipuladas.

Requisitos Mínimos

Requisitos Mínimos do Servidor

Abaixo você pode ver quais os recursos mínimos necessários no servidor que irá receber o conversor distribuído.

Nota

Estes são os requisitos mínimos de servidor, é recomendado a contratação do serviço de “sizing” para seu correto dimensionamento.

Nota

Ao optar por utilizar o Microsoft Office como conversor de documentos é necessário ler com atenção o Guia de Instalação - Servidor Fusion para fazer uma configuração extra de parâmetro no Tomcat caso a pasta auxiliar padrão de conversão possua espaços em branco em seu nome.

Windows

Componentes	Requisitos
Disco	4 GB de espaço livre em disco (para a instalação)
Memória RAM	8 GB
Processamento	Processador Quad Core (preferencialmente 2 processadores)
Sistema Operacional	Windows Server 2012 ou superior (64-bits). Para mais informações, acesse https://www.oracle.com/java/technologies/javase/products-doc-jdk11certconfig.html
Softwares	Java OpenJDK-11.0.15 (64-bits) (Ou superior dentro da versão 11 (11.0.X)) LibreOffice 7.3.7.2 GhostScript 9.55.0 Microsoft Office (Opcional) eDrawings 2019 (Opcional)

Cloud AWS

Para realizar a instalação em um ambiente AWS, são necessários criar os seguintes recursos:

• Duas instâncias EC2, sendo uma no mínimo t3.large para o Fusion e outra no mínimo t3.small para o conversor. (Sendo essa segunda instância especifica para o conversor distribuído, sendo necessária caso opte pela segunda abordagem, caso contrário, crie apenas uma instância.) ;
• Uma instância RDS, no mínimo db.t3.small SQL Server, MySQL ou Oracle.

Recomenda-se criar as três instâncias na mesma região, VPC e sub-rede.

Ao criar a primeira instância EC2, para o Fusion, recomenda-se adicionar dois volumes de armazenamento EBS (SSD gp2 ou superior), sendo um para o sistema, com pelo menos 20GB e outro para o armazenamento e arquivos do Fusion, com pelo menos 40 GB, e configurar o backup diário dos dois discos por meio de snapshots. Além disso, deve-se configurar o security group para permitir o acesso público das portas 443 e 80, e restringir o acesso das portas 22 ou 3306.

Ao criar a segunda instância EC2, para o conversor, recomenda-se adicionar um volume de armazenamento EBS (SSD gp2 ou superior) para o conversor distribuído, com pelo menos 4GB. Além disso, deve-se configurar o security group para permitir o acesso entre as maquinas (Fusion x Conversor) através da porta 8888.

Na instância RDS, recomenda-se remover o acesso público, e configurar o backup diário por meio das snapshots, no mesmo horário configurado para a realização do backup dos volumes EBS.

Softwares Auxiliares

É imprescindível para que haja sucesso na configuração do conversor distribuído que os softwares listados abaixo estejam instalados e configurados corretamente, com exceção dos que forem apontados como opcionais.

Nota

Note que ao optar pela primeira abordagem onde o Ambiente Fusion e o Conversor Distribuído estão na mesma máquina, caso você já possua os softwares instalados, conforme orientado no Guia de Instalação - Servidor Fusion, não é necessário instalar eles novamente.

Eles são apresentados abaixo apenas como instruções a serem realizadas em máquinas que ainda não o possuem, no caso da segunda abordagem.

Java

Para instalar o Java OpenJDK-11.0.15 (Ou superior dentro da versão 11, 11.0.X), siga os processos conforme exemplo abaixo:

Passo 1: Baixando o arquivo

Baixe o arquivo referente a versão do sistema do servidor através deste link.

Passo 2: Instalando o arquivo

Após baixar o arquivo execute ele para que ele possa ser instalado na máquina do servidor:

Clique em Next.

Clique em I accept the terms in the License Agreement e depois em Next:

Caso queira alterar o caminho do OpenJDK clique em Browse e escolha o caminho desejado. Após alterar o caminho conforme desejado clique em Next.

Agora basta clicar em Install e o arquivo será instalado:

LibreOffice

• Para o LibreOffice:

Faça o download utilizando o link abaixo: https://downloadarchive.documentfoundation.org/libreoffice/old/7.3.7.2/win/x86_64/LibreOffice_7.3.7.2_Win_x64.msi

Após a finalização do download clique sobre o arquivo baixado e siga os passos indicados nas telas.

Microsoft Office

• Caso opte por utilizar o Microsoft Office:

Baixe seu pacote Microsoft Office e obtenha uma licença de uso para o mesmo. Siga os passos de instalação indicados pela própria Microsoft.

É importante que a partir deste momento o serviço do Microsoft Office passe a ter um usuário nomeado. Para isso, deve-se realizar a configuração DCOM abaixo:

Acesse Executar no menu do Windows, digite dcomcnfg e clique em Enter. Vá na pasta DCOM Config e localize o Documento do Microsoft Word 97 -2003, como na figura abaixo:

Clique com o botão direito do mouse e acesse Propriedades -> Identity -> This user e coloque o usuário e senha que será utilizado tanto pelo dcom, quanto pelo serviço do Fusion.

Este usuário adicionado no serviço deve ser administrador local e ter feito um login interativo para criar o perfil que o Word precisa para converter documentos. O usuário configurado no dcom deve ser o mesmo usuário do serviço do Fusion.

No Microsoft Word deve-se habilitar a opção Atualizar campos antes de imprimir, para isso vá em Arquivo > Opções:

Em Exibir, selecione a opção indicada:

Finalize clicando em Ok.

GhostScript

Para realizar a instalação padrão do GhostScript faça o download nesse link

Após a finalização do download clique no arquivo baixado e siga os passos de instalação indicados nas telas do instalador da aplicação.

eDrawings Viewer

Para realizar a instalação padrão do eDrawings faça o download utilizando o link abaixo:

Link para download: https://www.edrawingsviewer.com/download-edrawings

Ao acessar o link, selecione a opção eDrawings Viewer para Windows e vocês será redirecionado para uma nova janela. Nela selecione eDrawings Viewer only e clique em next. Na tela seguinte clique em Download. Por fim confirme os requisitos de elegibilidade para que o download possa ser realizado clicando em I confirm the accuracy of the statements above e após clicando em Accept Agreement & Continue.

Após a finalização do download, clique sobre o arquivo baixado e siga os passos de instalação indicados na tela do instalador da aplicação.

Orientações Recomendadas

É recomendada a criação de uma estrutura de pastas para manter a organização e facilitar a manutenção no futuro do seu conversor distribuído.

Pasta 1: C:\neomind
Pasta 2: C:\neomind\fusion
Pasta 3: C:\neomind\fusion\converter
Pasta 4: C:\neomind\fusion\converter\tess4j
Pasta 5: C:\neomind\fusion\converter\tess4j\win32-x86-64

Primeiro, crie uma pasta chamada neomind e em seguida crie, dentro dela, uma nova pasta chamada fusion. Dessa forma, os arquivos relacionados a Neomind e ao Fusion estarão organizados.

Em seguida, crie uma pasta chamada converter. Nela, colocaremos os arquivos relacionados ao conversor de documentos distribuído.

Por fim, crie uma pasta chamada tess4j e dentro dela crie uma subpasta chamada win32-x86-64. Essas pastas serão usadas como referência para executar as DLLs, que são necessárias para iniciar o tesseract.

Nota

Note que, ao optar pela primeira abordagem, onde o Ambiente Fusion e o Conversor Distribuído estão na mesma máquina, você já possuirá algumas ou todas as pastas criadas. Nesse caso, crie apenas as que não possuir ainda.

Configurando o Conversor Distribuído

Os passos de configuração são os mesmos independente da abordagem escolhida, o que as diferencia é o local onde serão feitas.

Na primeira abordagem, serão feitas as configurações abaixo na mesma máquina onde está instalado o ambiente Fusion.

Na segunda abordagem, serão feitas as configurações abaixo em uma máquina diferente da máquina que possui o ambiente Fusion instalado.

Baixando o Conversor Distribuído

Baixe o conversor de documentos do Fusion nesse link.

Após fazer o download, mova o arquivo para a pasta converter criada anteriormente.

Em seguida, extraia as pastas win32-x86-64 e log4j.properties do conteúdo .jar baixado.

Copie os arquivos liblept1820.dll e llibtesseract500.dll da pasta win32-x86-64 que foi extraída do arquivo .jar e cole na pasta win32-x86-64, criada dentro da pasta tess4j.

Configurando o conf.properties

Atenção

Vale ressaltar um ponto importante nessa configuração.

Existe uma propriedade no conf.properties chamada dwg.timeout, ela define o tempo limite de execução de uma conversão para arquivos dgw.

O valor padrão atribuído à ele é 1, que corresponde a 1 minuto. Os valores passados para essa constante são correspondentes ao tipo de tempo: minutos.

Ao configurar o Conversor Distribuído, é necessário definir um valor correspondente ao tamanho dos arquivos.

Se o valor do dwg.timeout for definido como "0", por exemplo, não haverá tempo limite e a execução só irá encerrar quando o arquivo for totalmente convertido.

Vale dedicar atenção a esse ponto, pois o consumo de recursos da máquina no momento da conversão é alto. Por isso, é importante ter ciência do desempenho do hardware para que a opção sem timout seja utilizada.

Abra o arquivo conf.properties com um editor de código da sua preferência. Nele, você deve fazer algumas alterações:

converter.number.threads=10
converter.initial.queue.size=2
openoffice.path=//C:/Program Files/LibreOffice/program/soffice.exe
msoffice.installed=true
ghost.script.path=//C:/Program Files/gs/gs10.00.0/bin/gswin64c.exe
tiff.threads=20
dwg.enabled=true 
port=8888

Na linha 1, será configurado o número total de threads disponibilizadas.
Na linha 2, será configurado o número total de threads iniciais.
Na linha 3, após o “=”, inclua o caminho da pasta no servidor onde está localizado o LibreOffice, apontando ao executável.
Na linha 4, caso você deseje utilizar o Microsoft Office como conversor de documentos, mantenha ela assim. Caso contrario, modifique o parametro true para false.
Na linha 5, após o “=”, inclua o caminho da pasta no servidor onde está localizado o GhostScript, apontando ao executável.
Na linha 6, temos o parâmetro que é usado para identificar quantas threads farão a conversão do TIFF (Tagged Image File Format).
Na linha 7, é informado através do parametro true/false se o eDrawings foi baixado e instalado, ou seja, se está ativo para ser usado na conversão.
Na linha 8, altere a porta se desejar. Ao manter a porta 8888, apenas certifique-se de que ela esteja livre, ou seja, que nenhuma outra aplicação esteja usando-a.

Nota

O valor de thread informado nas linhas 1,2 e 6 são valores padrões, e só devem ser alterados por pessoas experientes em relação a infraestrutura.

A seguir, temos um exemplo que mostra como seu arquivo deve estar após as configurações serem realizadas. Note que no exemplo, o Microsoft Office não será utilizado como conversor de documentos.

Atenção

Ao configurar os caminhos para o Libre Office e GhostScript, algumas configurações são necessárias:

• Utilizar / (barra) ao invés de \ (contrabarra). Dessa forma, o Java consegue fazer a leitura e execução correta dos arquivos;
• Adicionar duas / (barra) antes de iniciar o caminho, conforme mostra na imagem anterior.

Nota

Você pode adicionar o parâmetro extra abaixo, identificando quantas threads ficarão responsáveis pela aplicação do OCR nos documentos. Note que este é um parâmetro opcional, que pode ser útil para auxiliar no desempenho quando o OCR estiver impactando a performance do ambiente. O número de threads só deve ser alterado por pessoas experientes em relação a infraestrutura.

ocr.number.threads=6

Após finalizar as configurações, salve e feche o arquivo.

Para executar o Conversor Distribuído, você pode dar um duplo clique sobre o arquivo .jar ou executar o passo Configurando e Executando o Arquivo Batch.

Configurando o Compartilhamento de pastas

Esse passo é necessário apenas se você optar pela segunda abordagem, onde o ambiente Fusion estará em uma máquina e o Conversor estará em outra.

Pelo fato de estarem em máquinas diferentes é necessário configurar o compartilhamento de algumas pastas necessárias para a conversão. Dessa forma o conversor, mesmo estando em outro local, consegue localizar e utilizar as pastas ligadas ao Fusion que ele necessita.

As pastas que você precisa compartilhar se encontram dentro da pasta que contém seu ambiente Fusion, sendo elas a pasta file e a pasta file_cache. Caso a segunda não exista ainda, você pode cria-lá.

Nota

Se você nunca utilizou o conversor de documentos pode ser que a pasta file_cache ainda não exista em sua estrutura de pastas, por isso será necessário criá-la, exatamente com esse nome.

Para realizar o compartilhamento, execute os passos abaixo para ambas as pastas (file e file_cache).

1. Acesse as propriedades da pasta e vá até a aba Compartilhamento:

2. Clique em Compartilhar e a tela do print a seguir será aberta. Nela você deve configurar quem são as pessoas, ou seja, identificar as máquinas que poderão acessar a pasta.

Lembre-se de configurar o tipo da permissão conforme for necessário (Leitura ou Leitura/Gravação).

3. Clique em Compartilhar. Em seguida após as configurações serem aplicadas clique em Pronto.

4. Acesse seu ambiente Fusion e altere o caminho da Pasta para cache e da Pasta de arquivos do Fusion, para ficarem de acordo com o caminho das pastas compartilhadas.

Também precisaremos adicionar as seguintes linhas no arquivo conf.properties:

Nota

Além das linhas abaixo deve-se manter no arquivo as linhas que já foram adicionadas anteriormente.

temp.dir=C:\neomind\fusion\converter\temp
server.temp.dir=\\\\NEO067\\storage\\file\\temp\\
converter.filesPath=\\\\ NEO067\\storage\\file
converter.cachePath=\\\\ NEO067\\storage\\file_cache

Na linha 1 deve-se criar uma pasta “temp” no servidor em que foi instalado o conversor distribuído no caminho C:\neomind\fusion\converter\temp. Sendo assim essa linha estará apontando para essa pasta.
Na linha 2 deve-se inserir o caminho da pasta “temp” (dentro da pasta “file”) que está sendo compartilhada pelo servidor do Fusion.
Na linha 3 será informado o caminho da pasta file (compartilhada pelo servidor do Fusion).
Na linha 4 informará o caminho da pasta file_cache (compartilhada pelo servidor do Fusion).

Nota

Note que a linha 1 possui um caminho de uma pasta criada no servidor onde foi instalado o conversor de documentos distribuído. Já nas linhas 2, 3 e 4 serão colocadas informações que estarão disponíveis no servidor onde o Fusion foi instalado.

O arquivo ficará da seguinte forma:

Atenção

Ao configurar os caminhos do server.temp.dir, converter.filesPath e converter.cachePath, algumas configurações são necessárias:

• Adicionar quatro \ (barra inversa) antes de cada caminho;
• Utilizar duas \ (barra inversa) entre as pastas;
• Na linha do server.temp.dir, também adicionar duas \ (barra inversa) no final do caminho.

Configurando e Executando o Arquivo batch

Caso queira colocar no agendador de tarefas do windows o próximo passo é criar um arquivo batch dentro da pasta que contém os arquivos do conversor. Note que esse passo é opcional.

O arquivo Batch permite que alguns comandos em sequência sejam passados para o sistema operacional de forma mais ágil.

Crie um arquivo chamado start.bat e abra esse arquivo com o editor de código ou texto de sua preferencia.

Em seguida copie e cole as linhas do bloco de código a seguir para dentro do seu arquivo.

@echo off
echo [%date% %time%] Started in new console...
:loop
start "NeoConverter" /wait /low "C:\Program Files\Java\jdk-11.0.11.9-hotspot \bin\javaw.exe" -jar "C:\neomind\fusion\converter\neoConverter-1.4.13-full.jar" 4gb-Xmx=4096M
echo [%date% %time%] Process exited... (maybe crashed?)
echo [%date% %time%] Started in new console...
goto loop

Na linha 4, modifique o caminho para o Java para que fique de acordo com o caminho no seu servidor ou máquina. Note que ele aponta para o arquivo executável que existem dentro da pasta do Java cujo sufixo é a letra w.
Na linha 5, modifique a o caminho, se necessário, do neoConverter para que fique de acordo com o caminho que você está utilizando.

Nota

Importante ressaltar que, a configuração da memória deve ser de 50% da capacidade total .
Ou seja, nas linhas de comando aplicadas acima, foi configurado 4GB de memória, visto que a máquina deve possuir 8GB no total.

Após finalizar, salve e feche o arquivo.

Para executar o arquivo, dê um duplo clique sobre ele. Então o prompt de comando do Windows será aberto e iniciará a execução dos comandos do arquivo.

Configurando o arquivo Batch para iniciar com o Windows

Para que o arquivo start.bat, execute automaticamente toda vez que o Windows for iniciado será necessário colocar o arquivo dentro da pasta Inicializar. Para encontrar essa pasta dentro do servidor alguns passos serão necessários:

1. Acesse Executar no menu do Windows (win + R) e digite shell:startup e clique em OK:

2. A pasta Inicializar será aberta. Então basta colocar o arquivo start.bat configurado no passo anterior:

Pronto, agora toda vez que seu servidor for iniciado o Conversor Distribuído estará iniciando automaticamente.

Configurações no Fusion

Acesse seu ambiente Fusion utilizando um usuário administrador e acesse no módulo Administração > Sistema o item Conversor de Documentos.

Nos campos desse item será feita a conexão do conversor configurado com o sistema do Fusion.

Para isso preencha os campos conforme orientado a seguir:

1. Distribuído: Selecione Sim para permitir que mais de um computador possa realizar conversões.
   
2. Pasta para Cache: Para não precisar realizar uma conversão toda vez que um arquivo for visualizado, o Fusion guarda esses documentos convertidos em uma pasta no servidor. Geralmente esse campo já vem preenchido com o caminho da pasta para armazenamento do cache.
   
3. Servidores de Conversão: Cadastre os servidores que foram realizadas as configurações. Ao clicar em Novo, será exibida a seguinte tela:

3.1 Nome: Informe um nome para identificar o servidor.
3.2 Endereço: Informe o IP da máquina em que está configurado o conversor.
3.3 Porta: Informe a mesma porta que foi preenchida no arquivo conf.properties.
3.4 Habilitado: Marque Sim para que o servidor fique ativo e contribua na conversão de documentos, ao selecionar Não as configurações serão salvas, porém o servidor não fará conversões.

Os itens: Disponível, Status do Conversor CAD, Status do Microsoft Office e Status do PDF, são itens informativos que demonstram o status das operações do conversor de documentos. Através deles quando estão com um ícone verde de “certo” podemos identificar que a conexão e as operações de conversão estão corretas ou através do ícone vermelho de “x” podemos identificar se houve problemas na conexão.

Após finalizar o cadastro do Servidor de Conversão clique em Aplicar para que as configurações sejam aplicadas e a tela recarregada.

Você poderá ver após o carregamento o status dos itens Disponível, Status do Conversor CAD, Status do Microsoft Office e Status do PDF que devem estar com um sinal de Certo na cor verde indicando que todos estão funcionando corretamente.

Caso estejam com um “X” vermelho revise a execução dos passos desse guia, observe o log e/ou entre em contato com nossa equipe de atendimento, pois significa que houve algum problema durante o percurso da configuração.

4. Adapter de Customização: Insira o nome da classe java relativa a customização que deseja utilizar.
5. Habilitar OCR em Documentos: Selecione Sim para habilitar a pesquisa por imagem dentro de documentos, caso contrário selecione Não.
6. Qualidade em DPI da visualização de arquivos: Escolha a resolução desejada para as imagens.

Após finalizar a configuração, clique em Ok ou Aplicar.