SuiteCRM Data Integration é uma solução Extract, Transform and Load (ETL) que se conecta a uma instalação SuiteCRM existente para extrair dados de origem do banco de dados MySQL e carregá-los no Data Warehouse, que foi otimizado para funções analíticas. O SuiteCRM Data Integration pode ser instalado como uma solução autônoma e pode ser usado com outras ferramentas de relatório, se desejado.
Baixando e instalando o SuiteCRM
Data Integration SuiteCRM
Migração de dados requer os seguintes pré-requisitos instalados em seu servidor:
– Ambiente Linux OpenJDK 8 JRE (Java)
– wget
– descompactar fecho
– Compactar
– Servidor Mysql + um banco de dados MySQL vazio.
Existem duas maneiras de baixar o SuiteCRM Data Integration.
- Baixe do site SuiteCRM: um pacote pré-construído contendo scripts de instalação, servidor web e todas as bibliotecas de código aberto de terceiros necessárias.
- Clone o repositório SuiteCRM Data Integration: um script para construir o pacote de integração de dados SuiteCRM (gerando o mesmo pacote disponível através do site SuiteCRM).
Construir manualmente o pacote (clonando do repositório) Clonar repositório via terminal:
git clone https://github.com/ivylabs/suitecrm-data-integration
Navegue até o diretório do repositório recém-clonado e execute build.sh.
./build.sh
Isso deve gerar em seu terminal todos os arquivos que a solução baixa e compacta em um pacote. O final do script perguntará se você deseja excluir os arquivos de instalação.
Would you like to remove the installation files? This will save disk space. [y/N] y
————————————————————-
Build is complete!
————————————————————-
Isso irá gerar um pacote chamado suitecrm-data-integration-server.zip na raiz do seu diretório. Este é o mesmo pacote disponível através do site SuiteCRM.
Configurando a integração de dados SuiteCRM
Depois de baixar ou gerar o arquivo suitecrm-data-integration-server.zip, carregue e extraia esse arquivo em um servidor web hospedado. Navegue até a pasta suitecrm-data-integration-server recém-extraída e edite install.properties.
# Java Virtual Memory allocation JVM_SIZE=1024 # SuiteCRM Source Database Connection Details SUITECRM_HOST=127.0.0.1 SUITECRM_PORT=3306 SUITECRM_DATABASE=suitecrm_testdata SUITECRM_USERNAME=suitecrmrootuser SUITECRM_PASSWORD=suitecrmrootuserpassword # SuiteCRM Analytis Target Database Connection SUITECRM_ANALYTICS_HOST=127.0.0.1 SUITECRM_ANALYTICS_PORT=3306 SUITECRM_ANALYTICS_DATABASE=suitecrm_dwh SUITECRM_ANALYTICS_USERNAME=suitecrmrootuser SUITECRM_ANALYTICS_PASSWORD=suitecrmrootuserpassword # Enable SMTP email functionality SMTP_ENABLED=0 # SMTP Server Details SMTP_HOSTNAME=smtp.gmail.com SMTP_PORT=587 SMTP_USE_AUTHENTICATION=1 SMTP_USERNAME=user@suitecrm-analytics.co.uk SMTP_PASSWORD=password #SMTP_SECURE_AUTHENTICATION=#SMTP_SECURE_AUTHENTICATION=SSL SMTP_SECURE_AUTHENTICATION=TLS # Email address that SuiteCRM Analytics sends from SMTP_FROM_EMAIL_ADDRESS=donotreply@suitecrm-analytics.co.uk SMTP_FROM_EMAIL_NAME=SuiteCRM Analytics # Email addresses seperated by spaces that error emails are delivered to SMTP_SEND_ERROR_EMAILS_TO=user@suitecrm-analytics.co.uk # Set this to 1 or zero. Setting it to 1 means that you will get an email for every sucessful run on the ETL SMTP_SEND_SUCCESS_EMAILS=1 # Email addresses seperated by spaces that success emails are delivered to SMTP_SEND_SUCCESS_EMAILS_TO=user@suitecrm-analytics.co.uk user123@suitecrm-analytics.co.uk
Essas variáveis de configuração definem a conexão com seu banco de dados SuiteCRM para extrair informações.
# SuiteCRM Source Database Connection Details SUITECRM_HOST=127.0.0.1 SUITECRM_PORT=3306 SUITECRM_DATABASE=suitecrm_testdata SUITECRM_USERNAME=suitecrmrootuser SUITECRM_PASSWORD=suitecrmrootuserpassword
Essas variáveis de configuração definem a conexão com seu SuiteCRM Data Integration para transformar e carregar os dados extraídos do SuiteCRM.
# SuiteCRM Analytis Target Database Connection SUITECRM_ANALYTICS_HOST=127.0.0.1 SUITECRM_ANALYTICS_PORT=3306 SUITECRM_ANALYTICS_DATABASE=suitecrm_dwh SUITECRM_ANALYTICS_USERNAME=suitecrmrootuser SUITECRM_ANALYTICS_PASSWORD=suitecrmrootuserpassword
As variáveis de configuração do SMTP definirão a conexão com um cliente de e-mail para enviar notificações sobre o status do script de extração (sucesso ou falha). Estes são opcionais.
Instalando SuiteCRM Data Integration
Uma vez que a configuração foi definida, agora execute o script de configuração dentro do mesmo diretório raiz de seu suitecrm-data-integration.
./setup-suitecrm-data-integration.sh
Isso verificará a conexão de seus bancos de dados e criará as tabelas necessárias para extrair seus dados do SuiteCRM.
Em seguida, você pode executar o script SuiteCRM Data Integration para extrair e transformar seus dados.
./run-suitecrm-data-integration.sh
Isso deve gerar em seu terminal todos os registros referentes à extração, transformação e carregamento de dados nas tabelas do data warehouse.
A solução atualmente extrai dados dos seguintes módulos:
– Contas
– Campanhas
– Casos
– Contatos
– Faturas
– Conduz
– Oportunidades
– Produtos / categorias de produtos
– Comercial
– Campos personalizados de casos, leads
Este é o fim da instalação do SuiteCRM Data Integration. Se você deseja saber mais sobre as soluções Pentaho ETL, você pode visitar o guia do usuário Spoon.
Esta solução inclui um cliente de colher pré-embalado que pode ser executado via terminal.
./data-integration-client.sh
