sábado, 3 de septiembre de 2011

Diseño Sistema SAN para la Empresa DISFRUVER Ltda.

DEFINICIONES SISTEMAS DE RED DE ALMACENAMIENTO. 
S.A.N ( Storage Área Network)

Definiciones:


1. Qué es un almacenamiento SAN

Una red SAN es una red independiente de las redes LAN y WAN compuesta por dispositivos de almacenamiento interconectados mediante componentes de red dedicados  tales como conmutadores, concentradores y puentes.  Utiliza como medio de transmisión  redes de alta velocidad como canal de fibra por ejemplo aunque también se está utilizando sistemas SCSI para la transferencia de información con la implementación del protocolo iSCSI lo que convierte a esta alternativa como una de las más viables a bajo costo y alta tazas de transferencia.

Una SAN permite la libre gestión de almacenamiento de información descongestionando la red local de estos trabajos y recuperando recursos de espacios en los discos duros, siendo destinados para otros propósitos.  La red simplemente accede a la SAN a medida que necesite obtener o enviar información hacia o desde su interior.

Las redes SAN poseen un amplio nivel de escalabilidad y fiabilidad, además a través de ellas, se pueden generar copias de seguridad en muy poco tiempo, así como también  de una alta disponibilidad de la información y una gran velocidad de respuesta, recopilación de datos entre otros.

2. Cuáles son los componentes hardware del almacenamiento SAN. 

Entre los elementos de tipo Hardware que componen una red de área de almacenamiento se pueden mencionar los concentradores, conmutadores, puentes, servidores, cintas de copia de seguridad y Sistema RAID.

Los concentradores, conmutadores y puentes trabajan bajos sistemas de canal de fibra como medio transmisión, ya que necesitan altas de velocidades de trabajo para una eficiente respuesta en los sistemas de almacenamiento.

El concentrador en este tipo de redes, funciona de forma similar que en una red LAN normal, aunque con algunas variaciones con respecto al control de dispositivos, creando un punto central de conexión, cuando un dispositivo dentro del bucle de red presenta un fallo, el concentrado crea un bypass sobre el dispositivo permitiendo la continuación del funcionamiento del sistema.

Los conmutadores de Canal de Fibra son mas complejos que los concentradores, ofreciendo alta velocidad de enrutamiento, además crean un sistema punto a punto optimizados con el menor número de transceptores, generando mayor economía en la implantación de este tipo de redes de almacenamiento.

La conversión entre canal de Fibra y  puentes SCSI permiten aprovechar la inversión existente de los dispositivos de almacenamiento SCSI, donde se aprovecha todos los beneficios de la tecnología de Canal de Fibra, en pocas palabras permiten la alta velocidad de la Fibra sobre dispositivos SCSI.

El concepto de RAID o sistema de almacenamiento,  es la división y distribución de los datos entre las unidades de almacenamiento de datos, dependiendo de las necesidades se implantan algunos de los siguientes niveles:

Raid 0: se consigue alto rendimiento mediante la lectura en paralelo sobre los discos, pero si ocurre algún fallo, puede ocurrir perdidas de datos.

Raid 1. Este tipo es más utilizado cuando se precisa evitar la pérdida de la información, ya que el sistema hace una doble escritura, lo que genera una disminución en recursos de almacenamiento y no ofrece mejoría en cuanto a la velocidad se refiere.

Raid 2. Esta técnica permite la escritura en múltiples discos con uso de código de corrección de error ECC.  Cuando alguno de los discos falla, el sistema restaura el disco en tiempo real lo que origina una sobrecarga de recursos.

Raid 3. Es una versión simplificada de Raid 2, es muy útil cuando se realiza acceso a grandes velocidades sobre grandes cantidades de información, no es muy eficiente para acceso a pequeñas cantidades de datos.

Raid 4. Idéntico a Raid 3, solo varia en que los datos están dispersos en bloques, pueden ser leídos desde cualquier unidad individual en la matriz, excepto la unidad de paridad.

Raid 5 es la técnica más común actualmente, debido a que  la paridad se dispersa en todas las unidades, lo que permite evitar cuellos de botellas que se originaban en Raid 4.

3. Cuáles son las soluciones de backup empleando SAN

Una de las principales características de una red de área de Almacenamiento y es la posibilidad de la generación de copias de seguridad de los sistemas LAN, en forma rápida y efectiva.

Entre las soluciones que existen para las redes SAN se pueden mencionar:

v     Background: Mediante este sistema, la red LAN que usa el sistema SAN puede generar una copia de seguridad directa en la red de almacenamiento si usar recursos de la red propia, e inclusive sin estar conectada a la red, ya que la información se encuentra almacenada en la SAN.

v     Backup hardware: Existen dispositivos para realizar las copias de seguridad, a su vez es posible replicar estas copias sobre sistemas físicos redundantes que permiten además trasferirlas a una red WAN externa.

4. Características del software y de la gestión de software para almacenamientos SAN.

Para que un sistema de red de Almacenamiento pueda funcionar de la forma como lo hace, es necesario contra con software especializado que le permita al sistema la asignación de recursos de configuración y monitoreo, así como también la fiabilidad para el transporte y manejo de la información dentro de los dispositivos de seguridad de la red.

El sistema de gestión a su vez facilita la utilización del ancho de banda, el aprovisionamiento de enlaces redundantes en la topología, apoyo a multiplicidad de protocolos, entrega sin errores de la información entre otros.

5. Los servidores en cluster para SAN.

Mediante la aglomeración de servidores se pretende mejorar el rendimiento de la SAN, proporcionando protección contra fallos en caso un mal funcionamiento de alguno de los servidores. Además permite la disponibilidad continua y sin interrupciones de los datos y las aplicaciones durante y después de un error del servidor, siendo esto un gran beneficio que presenta la arquitectura de clúster de los servidores en una red de Almacenamiento.

6. La replicación de datos en SAN.

Permite la replicación de múltiples copias de información importante dentro de cualquier empresa, además también sirve para copiar información entre los dispositivos internos.

También permite la ejecución paralela de aplicaciones en varios sectores de almacenamiento, tanto en los principales como en los secundarios sin afectar la integridad del sistema.



PROPUESTA SISTEMA DE RED DE ALMACENAMIENTO SAN PARA DISFRUVER LTDA

Para la implementación del sistema de almacenamiento SAN para la empresa Disfruver Ltda., se deben considerar los siguientes aspectos:

1. Que cantidad de información va a concentrar en la SAN
2. Que disponibilidad de datos necesita la empresa
3. Que velocidades de respuesta del sistema es prioritario para el correcto funcionamiento de la misma.

Observando y analizando estas tres premisas se procede a entregar los psibles parámetros de trabajo de la red.

El anillo de la red se implantará mediante conexionado de Puentes SCSI que permiten usar la velocidad del canal de Fibra pero a bajo costo y conectándose a través de los sistemas SCSI de los dispositivos de almacenamiento, esto mediante uso de protocolos iSCSI.

Una unidad de almacenamiento con múltiples discos rígidos internos para copia, copia redundante y soporte ante fallos, que le permitan al sistema prevalecen ante caídas del sistema.

Podrá contar con 2 servidores que le permitan gestionar los aplicativos de control y manejo de los sistemas de copia y almacenamiento.

Cabe resaltar las características de los elementos antes mencionados dependen de las necesidades especificas de almacenamiento de la empresa, y además debe poseer sistemas redundantes de trabajo.

A través de la Figura 1 se ilustra en forma en forma general el diseño de la red SAN para la empresa DISFRUVER Ltda.



Figura 1. Concepto General de Red de Almacenamiento Disfruver Ltda.
Fuente: Jose Norbey Zamudio




Diseño Data Warehouse para la Empresa DISFRUVER Ltda.

PROPUESTA DE DISEÑO DE UN SISTEMA DE DATA WAREHOUSE PARA LA RED INFORMÁTICA DE LA EMPRESA DISFRUVER


1.  Información general

1.1 Nombre  del proyecto. Propuesta De Diseño De Un Sistema De Data Warehouse Para La Red Informática De La Empresa Disfruver

1.2 Entidad responsable:

Ingeniero Responsable:  Ing. Jose Norbey Zamudio Pardo.

Datos de Contacto:

Correo Electrónico: ing_norbey_zamudio@yahoo.com
Dirección Oficinas: 123 Castel Peak Road, Tin kau, Tsuen Wan, Kowloon, Hong Kong                     


2.  Introducción y diagnóstico

Cuando es necesario la consolidación eficaz de reportes e información referente a un área o tema especifico, es normal y común observar que los reportes pueden variar dependiendo quien o que área se quien lo expida, esto no implica que esté errónea la información o que haya faltantes. Esto generalmente sucede porque no todas las secciones de una empresa manejan los mismos datos o las mismos tipos de datos, entonces dependiendo de quien los emita, así mismo será la información que ofrecen internamente dichos reportes.

Mediante el análisis de las áreas y secciones especificas de trabajo y de acuerdo al tipo de información que deben manejar, se entrega una propuesta de diseño de un sistema de Almacenamiento de datos o Data WareHouse, para la empresa DISFRUVER que le permitirá una mejor manipulación de la información tanto actual, como histórica para la realización de reportes por parte de personal ajenos a las dependencias que originan la información y gestión de las bases de datos.

La implantación de un sistema de data Warehouse en la empresa DISFRUVER significa una gran inversión, determinada por la capacidad de los usuarios finales a adquirir la información en forma más rápida y eficiente

3.  Objetivo del proyecto

El objetivo principal del proyecto es el diseño de un sistema de almacenamiento de información para la empresa DISFRUVER LTDA que le permita el manejo de la información de la empresa, en forma eficaz, sin errores y disponibles en cualquier momento, de la forma que sea se necesite.

4.  Generalización de la Propuesta de Diseño:

4.1 Análisis de la Situación actual.

A partir del diseño inicial del sistema distribuido de la red DISFRUVER, se han definido las pautas a seguir en el respectivo diseño, sin necesidad de especificar los pasos intrínsecos para la elaboración del sistema de información, y de los servidores y aplicativos comunes de gestión.

Partiendo de un diseño inicial, y asumiendo las nuevas premisas sobre el uso de diversas tecnologías en las estaciones de trabajo,

Además observando las características del desarrollo comercial de la empresa se puede observar que se dedica a exportar frutas, especialmente al mercado común europeo, también comercializa sus productos en la sabana de Bogotá. Sus principales productos son pitahaya, higo, mango, piña, borojó, lulo, papaya, plátano bocadillo y anón.

Se encuentra dividida básicamente en tres áreas organizacionales

Ø      Área Financiera,  Compuesta por secciones de tipo operacional como:

Ø      Contabilidad
Ø      Facturación
Ø      Almacén
Ø      Presupuesto
Ø      Personal

o       Organiza la información relacionada sistemas contables, facturas, presupuestos designados entre otros

o       La información se Maneja bajo el Sistema de Aplicativos FSoft.

Ø      Área Recursos Humanos, conformada por seccionales de manejo de información de personal

v     Selección
v     Contratación
v     Nómina
v     Hojas de vida
v     Capacitación
v     Facturación

o       Almacena la información sobre todos y cada uno de las personas que laboran en la empresa.

o       La información se Maneja bajo el Sistema de Aplicativos RHSoft.

Ø      Área de Comercialización , encargada de:

v     Los Precios y Compras de Frutas
v     Mercadeo y  Ventas.           
v     Inventarios de Productos

o       Maneja datos sobre los productos y sus precios a nivel nacional e internacional para la realización de compras y ventas de los mismos,  de igual forma los relacionados con los clientes y proveedores.

o       La información se Maneja bajo el Sistema de Aplicativos COMSoft.

Ø      Unidad de Consultoría: está realizada de forma externa por la Empresa Consulting Internacional INC, que proporciona los servicios de:

Ø      Despachos Internacionales
Ø      Licencias de Exportación
Ø      Trámites Aduaneros
Ø      Embarques

o       Los aplicativos utilizados en el manejo de la información es propio.


4.2 Necesidades del negocio.

Ø      A continuación se puede referir los aspectos primordiales de las necesidades actuales de la empresa DSIFRUVER LTDA:

Ø      Ascenso de ventas cercanas a 6.500.000 de pesos, y volúmenes de comercialización a 4.300 Toneladas.

Ø      El 80% de las Ventas se realizaron a paises de Europa y del Caribe, el porcentaje restante en el mercado nacional.

Ø      La situación económica actual es muy buena, pero se esperan tiempo difíciles.

Ø      Existen algunas diferencias en los valores de los inventarios que se entregan mensualmente.

Ø      Próximamente la empresa incursionará en mercados nacionales importantes con una firma que posee grandes recursos e influencia en varias zonas del pais.

4.3 Información Requerida.

Mediante el análisis de las necesidades de la empresa, es posible generar una posible serie de información que los sistemas de cada área precisan obtener.

Ø      Presupuesto anual específico y detallado para compras de suministros  y productos.
Ø      Cantidad de unidades en productos vendidos por localidades
Ø      Cantidad de unidades de productos vendidos por clientes.
Ø      Cantidad de unidades vendidas por productos
Ø      Cantidad de unidades en productos comprados por proveedores
Ø      Cantidad de unidades compradas por productos
Ø      Reporte completo y combinado entre los reportes anteriores
Ø      Facturaciones anuales de compras y ventas de productos
Ø      Facturaciones anuales de compras de suministros

4.4 Usuarios del Data WareHouse.

El Data Warehouse será utilizado por los jefes de área de cada una de las dependencias que componen la empresa, así como también por personal del área administrativa que no conoce el proceso intrínseco de la producción.

4.5 Capacitación: Situación actual y Estrategias de difusión.

El personal que actualmente está asociado a cada una de las dependencias o secciones de las áreas operacionales, cuenta con manejos básicos y algunos con conocimientos avanzados en herramientas ofimáticas, como hojas de cálculo y procesadores de texto. A pesar de ello existe un desconocimiento completo referente al uso de un Data Warehouse, debido a esta falencia con respecto al tema, se administrará un programa de capacitación grupal sobre este nuevo concepto en la empresa, de tal forma que todos los nuevos usuarios puedan sacar el máximo de provecho de la nueva implantación del sistema de información.

La metodología de la capacitación podrá realizarse de varias formas, según sea conveniente en el entorno actual de la empresa, ya sea en forma presencial y según sea el caso se utilizarán los nuevos mecanismo de red implantados sobre el sistema INTRANET para realizarlo por métodos virtuales.

4.6 Arquitectura del Data WareHouse

Dentro de la arquitectura del Data WareHouse, uno de los aspectos bien importantes a tener en cuenta es el diseño de la arquitectura de Extracción, Transformación Y transporte. Para teal efecto se explica como se realizarán los requerimientos de cada uno de los procesos de la arquitectura:

v     Extracción: Siendo este el primer paso en la vía de la consecución de la información, es preciso conocer inicialmente el origen de los datos, de donde serán copiados para su posterior proceso.

Ø            Orígenes de Datos: Como se especificó anteriormente, las cuatro áreas que administran información en la empresa, cada una cuenta con un sistema diferente acorde a cada una de las labores locales, de tal forma que cada una genera, almacena y administra una base de datos interna, es allí donde se origina la información, desde allí los datos van hacia el Data WareHouse a través de los aplicativos FSoft para el área Financiera, RHSoft para el área de Recursos Humanos, COMSoft para el área de Comercialización, y por ultimo de la aplicación propia de la empresa de Consultoría Consulting Internacional INC.

Para realizar una correcta extracción de los datos es necesario seguir algunos lineamientos, de forma tal que se óptima la adquisición de la información en este punto, ya que de la efectiva extracción d elos datos, depende el correcto funcionamiento del Data Warehouse.

Algunos de los lineamientos a seguir son entre otros:

ü      Todos los procesos de extracción deben permitir el acceso múltiple a diversas fuentes de información.

ü      Es pertinente extraer los datos a un sistema temporal en caso que sea
            Necesario volver a realizar una extracción al sistema operacional.

ü      La extracción de información debe realizarse en forma periódica, mediante la obtención de los datos nuevos o modificados solamente. En caso que la identificación de los datos nuevos o modificados consuma demasiados recursos, ésta será cargada completamente.

ü      Correcta compresión de los datos para la carga.

v                 Transformación: Luego de la anterior Extracción de los datos, se procede a realizar la Transformación de los mismos para que sean observados por los usuarios finales, en forma estandarizada. Para la elaboración de este paso existe una serie de tipos de transformaciones y servicios:

ü      Corrección de Errores: Aquí se debe corregir errores de tipografía, ortografía, datos faltantes.

ü      Combinación de Fuentes de Datos: A través de búsquedas exactas de atributos o claves.

ü      Integración: Mediante la generación de claves subrogadas se elimina dependencias con las existentes en los sistemas operacionales.

ü      Seguimiento de cambios: Identificando la modificación de datos para la generación de históricos.

ü      Comprobación de Integridad referencial: En los procesos de carga y almacenamiento de ficheros log.

ü      Desnormalización y Normalización: de jerarquías de tablas e información de los sistemas operacionales.

ü      Conversión de Tipos de Datos para la homogenización  y formato de las fuentes de información.

ü      Cálculo Derivación y Distribución de registro para estandarizar los registro de presentación.

ü      Auditoría sobre el contenido de la información, que no contenga errores, es decir que el primer ítem de corrección de errores haya sido efectivo.

ü      Valores Nulos, mediante la normalización de datos generales que son desconocidos.

v                       Transporte: Una vez realizados los pasos anteriormente mencionados, se debe proceder a realizar el transporte de la información obtenida, por medio de procesos que permitan manejar grandes cantidades de datos.

ü      Múltiples Destinos, debe tener la capacidad de enviar información a diversos sistemas como Data Marts al mismo tiempo.

ü      Optimización de Cargas, Mediante los gestores de bases de datos relacionales convencionales, se utilizan métodos de optimización de carga para grandes volúmenes de información.

Las figuras 2 y 3 ubicadas en la sección de ANEXOS, ilustran los procesos anteriormente relacionados, los procesos generales desde el origen de los datos hasta la entrega al usuario final, así como también de la arquitectura del Data WareHouse sobre la Extracción, Transformación y transporte de la Información.

4.7 Condiciones de Orientación, Integración, Variabilidad en el tiempo, Volatilidad.

4.7.1 Orientación a Sujetos.

Mediante el análisis de los parámetros utilizados en la información que se trabajará en el Data WareHouse, se puede observar la orientación del sistema a los sujetos: Productos, Clientes, Proveedores y Empleados.

Los datos relacionados a la información pertinente de cada uno de los sujetos del sistema

ü      Productos.

§         Id Producto
§         Tipo
§         Humedad
§         Calidad
§         Tipo Producto
§         Peso


ü      Clientes

§         Id Cliente
§         Tipo Cliente
§         Nombre y Apellido
§         Identificación
§         Residencia
§         Ciudad
§         Número Telefónico

ü      Proveedores

§         Id Proveedor
§         Tipo Cliente
§         Nombre y Apellido
§         Identificación NIT
§         Dirección
§         Ciudad
§         Número Telefónico

ü      Empleados

§         Id Empleado
§         Fecha Nacimiento
§         Nombre y Apellido
§         Identificación
§         Dirección residencia
§         Ciudad
§         Número Telefónico

4.7.2 Integración.

El sistema de data WareHouse para la empresa DISFRUVER contará con las características de integración de datos mediante un sistema de transformación de información eficiente que implantará mecanismos de integración de claves subrogadas sobre los registro que lo ameriten permitiendo de tal forma que los sistemas de datos sean compatibles y estándares en todo el sistema de almacenamiento de la información. De igual forma se usarán sistemas de codificación de campos de registros, medición de atributos, convenciones de Nombramientos y documentación de la información para ser transferidas en forma múltiple cuando sea el caso.

4.7.3 Variabilidad en el tiempo.

La información se extenderá sobre un horizonte de 5 a 10 años, como sea necesario, mediante la elaboración de aplicaciones flexible para el manejo de información.

A través de la implantación de estructuras claves de tiempo sobre las bases de datos para realizar manejo de la información y su correcta monitorización.

Mediante el bloqueo de operabilidad en la actualización de la información que ha sido correctamente almacenada y registrada.

4.7.4 No Volatilidad.

Al no existir en el producto final la medida de actualización de la información, se contrarresta el problema de la volatilización de la información, de que la información sea cambiante constantemente. Esto permite realizar copias de seguridad, recuperación, transacción e integridad de los datos.

4.8 Herramientas de usuario.

Para el analisis, observación y manejo de la información existente dentro del sistema de data Warehouse es indispensable el uso de herramientas especilaizadas en tales funciones, que permitan el acceso, analisis, trasnformación de la información, entre otros.

Los software usados en el data warehouse se clasifican en Herramientas de Consulta y Reporte, Herramientas de Base de Datos Multidimensionales/ Olap (On Line Analytical Processing), Sistemas de Información Ejecutivos, Herramientas Data Mining y los Sistemas de Gestión de Bases de Datos propiamente.

5. Anexos



Figura 1. Arquitectura del sistema de Data Warehouse para la empresa DISFRUVER desde el punto de vista Extracción, Transformación y trasnporte de la información.
Fuente: Jose Norbey Zamudio


Figura 2. Arquitectura General del sistema de Data Warehouse para la empresa DISFRUVER.
Fuente: Jose Norbey Zamudio