Portada » Porque DevOps difiere de la de administrador de Big Data y Sysadmin

Porque DevOps difiere de la de administrador de Big Data y Sysadmin

by Donal Sandro Noblejas Huaman

A pesar de casi 20 años de historia, el término “DevOps”, incluso en el entorno de TI todavía existe la idea de que todos los objetivos de este -ingeniero devops puede realizar un administrador del sistema. Por qué no es tan y como están las cosas con la administración de Big Data.

Criterios y fuentes de datos para comparar

Después de analizar la descripción de puestos populares una lista de los más buscados de la tecnología para sisadmin, administrador de Big Data y DevOps-ingeniero y han seleccionado a los siguientes criterios de comparación de estos profesionales:

El objetivo principal y las principales tareas de trabajo;
El tiempo de los factores clave para el surgimiento de la profesión;
Los objetos de trabajo;
Necesarios de la competencia (las herramientas, los instrumentos y la tecnología);
La interacción con los demás participantes de los procesos de desarrollo y explotación de tecnologías de la información;
El sueldo.
Según los resultados de esta comparación, se hacen las conclusiones de más frecuente aplicación de la dirección de estas disciplinas y la posibilidad de intercambiar.

Análisis comparativo del trabajo sisadmin, administrador de Big Data y DevOps-ingeniero

Históricamente, estas 3 especialización han surgido en diferentes momentos y por diferentes motivos:

la profesión de administrador del sistema ha aparecido en el 80 y el 90 de los ochenta del siglo XX, cuando las grandes empresas comprendieron que las computadoras, requirieran de mantenimiento permanente;
la necesidad de DevOps-ingenieros se formó a principios del siglo XXI (2000 ), cuando en el mundo de las TI de las grandes empresas ha surgido el problema de seguimiento de los procesos de trabajo;
los administradores de Big Data demandados en la 2da década del siglo XXI (después del año 2010), cuando la tecnología de Big Data empezaron a crecer rápidamente y utilizar en la práctica.

Por lo tanto, la aplicación de las áreas de responsabilidad y los objetos de trabajo de estos profesionales son ligeramente diferentes entre sí:

el administrador de sistemas de hardware y software de computadoras personales de los usuarios finales de la red y los dispositivos periféricos
el administrador de Big Data se comunica con el clúster Apache Hadoop, servicios en la nube y servicios virtuales de los servidores;

DevOps es un ingeniero se encarga de configurar los trabajos, de prueba y de producción de los servidores.
En el marco de su trabajo de los profesionales que interactúan con los diferentes tipos de actores de los procesos de ti:

el administrador del sistema, en general, trabaja con los usuarios finales y la dirección, por ejemplo, para la adquisición de un nuevo software o hardware;
el administrador de Big Data se refiere al grupo de Data Professional’s, en colaboración con analistas e ingenieros de grandes volúmenes de datos, Data Scientist’s, así como los desarrolladores de software.
DevOps es un ingeniero que tiene que ver con los desarrolladores y testers, y a veces realiza parte de sus tareas de trabajo.

De que se ocupa el ingeniero DevOps
Objetivos y metas profesionales

El objetivo principal del administrador del sistema – es el mantenimiento de la plantilla de la red de computadoras, hardware y software, así como la seguridad de la información en la organización.
El objetivo del administrador de Big Data es una garantía de buen funcionamiento de la infraestructura de ti de Big Data de los sistemas, así como desde el punto de vista de la seguridad.
Y DevOps-ingeniero tiene el objeto de garantizar la adaptación y la integración de los procesos de desarrollo, pruebas, implementación y mantenimiento de aplicaciones y servicios.

Entre los objetivos fundamentales de sysadmin son:

configuración y mantenimiento de la red local de la empresa;
la instalación, monitoreo y configuración de hardware y software, sistemas operativos y aplicaciones, así como sus actualizaciones;
establecer y mantener al día el estado de cuentas de usuario;
la redundancia de los datos, la revisión periódica y la destrucción;
seguridad de la información en la empresa;
administración de los servidores de la empresa (correo, servidor web);
reparación de hardware de computadoras y periféricos;
asistencia técnica a los usuarios.

El administrador de Big Data cumple con:

creación y mantenimiento de la infraestructura de ti de Big Data de los sistemas;
configuración locales y en la nube de clústeres de Hadoop;
configuración de servicios en la nube, plataformas y soluciones de infraestructura de Big Data;
administración de la base de datos de Big Data;
la implementación de ETL-empresariales y los sistemas de almacenamiento de datos;
el desarrollo y la implementación de políticas de gestión de usuarios de los sistemas de Big Data;
seguridad de la información de cluster server;
la supervisión del rendimiento y el equilibrio de la carga en los servidores;
seguridad de la información de los clústeres y sistemas;
copia de seguridad y recuperación de datos en caso de fallos.

DevOps es un ingeniero es responsable de:

la implementación entregada por los desarrolladores de revisión;
instalación, configuración y garantizar el correcto funcionamiento de los servidores web y los servidores de infraestructura de desarrollo;
la normalización en el entorno de desarrollo;
preparación del entorno productivo frecuente contribuir de los cambios;
la automatización de los procesos de pruebas e implementación.
la creación de un sistema de integración continua del proyecto (CI);
garantizar el buen funcionamiento y la alta disponibilidad de las aplicaciones;
Escalar las aplicaciones;
copia de seguridad y la supervisión de los servicios y servidores.

Hoy en día los profesionales de ti, ya no es un “soldado universal” con balas de plata

los más populares y solicitados de la tecnología.

El administrador del sistema

El Administrador De Big Data

DevOps

Tecnologías específicas


el software del servidor y el equipo de red (Cisco, HP, Dell, IBM)

Hadoop y otros productos de la Apache Software Foundation para Big Data (HBase, Kafka, Spark,etc.);

Gestión de la infraestructura, de la configuración y pruebas (Terraform, Vault, Consul, Packer, Jenkins, Elasticsearch)

las secuencias de comandos (bash, MS Power Shell, vSphere de VMWare, MS Hyper-v, MS SCCM, MS SCOM)

ETL-el sistema de la empresa y de almacén de datos

la pila de protocolos TCP/IP y las tecnologías relacionadas con

nginx, nfs, NAT, FTP, dns, iptables, bash

nginx, bash

Tecnologías específicas

pila de Continuous Integration y Continuous Delivery (CI/CD) – integración continua y el suministro DE

OC (Windows, Unix, Linux, BSD, MacOS, CentOS)

Puppet, Chef, Ansible, Docker, Kubernetes

Puppet, Chef, Ansible, Docker, OpenShift, Kubernetes

gestión de usuarios (DAP, Active Directory)

servicios en la nube y la plataforma de

OpenStack, Cloudwatch, AWS

El sistema de monitoreo

Zabbix, Prometheus

Grafana, Zabbix, ELK, Prometheus

Lenguajes de programación

Python, SQL, Shell

Python, Shell, Go, HiveQL, SQL

Python, Go

base de datos

MS SQL, MySQL

clúster de base de datos de
HP Vertica, PostgreSQL y NoSQL (MongoDB, Aerospike, Cassandra , etc.)

PostgreSQL

Gestión de proyectos y de administración de incidentes

Gestión de solicitudes de Service Desk, caja de proceso enfoque de ITIL

El enfoque del proyecto Agile (Scrum, Kanban), el sistema de JIRA

El enfoque del proyecto Agile (Scrum, Kanban), el sistema de la JIRA, GitLab

La relación de algunas tecnologías de la muestra, el informe anual del Stack Overflow sobre el diseño y desarrollo DE software. En la figura de estudios de 2019 , hemos identificado las pilas, más probable en el trabajo sysadmin, administrador de Big Data y DevOps-ingeniero.

Es más probable que la tecnología en el trabajo del sysadmin, administrador de Big Data y DevOps
Las diferentes áreas de responsabilidad y complejidad de la tecnología de las 3 profesiones suponen una importante diferencia en el nivel de salarios. El número exacto depende de la región y las particularidades de la empresa.

Vamos a resumir

Así, todos los especialistas tienen que ver con el software, también funciona con el hardware y los dispositivos de red. DevOps está más cerca el desarrollo y la explotación, y el administrador de Big Data es responsable de la factible infraestructura de sistemas de procesamiento y almacenamiento de grandes volúmenes de datos. Esto permite al administrador de Big Data ser más estrecho que el especialista Devops.

Desde el punto de vista de la organización del trabajo, DevOps-ingeniero funciona en un entorno de proyecto, es decir, de su entorno de trabajo depende de la tarea a realizar y puede variar en el caso de los diferentes productos. Y, dado que el enfoque de Devops se basa en los principios de Agile, es lógico que DevOps necesita conocimiento de las técnicas de Scrum, Kanban, un sistema de seguimiento de errores de JIRA JIRA y gestión de repositorios de código GitLab. El trabajo del administrador del sistema es más estable y cumple el proceso enfoque, que bien describe la biblioteca de mejores prácticas de administración de ti ITIL y el servicio de soporte técnico de los usuarios de Service Desk. El administrador de Big Data funciona como en el marco temporal de los proyectos, así como de la persona que acompañará a la infraestructura de grandes volúmenes de datos en forma permanente.

Diferentes objetivos, tareas y aplicaciones de los objetos de la actividad DevOps, sysadmin y administrador de Big Data condiciona diferentes competencias de estos profesionales. A pesar de que algunas de las responsabilidades y el uso de la tecnología en parte se superponen, no vale la pena hablar de que el profesional de campo siempre reemplazará cualquier DevOps-ingeniero y administrador de Big Data. En las grandes data driven las empresas suelen estar presentes cada uno de estos profesionales.

el administrador del sistema a menudo combina todas las funciones. Y en medianas empresas, en función de su especificidad, facultan al administrador de la base de datos las responsabilidades de la configuración y soporte de los sistemas de Big Data.

En general, los servicios DevOps cuestan más que el trabajo del administrador de Big Data y sysadmin. Este hecho se debió a una mayor demanda por esta joven profesión y no irá en detrimento de los valores de otros profesionales. Y lo que se espera de lo profesionales Devops en el futuro.

Hoy Apache Hadoop es el más popular de código abierto de la plataforma para la nube y la tecnología de grandes volúmenes de datos (Big Data). la planificación y la implementación de computación distribuida de cluster server en la base de las distribuciones de Hadoop de la versión 3. Se centra en los procesos de seguimiento y optimizar el rendimiento del sistema, copia de seguridad y recuperación de desastres de los nodos del clúster y de los componentes. Se dedica especial atención a la configuración de seguridad del sistema Kerberos (Active Directory y MIT/FreeIPA) en la base de Hadoop.

¿Qué es Data Lake y por qué necesita un negocio
Data Lake (el lago de los datos) es un método de almacenamiento de datos en especie (queso, “RAW”) forma: en diferentes esquemas y formatos, de blob a diferentes archivos. Corporativo lago de datos permite a la empresa tener, lógicamente, en concreto, un único repositorio de todos los datos en una organización (enterprise data), y utilizarlos para generar informes analíticos, modelos de aprendizaje automático y otras aplicaciones.

Normalmente Data Lake incluye información estructurada de las bases de datos relacionales (filas y columnas), semiestructurados archivos CSV, registros, XML, JSON, AVRO, Parquet, ORC), no estructurados (mensajes de correo electrónico, documentos, pdf), e incluso datos binarios (vídeo, audio, imágenes gráficas). Además de procesar los datos en bruto (RAW data), el lago de los datos también puede contener y tratada (transformed) de la información.

Por la eficiente organización de los procesos de carga de información en el lago o repositorio de datos corporativo (grabar) y descargar de allí la información necesaria cumplen los ingenieros de datos (Data Engineer). Hoy, en la mayoría de los casos, Data Lake se construye con la ayuda de componentes de un ecosistema de Apache Hadoop y afines de la tecnología Big Data: Spark, Pig, Sqoop, Hive, Flink, Caudal, NiFi, Kafka, Cloudera Impala. Como utilizar correctamente todas las herramientas para crear un único transportador de recolección y procesamiento de datos (pipeline).

Hadoop para los ingenieros de datos está orientado a especialistas en el trabajo con grandes volúmenes de datos, que es responsable de la configuración y el acompañamiento de entrada de datos en el Data Lake y quieren obtener los conocimientos teóricos y habilidades prácticas en la preparación de matrices de Big Data y a las particularidades de los procesos ETL/ELT en clústeres de Hadoop. También dominar la finura de la organización de pipelines en Hadoop, Batch, stream y real–time de procesamiento de grandes volúmenes de datos con el uso de los componentes de los ecosistemas.

¿Quién es el Data Analyst en Big Data: lo que debe saber de la analítica de datos

Continuando con la conversación sobre lo de empezar la sesión en la ampliación de los datos, y qué hay de ti de la especialidad, hoy vamos a explicar de qué se ocupa el analista de Big Data, lo que se debe saber y poder, así como dónde y cómo obtener los profesionales de la competencia.

Lo que hace el analista de datos
Como regla general, la Data Analyst funciona con los arrays, llevando al conjunto de operaciones:

la recopilación de datos;
preparación de los datos para el análisis (selección, limpieza, orden);
la búsqueda de patrones en la información de los conjuntos;
la visualización de datos para una rápida comprensión de los resultados y de las tendencias futuras;
formulación de hipótesis sobre el mejoramiento de negocios específicos métricas mediante el cambio de los otros indicadores.
Todas estas tareas son necesarias para lograr el objetivo principal, el analista de datos – recuperación de los conjuntos de información de valor a empresas para la toma de decisiones de gestión.

En algunas de las empresas en las responsabilidades del analista de datos también se incluye su simulación, es decir, el desarrollo y las pruebas de los modelos de aprendizaje automático (Machine Learning). Sin embargo, en la mayoría de los casos, Machine Learning es responsabilidad del investigador o científico de datos (Data Scientist).

También vale la pena señalar que a veces Data Analyst se ocupa del análisis de los procesos de negocio y muy personal trabaja estrechamente con otros profesionales en la descripción de los flujos y almacenamiento de la información corporativa. Por lo tanto, en el ámbito de responsabilidad de la analítica de datos también incluye tareas de Business Intelligence (BI) y la optimización de los procesos de producción.

Profesional retrato de la analítica de datos
Profesionales de la competencia el análisis de datos: lo que debe saber Data Analyst
En cualquiera de tareas, se pueden identificar las siguientes áreas de conocimientos necesarios para el análisis de datos:

la tecnología de la información – técnicas y herramientas de minería de datos (Data Mining) – lenguajes de programación (R, Python, etc.) y SQL similares de idiomas para escribir consultas no relacional y bases de datos relacionales, así como de BI, ETL, almacenes y vitrinas el tipo de datos de Tableau, Power BI, QlikView, etc., así como los fundamentos de la infraestructura de Apache Hadoop;
matemáticas (estadística, teoría de la probabilidad, matemática discreta);
sistema de análisis, control de calidad, el proyecto de gestión y métodos de análisis de los procesos de negocio, métodos de manufactura esbelta, foda, ABC, PDCA, IDEF, EPC, BPMN, mop, etc.).
Además, son muy útiles la aplicación los conocimientos y experiencia específicos para el área de conocimientoen en los que trabaja Data Analyst. Por ejemplo, los fundamentos de la contabilidad de utilidad para el analista de datos en el banco, y técnicas de marketing para ayudarle a analizar la información sobre las necesidades de los clientes o la evaluación de nuevos mercados.

El área de conocimientos para el análisis de datos
La especificidad de Big Data se suma a esta básicos de competencias Data Analyst aún habilidades en el trabajo con los lagos de datos (Data Lakes), la comprensión de las cuestiones de seguridad de la información y gestión de datos (Data Governance), así como la posesión típicos escenarios de digitalización digital, la transformación y la utilización de tecnologías de grandes datos en las diferentes áreas de conocimiento (use-cases). Todo esto y muchos otros conocimientos prácticos para el análisis de datos :

BDAM: la Analítica de grandes volúmenes de datos
DPREP: Preparación de los datos para Data Mining
ARMG: Arquitectura del Modelo de Datos
DSAV: Análisis de datos y visualización en R

Los estaré esperando

Atentamente verlista.com

Autor Donal Sandro Noblejas Huaman

Lima Perú 🇦🇹

You may also like

Leave a Comment

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
-
00:00
00:00
Update Required Flash plugin
-
00:00
00:00