Portada » ¿Quién es analista de datos ?

¿Quién es analista de datos ?

by Donal Sandro Noblejas Huaman

Hola mi nombre es donal Sandro Noblejas Huamán de Lima Perú 🇵🇪 hoy vengo con otro artículo de  Análisis de Datos y como siempre y en cada uno de ellos completamente solo y me agrada porque se aprende, y como siempre sin empresas, personas, familiares, ni el estado ni ningún tipo de ayuda cuidado con los estafadores solo en mis tiempos libres redactando jejeje, bueno ahí vamos.

A medida que las tecnologías de big data se desarrollan en el campo de la ciencia de datos, un número cada vez mayor de áreas siguen tomando forma y las existentes se vuelven más aisladas.

Sin embargo, a muchos todavía les resulta difícil responder a la pregunta de qué hace un analista de datos. En una empresa, sus responsabilidades incluyen la creación de informes comerciales, en otra, diseñar y realizar experimentos AB y, en una tercera, preparar data marts.

Por lo tanto, la pregunta “¿Quién es ese analista de datos suyo?” Lo escuchamos a menudo y queremos hablar de ello hoy.

¿Qué se espera de los diferentes roles en la ciencia de datos?

Para comprender esta cuestión, recurramos al conocido concepto convencional de división de roles en DS:

MLE – Ingeniero de Machine Learning, especialista en trabajar con modelos de aprendizaje automático. Generalmente se espera de él:

·        buen conocimiento de las matemáticas;

·        conocimiento de las mejores prácticas en el área de la tarea (conocimiento del dominio);

·        la capacidad de seleccionar, configurar y entrenar un modelo adecuado para una tarea específica.

Además del desarrollo, se espera que los especialistas de MLE:

·        la capacidad de llevar la solución propuesta a un entorno productivo;

·        proporcionar soporte para esta solución en algún nivel, con un determinado SLA.

DE – Ingeniero de Datos, especialista en implementar soluciones analíticas productivas. Se espera que dichos especialistas puedan garantizar el funcionamiento de los componentes técnicos del producto (cálculo regular de las visualizaciones del producto, intercambio correcto de artefactos entre los componentes del sistema, registro, monitoreo, etc.) que será ininterrumpido, óptimo y dentro del SLA. .

DA – Data Analyst, especialista en análisis de datos. En otras palabras, se trata de un especialista que cuenta con los siguientes grupos de habilidades:

1.    Teórico: matemáticas superiores, teoría de la probabilidad, estadística, así como otras relacionadas, por ejemplo, algoritmos y estructuras de datos;

2.    Técnico: conocimiento de un lenguaje de programación a nivel de trabajo con datos, capacidad para trabajar con varios DBMS, así como varias herramientas específicas del producto;

3.    Habilidades de comunicación: la capacidad de interactuar eficazmente con los clientes comerciales. Por un lado, comprender lo que quiere el cliente y traducir este conocimiento en la formulación de un problema analítico. Por otro lado, transmite tus pensamientos e ideas en un lenguaje comprensible para el cliente. Además del cliente empresarial, el debe poder establecer una comunicación clara y oportuna con sus colegas.

Pero todas estas son palabras generales. Para fundamentar estos criterios, veamos qué tareas debe afrontar un analista de datos en una empresa claro diferentes empresas diferentes funciones.por decirlo así.

Tareas de DA 

Si intentamos estructurar las actividades de los analistas de datos, podemos distinguir 4 áreas.

1. Análisis de productos

Esta área es especialmente relevante en la etapa inicial de un producto, cuando el producto aún no tiene prácticas establecidas para trabajar con datos y las decisiones se toman al nivel de experiencia empresarial. Estas tareas incluyen:

·        Coordinación de métricas clave del producto con el cliente empresarial. Es necesario discutir todas las métricas secundarias y proxy en las que el producto se centrará posteriormente al priorizar tareas y evaluar la efectividad de las soluciones.

·        Diseño de pruebas AB de soluciones de productos, mejoras, cambios.

·        Formación de un sistema de seguimiento y seguimiento de la eficacia del producto.

·        Análisis exploratorio de datos.

·        Traducción de ideas de negocio en tareas analíticas , trabajo con especificaciones técnicas para modelos de productos.

·        Ayudar a los gerentes a seleccionar las competencias adecuadas para resolver el problema comercial del producto.

2. Aprendizaje automático

Según las características específicas del equipo y el nivel de madurez del proyecto, sucede que no existe una función de ML especialmente designada o no se planificó en absoluto, pero existe la necesidad de utilizar el aprendizaje automático. En este caso, el analista de datos puede utilizar de forma independiente modelos de aprendizaje automático para resolver sus problemas. Debido a los requisitos simplificados para la solución, el modelo puede estar listo para usar o con ajustes menores. Por lo tanto, el analista necesita construir un canal donde es necesario llevar los datos al formato requerido por el modelo y con su ayuda obtener el resultado final. Se debe examinar la estabilidad de los modelos utilizados en el entorno del producto y se deben desarrollar reglas de termómetros, condiciones de aplicabilidad, etc., lo que también hacen los analistas.

3. Ingeniería de fechas

De vez en cuando, todo analista de datos se enfrenta a tareas en las que es necesario obtener datos, transformarlos y enriquecerlos de otras fuentes. Por lo tanto, esperamos de los empleados que puedan preparar de forma independiente una exposición de productos para sus investigaciones, hipótesis y modelos. En este caso, se utiliza el arsenal tradicional de herramientas de análisis Python/SQL (o PySpark, escribimos sobre una forma de organizar un proyecto en PySpark).

4. Código productivo

Si un analista de datos ha escrito un modelo (o su propio desarrollo, teniendo en cuenta las características específicas del proyecto), cuya solución cumple con los requisitos comerciales en términos de calidad y tiempo de trabajo, entonces puede escribir un script para Airflow (o otro programador) y programar la tarea. En este caso, esperamos que la solución sea de alta calidad, haya sido revisada por pares, haya sido probada adecuadamente y tenga soporte. Si necesita implementar su servicio en Kubernetes, entonces debe comprender cómo funciona (kubernetes) y qué se debe hacer para implementar este servicio.

Por tanto, la actividad de los analistas puede ser bastante extensa. Esto lleva al analista de datos a la oportunidad de profundizar su experiencia en la dirección de ingeniería de DATOS/ML y desarrollarse hacia la experiencia y la gestión empresarial.

Matriz de competencias y responsabilidades laborales.

La presentación de las habilidades requeridas según el nivel del empleado a menudo se denomina Matriz de Competencias . En lo que sigue utilizaremos este término.

Habiendo comprendido la comprensión general de las competencias y tareas de un analista de datos, estructuramos esta comprensión en forma de matriz de competencias, pero antes de pasar a la matriz en sí, averigüemos cómo puede resultar útil:

·        la mayoría de los DA trabajan en equipos de productos, cada equipo tiene su propia acumulación única de tareas (hay excepciones, por ejemplo, el equipo AdHoc Analytics, en el que, además de las tareas anteriores, un lugar especial lo ocupan: investigación de metodologías de pruebas AB, asistencia en la preparación.como dije empresas diferentes tareas diferentes.

Si el propietario del producto, después de haber estudiado las responsabilidades laborales aceptadas en la empresa, determina la necesidad de DA, entonces se acuerda el nivel de analista Junior/Middle/Senior. Para minimizar la probabilidad de error al elegir un nivel de analista, se requiere una matriz de responsabilidades laborales clara y detallada.

·        Un sistema de calificación transparente también es útil para los propios empleados. Comprender las áreas en las que necesita aumentar sus habilidades contribuye a un crecimiento más productivo de los empleados dentro de la empresa. Después de todo, es más fácil moverse en una dirección conocida que al azar.

Finalmente presentamos las competencias que corresponden a las necesidades de los productos. Para mayor comodidad, ampliaremos la matriz en forma de lista por niveles Junior /Medio/ Senior .

El formato del texto se corresponderá con los niveles, incluyendo cada nivel posterior las competencias del anterior.

Matriz de competencias

A largo plazo, algunos requisitos técnicos pueden quedar obsoletos (quizás ya estén desactualizados al momento de leer este artículo), por lo que el departamento de análisis debe actualizar la matriz de manera oportuna.

Las competencias de nivel senior son muy altas y, a menudo, al alcanzar estos niveles, el analista profundiza en el desarrollo de esta competencia y puede pasar a MLE o convertirse en líder en análisis.

Además de un conjunto de competencias, diferentes grados corresponden a diferentes áreas de responsabilidad . La distribución de dichas zonas en el departamento de análisis se presenta a continuación:

Este diagrama se utiliza para definir las responsabilidades laborales. Tenga en cuenta que en la práctica puede suceder que Senior realice tareas Middle/Junior si el equipo aún no tiene estos roles. Pero si Junior participa en las tareas de Senior, esto significa que la composición del equipo no se ha determinado correctamente.

En una empresa pueden inntentar mejorar continuamente las competencias de los analistas de datos.

Se organizan y financian cursos internos y externos, hay mentorías, revisiones de código, reuniones internas para intercambiar experiencias y mucho más.

Conexión de reclutamiento

Habiendo hablado de qué competencias debe tener un analista de datos en cada grado, qué se esperará de él y cuál será su área de responsabilidad, le diremos cómo encontrar dicho analista.

Y al principio me gustaría dar una lista de los problemas de contratación que hemos encontrado.

Competencia del entrevistador. Para determinar si un analista es apto para resolver los problemas de un producto en particular, es necesario probarlo en todas las áreas de la matriz y comprender su idoneidad para resolver los problemas de un producto en particular. La persona que toma la decisión por sí sola debe ser un generalista y también tener buenas habilidades para realizar entrevistas. Formar a un especialista de este tipo puede llevar mucho tiempo y el tiempo de dicho especialista será bastante caro.

Sesgo en el entrevistador. Dependiendo del producto y de las preferencias del analista, algunos se involucran más en el modelado, otros se involucran más en establecer procesos ETL, otros prefieren probar hipótesis y discutirlas con la empresa, etc. Como resultado, con un formato de entrevista “libre”, podemos llegar a una situación en la que el candidato fue rechazado por no comprender suficientemente la sección favorita del entrevistado.

Escalabilidad. Según la información del primer punto, queda claro que habrá pocos empleados competentes para realizar una entrevista “de la A a la Z”. Este pequeño número genera problemas cuando las necesidades de productos aumentan dramáticamente y es necesario realizar oleadas de contratación o procesar un gran número de candidatos para pasantías/capacitación.

Gastos. Continuación del problema anterior: con un número reducido de entrevistados, la carga sobre ellos puede aumentar significativamente durante los períodos de gran demanda. En este caso, los procesos de entrevista restarán tiempo a otras tareas críticas de los productos en los que trabajan estos especialistas. Además, realmente no quiero sobrecargar a un especialista de nivel superior para que realice docenas de entrevistas para un puesto de nivel inicial.

Para resumir lo anterior, hay dos problemas principales que deben resolverse:

·        capacitar a los empleados para realizar entrevistas,

·        generalizar y universalizar los criterios de contratación.

Empecemos por el final. Para que los criterios de contratación sean universales, deben basarse en algún estándar. Este estándar es precisamente la matriz de competencias. Con la ayuda de un grupo de entusiastas, a partir de la matriz de competencias, se conformó un banco de tareas y preguntas, así como un sistema de evaluación de cada área. Esto permite al centro de decisión obtener información más amplia, objetiva y completa para evaluar al candidato.

Ahora veamos la complejidad de evaluar ciertos criterios. Globalmente, los criterios de evaluación se pueden dividir en dos áreas:

1. Habilidades técnicas básicas, pensamiento.

2. Experiencia, creatividad, habilidades sociales.

Las evaluaciones de la Parte 1 no requieren un conocimiento profundo del proceso de entrevista y pueden automatizarse. Si hay un banco de tareas y preguntas, así como posibles opciones de respuesta, las personas pueden participar en dicha evaluación sin un largo proceso de preparación. El criterio principal es la disponibilidad de habilidades técnicas adecuadas entre los propios entrevistados. Al mismo tiempo, la primera etapa puede reducir significativamente el embudo al eliminar a las personas que no tienen las habilidades necesarias para un puesto específico. Por ejemplo, podría ser Python/SQL o Python/matemáticas, etc.

La segunda etapa es más difícil de sistematizar, por lo que requerirá la participación de un especialista experimentado. El entrevistador puede hacer preguntas o discutir casos para los que no existe una única respuesta correcta. Aquí, en primer lugar, quiero entender cómo piensa el candidato, cómo la experiencia afectó su intuición, qué hará si se encuentra en un callejón sin salida, etc.

Entonces, el proceso de entrevista para analistas de datos en la empresa al momento de escribir este artículo es el siguiente:

·        Realización de la primera entrevista técnica. Durante la entrevista, el entrevistado completa un cuestionario y califica dos o tres secciones de Python/SQL/estadísticas/soft-skills.

·        Si la puntuación total del candidato supera el umbral, se le envía a la segunda etapa.

·        En la segunda etapa se evalúan las secciones restantes después de la primera etapa. Por lo general, se trata de pruebas de ML, estadísticas y AB y otras habilidades que pueden ser útiles en los productos del solicitante. El resultado de la entrevista es también un cuestionario cumplimentado con puntuaciones.

·        Después de la segunda etapa, el jefe del departamento de análisis decide programar entrevistas con los responsables del equipo.

·        Si el propietario del producto recibe una respuesta positiva, se envía una oferta y, de mutuo acuerdo, el candidato se convierte en  empleado.

Veamos cómo este esquema de entrevista y sistematización de criterios ayuda a resolver las cuestiones planteadas anteriormente:

Competencia del entrevistador. Para evaluar a especialistas de alto nivel todavía se requieren empleados bien capacitados. Pero para evaluar puestos de tipo Junior, si existen criterios bien descritos, se pueden atraer especialistas de nivel Junior Medio o avanzado. Para ambos, las entrevistas son una buena experiencia y una forma de mantenerse en buena forma intelectual.lastima que en Perú no haya todavía personal capacitado para esto y lo peor ponen en LinkedIn que son expertos profesionales en evaluación de personaslTI. Jajajaja .

Sesgo en el entrevistador. Exigir calificaciones para todas las competencias elimina el sesgo hacia cualquier área específica. Si un candidato es experto en alguna de las secciones, entonces esto se tiene en cuenta a la hora de tomar la decisión de contratarlo, incluso con puntuaciones bajas en algunas secciones que no son clave para el producto.

Escalabilidad. En la etapa de entrevista técnica, si hay criterios de evaluación claros y un banco de tareas, es posible atraer más empleados y el tiempo de los entrevistados puede ocuparse de manera más equitativa.

Gastos. Los costos de formación de especialistas y el “costo” de las entrevistas también se reducen significativamente si existe un sistema de contratación que funcione bien.

Conclusión

Entonces, resumamos lo anterior y respondamos la pregunta principal del artículo.

Un analista de datos es un especialista que:

·        Tiene buenas habilidades matemáticas.

·        Capaz de trabajar con varias fuentes de datos y escribir buen código en Python/SQL.

·        Desarrolla la comunicación con las empresas y resuelve problemas no deterministas.

·        Puede construir una canalización utilizando modelos de aprendizaje automático.

Básicamente, un analista de datos es un especialista que puede proporcionar una respuesta razonable basada en datos y una solución funcional bastante buena (esencialmente una solución 20-80) a una solicitud comercial no estructurada.

Pero recordemos que aquí estamos hablando de DA específicamente en una empresa; otras empresas pueden esperar algo diferente de un analista de datos.

Además de describir las actividades de los analistas, intentamos transmitir que la sistematización, actualización y apertura de los requisitos para los analistas de datos pueden ayudar a encontrar empleados adecuados y contribuir al crecimiento de los especialistas existentes en la empresa.

Los estaré esperando

Autor Donal Sandro Noblejas Huamán

Lima Perú 🇵🇪 

Sitio web verlista.com/

facebook.com/verlistaa

https://pe.linkedin.com/in/donal-sandro-noblejas-huaman

You may also like

Leave a Comment

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
-
00:00
00:00
Update Required Flash plugin
-
00:00
00:00