Cyber ​​quest del equipo de soporte técnico de Veeam

Este invierno, o más bien, uno de los días entre la Navidad católica y el Año Nuevo, los ingenieros de soporte técnico de Veeam estaban ocupados con tareas inusuales: buscaban a un grupo de piratas informáticos llamado Veeamonymous.



Sobre cómo los mismos muchachos idearon y llevaron a cabo una búsqueda real en el trabajo, en realidad, con tareas "cercanas a la lucha", dijo Kirill Stetsko , ingeniero de escalación .

"¿Por qué haces esto?"

- De la misma manera que a la gente se le ocurrió Linux, solo por diversión, para su propio placer.

Queríamos movernos, y al mismo tiempo queríamos hacer algo útil, algo interesante. Además, era necesario brindar un alivio emocional a los ingenieros de su trabajo diario.

"¿Quién sugirió eso?" ¿De quién fue la idea?

- La idea fue nuestra gerente Katya Egorova, y luego el concepto y todas las ideas adicionales nacieron juntas. Originalmente pensado para hacer un hackathon. Pero durante el desarrollo del concepto, la idea se convirtió en una búsqueda, después de todo, un ingeniero de soporte técnico es un tipo diferente de actividad que la programación.

Entonces, llamamos a amigos, conocidos, conocidos, diferentes personas nos ayudaron con el concepto: una persona con T2 (segunda línea de soporte - ed. ), Una persona con T3, un par de personas del equipo SWAT (equipo de respuesta rápida para casos especialmente urgentes). - Ed. ). Todos se unieron, se sentaron y trataron de idear tareas para nuestra búsqueda.

- Fue muy inesperado descubrir todo al respecto, porque, hasta donde yo sé, generalmente la mecánica del guión resuelve la mecánica de la búsqueda, es decir, no solo hiciste una cosa tan difícil, sino también en relación con tu trabajo, con tu campo profesional de actividad.

- Sí, no solo queríamos entretenernos, sino también "impulsar" las habilidades técnicas de los ingenieros. Una de las tareas en nuestro departamento es el intercambio de conocimientos y capacitación, pero esa búsqueda es una gran oportunidad para permitir que las personas "toquen" algunas nuevas técnicas en vivo.

- ¿Cómo se te ocurrieron las tareas?

- Tener una sesión de lluvia de ideas. Entendimos que deberíamos hacer algunas pruebas técnicas, de modo que fueran interesantes y al mismo tiempo llevaran nuevos conocimientos.
Por ejemplo, pensamos que las personas deberían tener la oportunidad de tratar de rastrear el tráfico, usar editores hexadecimales, hacer algo por Linux y algunas cosas un poco más profundas relacionadas con nuestros productos (Veeam Backup & Replication y otros).

También una parte importante fue el concepto. Decidimos desarrollar el tema de los piratas informáticos, el acceso anónimo y una atmósfera de secreto. La máscara de Guy Fawkes se convirtió en un símbolo, y el nombre vino solo: Veeamonymous.

"Al principio era la palabra"


Para despertar el interés, decidimos antes del comienzo del evento organizar una empresa de relaciones públicas en el tema de la búsqueda: colgaron carteles con un anuncio en nuestra oficina. Y unos días después, en secreto de todos, los pintaron con botes de spray y lanzaron un "pato", dicen, algunos atacantes arruinaron los carteles, incluso adjuntaron una foto con una prueba ...

- ¿Entonces lo hiciste tú mismo, es decir, el equipo de organizadores?

- Sí, el viernes, a las 9 en punto, cuando todos ya se habían ido, fuimos y dibujamos una letra "V" verde de los globos.) Muchos participantes en la búsqueda no adivinaron quién lo hizo: la gente se acercó a nosotros y preguntó quién arruinó los carteles. ? Alguien se tomó muy en serio este problema y lanzó una investigación completa sobre este tema.

Para la búsqueda, escribimos y archivos de audio, sonidos de "desgarro": por ejemplo, cuando un ingeniero inicia sesión en nuestro sistema [producción CRM], entonces hay un contestador automático que dice todo tipo de frases, números ... Aquí estamos de esas palabras que tiene grabadas, compuestas frases más o menos significativas, bueno, tal vez unas pequeñas curvas, por ejemplo, tenemos "No hay amigos para ayudarte" en un archivo de audio.

Por ejemplo, representamos la dirección IP en código binario, todo, nuevamente, con la ayuda de estos números [pronunciados por el robot], se agregaron todo tipo de sonidos aterradores. Filmaron el video ellos mismos: en el video tenemos a un hombre sentado en una capucha negra y con una máscara de Guy Fawkes, pero en realidad no hay una persona, sino tres, porque dos están parados detrás de él y sosteniendo el "fondo" de la manta :).

- Bueno, te confundiste, para ser honesto.

- Sí, nos prendimos fuego. En general, primero elaboramos nuestras especificaciones técnicas, y luego compusimos un lienzo literario y de juegos sobre el tema de lo que supuestamente sucedió. Según el guión, los participantes buscaron un grupo de hackers llamado "Veeamonymous". La idea también era que estábamos "rompiendo la cuarta pared", es decir, estamos transfiriendo eventos a la realidad, por ejemplo, pintamos desde una lata de aerosol.

Con el procesamiento de textos literarios, uno de los hablantes nativos de inglés de nuestro departamento nos ayudó.

"Espera, ¿por qué el hablante nativo?" ¿También hiciste todo en inglés?

- Sí, lo hicimos para las oficinas de San Petersburgo y Bucarest, así que todo estaba en inglés.

Para el primer experimento, tratamos de hacer que todo funcionara, por lo que el guión era lineal y bastante simple. Se agregaron más entornos: textos secretos, cifrados, imágenes.



También usamos memes: había muchas imágenes sobre temas de investigaciones, ovnis, algunas historias de terror populares: algunos equipos se distrajeron, intentaron encontrar algunos mensajes ocultos allí, aplicaron sus conocimientos de esteganografía y otras cosas ... pero, por supuesto, no hay nada de eso fue.

Sobre espinas


Sin embargo, en el proceso de preparación, nos enfrentamos a tareas inesperadas para nosotros mismos.

Pelearon mucho por ellos y resolvieron todo tipo de preguntas que surgieron repentinamente, pero en algún lugar alrededor de una semana antes de la búsqueda, generalmente pensaron que todo había desaparecido.

Probablemente valga la pena hablar un poco sobre la base técnica de la búsqueda.

Todo se hizo en nuestro laboratorio interno de ESXi. Teníamos 6 equipos, lo que significa que teníamos que asignar 6 grupos de recursos. Entonces, para cada equipo implementamos un grupo separado con las máquinas virtuales necesarias (la misma IP). Pero como todo esto estaba en servidores que están en la misma red, la configuración actual de nuestras VLAN no permitía aislar máquinas en diferentes grupos. Y, por ejemplo, durante una ejecución de prueba, recibimos situaciones en las que una máquina de un grupo se conectaba a una máquina de otro.

- ¿Cómo podrías arreglar la situación?

- Al principio pensamos durante mucho tiempo, probamos todo tipo de opciones con permisos, vLAN separadas para máquinas. Como resultado, hicimos esto: cada equipo solo ve el servidor Veeam Backup a través del cual se lleva a cabo todo el trabajo adicional, pero no ve el subgrupo oculto, en el que hay:

  • varias máquinas de windows
  • Servidor central de Windows
  • Máquina Linux
  • Par VTL (Biblioteca de cintas virtuales)

A todos los grupos se les asigna un grupo separado de puertos en el conmutador vDS y su VLAN privada. Tal doble aislamiento solo es necesario para eliminar por completo la posibilidad de interacción de red.

Sobre los valientes


- ¿Alguien podría participar en la búsqueda? ¿Cómo se formaron los equipos?

- Esta fue nuestra primera experiencia en la celebración de tal evento, y las capacidades de nuestro laboratorio se limitaron a 6 equipos.

Primero, nosotros, como dije, teníamos una compañía de relaciones públicas: usando carteles y boletines informativos, informamos que la búsqueda se llevaría a cabo. Incluso tuvimos algunas sugerencias: las frases en código binario estaban encriptadas en los carteles. Por lo tanto, interesamos a las personas, y las personas ya acordaron entre ellos con amigos, con amigos y cooperaron. Como resultado, más voluntarios respondieron que los que teníamos, por lo que tuvimos que realizar una selección: se nos ocurrió una tarea de prueba simple y se la enviamos a todos los que respondieron. Era una tarea lógica, tenía que ser resuelta por la velocidad.

El equipo permitió hasta 5 personas. El capitán no era necesario allí, la idea era en cooperación, en comunicación entre ellos. Alguien es fuerte, por ejemplo, en Linux, alguien es fuerte en punta (copias de seguridad en cintas), y todos, al ver la tarea, podrían poner sus esfuerzos en la solución general. Todos hablaron entre sí, encontraron una solución.



- ¿Y en qué punto comenzó este evento? ¿Tuviste algún tipo de "hora X"?

- Sí, tuvimos un día estrictamente programado, lo elegimos para que hubiera menos carga en el departamento. Naturalmente, los líderes de los equipos fueron notificados de antemano de que tales y otros equipos fueron invitados a participar en la búsqueda, y tenían que recibir algún alivio [con respecto a la carga] ese día. Parecía que debería ser el fin de año, el 28 de diciembre, viernes. Se espera que tome alrededor de 5 horas, pero todos los equipos se las arreglaron más rápido.

- Todos estaban en igualdad de condiciones, ¿todos tenían las mismas tareas basadas en casos reales?

- Bueno, sí, cada uno de los compiladores tomó algunas historias personales de la experiencia personal. Sabíamos acerca de algo que esto podría ser en realidad, y sería interesante para una persona "sentirlo", mirarlo, descubrirlo. Tomaron algunas cosas más específicas, por ejemplo, la recuperación de datos de cintas dañadas. Alguien con consejos, pero la mayoría de los equipos se las arreglaron por su cuenta.

O era necesario aplicar la magia de los scripts rápidos; por ejemplo, teníamos una historia de que cierta "bomba lógica" "rasgaba" un archivo de varios volúmenes en carpetas aleatorias en un árbol, y era necesario recopilar datos. Puede hacerlo manualmente: busque y copie [archivos] uno por uno, o puede escribir un script por máscara.

En general, tratamos de adherirnos al punto de vista de que un problema puede resolverse de diferentes maneras. Por ejemplo, si tiene un poco más de experiencia o quiere "confundirse", puede resolverlo más rápido, pero hay una forma directa de resolverlo "frente", pero al mismo tiempo pasará más tiempo en la tarea. Es decir, casi todas las tareas tenían varias soluciones, y era interesante qué caminos elegirían los equipos. Entonces la no linealidad fue precisamente en la elección de la opción de solución.

Por cierto, el problema de Linux resultó ser el más difícil: solo un equipo lo resolvió de forma independiente, sin avisos.

"¿Podrías tomar las pistas?" ¿Cómo es esta búsqueda?

- Sí, fue posible, porque entendimos que las personas son diferentes, y aquellos que carecían de algunos conocimientos podrían caer en el mismo equipo, para que no perdamos el pasaje y el interés competitivo, decidimos que lo haríamos pistas Para esto, cada equipo fue visto por una persona de los organizadores. Bueno, nos aseguramos de que nadie engañara.



Sobre las estrellas


- ¿Y hubo premios para los ganadores?

- Sí, tratamos de hacer los premios más agradables tanto para todos los participantes como para los ganadores: los ganadores recibieron sudaderas de diseñador con el logotipo de Veeam y una frase encriptada en un código hexadecimal, negro). Todos los participantes recibieron una máscara de Guy Fawkes y una bolsa de la empresa con un logotipo y el mismo código.

- Es decir, ¡tenías todo como en una búsqueda real!

- Bueno, queríamos hacer algo genial y adulto, y me parece que lo hicimos.

- Eso es correcto! ¿Y cuál fue la reacción de quienes participaron en esta búsqueda? ¿Alcanzaste los objetivos?

- Sí, muchos aparecieron más tarde, dijeron que claramente vieron sus debilidades y querían levantarlas. Alguien ha dejado de tenerle miedo a ciertas tecnologías, por ejemplo, tirar bloques de las puntas e intentar sacar algo ... Alguien se dio cuenta de que necesitaba apretar Linux, y así sucesivamente. Intentamos dar una gama bastante amplia de tareas, pero no del todo trivial.


Equipo de ganadores

"¡El que quiera tendrá éxito!"


- ¿Los que prepararon la búsqueda tomaron mucho esfuerzo?

- Generalmente si. Pero esto probablemente se debió al hecho de que no teníamos experiencia en la preparación de tales misiones, tales infraestructuras. (Haremos una reserva de que esta no es nuestra infraestructura real, solo tenía que realizar algún tipo de funciones del juego).

Fue una experiencia muy interesante para nosotros. Al principio era escéptico, porque la idea me parecía demasiado genial, pensé que era muy difícil de implementar. Pero comenzaron a hacerlo, comenzaron a arar, todos comenzaron a incendiarse, y al final lo hicimos. E incluso casi no hubo superposiciones.

En general, pasamos 3 meses. En su mayor parte, se nos ocurrió un concepto, discutimos lo que podemos implementar. En el proceso, por supuesto, algo cambió, porque entendimos que por alguna razón no teníamos la capacidad técnica para hacerlo. En el camino, tuve que rehacer algo, pero para que todo el lienzo, la historia y la lógica no se rompieran. Intentamos no solo dar una lista de tareas técnicas, sino hacer que se ajuste a la historia, ser coherente y lógico. La mayor parte del trabajo el mes pasado, es decir, 3-4 semanas antes del día X.

- Entonces, además de tu actividad principal, ¿te tomaste el tiempo para prepararte?

- Esto lo hicimos en paralelo con el trabajo principal, sí.

"¿Se te pide que hagas esto de nuevo?"

- Sí, tenemos muchas solicitudes para repetir.

- que eres

- Tenemos nuevas ideas, nuevos conceptos, queremos atraer a más personas y estirarlas en el tiempo, tanto el proceso de selección como el proceso del juego en sí. En general, estamos inspirados por el proyecto Cicada, puede ser google: este es un tema de TI muy interesante, allí se reúnen personas de todo el mundo, comienzan sucursales en foros de reddit, usan traducciones cifradas allí, resuelven acertijos y todo eso.

- La idea fue genial, solo respeto por la idea y la implementación, porque realmente vale mucho. Deseo sinceramente que no pierda esta inspiración, para que todos sus nuevos proyectos también tengan éxito. Gracias



- Sí, pero ¿será posible ver un ejemplo de una tarea que definitivamente no reutilizarás?

- Sospecho que no reutilizaremos uno. Por lo tanto, puedo contarte sobre el curso de toda la búsqueda.

Bonus track
Al principio, los jugadores tienen el nombre de la máquina virtual y las credenciales de vCenter. Al iniciar sesión, ven este automóvil, pero no arranca. Aquí tienes que adivinar que algo está mal con el archivo .vmx. Después de descargarlo, ven el aviso necesario para el segundo paso. De hecho, dice que la base de datos utilizada por Veeam Backup & Replication está encriptada.
Después de eliminar la sugerencia, haber descargado el archivo .vmx y haber encendido la máquina con éxito, ven que en uno de los discos realmente hay una base64 encriptada base64. En consecuencia, la tarea es descifrarlo y obtener un servidor Veeam completamente funcional.

Un poco sobre la máquina virtual en la que sucede todo esto. Como recordamos, en la historia, el personaje principal de la búsqueda es una persona bastante oscura y se dedica a algo que claramente no es demasiado legal. Por lo tanto, su computadora en funcionamiento debería tener un aspecto bastante pirata, que tuvimos que crear, a pesar del hecho de que es Windows. A lo primero se agregaron muchos accesorios, como información sobre hacks importantes, ataques DDoS y similares. Luego instalaron todo el software típico y presentaron en todas partes diferentes vertederos, archivos con hashes, etc. Todo es como en una película. Entre otras cosas, había carpetas nombradas según el principio de caso cerrado *** y caso abierto ***
Para ir más allá, los jugadores deben restaurar la información sobre herramientas de los archivos en las copias de seguridad.

Aquí debe decirse que al principio a los jugadores se les dio bastante información, y recibieron la mayoría de los datos (como IP, inicios de sesión y contraseñas) durante la búsqueda, encontrando pistas en las copias de seguridad o archivos dispersos en las máquinas. Inicialmente, los archivos de respaldo se encuentran en el repositorio de Linux, pero la carpeta en el servidor está montada con el indicador noexec , por lo que el agente responsable de restaurar los archivos no puede iniciarse.

Después de reparar el repositorio, los participantes obtienen acceso a todo el contenido y finalmente pueden restaurar cualquier información. Queda por entender cuál. Y para esto, solo necesitan estudiar los archivos almacenados en esta máquina, determinar cuáles están "rotos" y qué es exactamente lo que se necesita restaurar.

En este punto, el script cambia de conocimiento general de TI a características específicas de Veeam.

En este ejemplo en particular (cuando conoce el nombre del archivo pero no sabe dónde buscarlo), debe usar la función de búsqueda en Enterprise Manager, y así sucesivamente. Como resultado, después de restaurar toda la cadena lógica, los jugadores tienen un nombre de usuario / contraseña más y una salida de nmap. Esto los lleva al servidor de Windows Core y a RDP (para que la vida no parezca ser cariño).

La característica principal de este servidor: con la ayuda de un script simple y varios diccionarios, allí se formó una estructura de carpetas y archivos absolutamente sin sentido. Y cuando inicie sesión, recibirá un mensaje de bienvenida con el formulario "Una bomba lógica explotó aquí, por lo que tendrá que recopilar consejos para los próximos pasos en pedazos".

La siguiente pista se dividió en un archivo de varios volúmenes (piezas 40-50) y se ordenó aleatoriamente en estas carpetas. Nuestra idea era que los jugadores deberían mostrar su talento al escribir scripts simples de PowerShell para recopilar un archivo de varios volúmenes y obtener los datos requeridos utilizando una máscara conocida. (Pero resultó que en esa broma, algunos de los sujetos estaban inusualmente desarrollados físicamente).

El archivo contenía una foto del cassette (con la inscripción "Última cena - Mejores momentos"), que insinuaba el uso de la biblioteca de cintas conectada, donde había un cassette con un nombre similar. Aquí hay un solo problema: resultó ser tan inoperable que ni siquiera fue catalogado. Aquí probablemente comenzó la parte más difícil de la búsqueda. Borramos el título del cassette, por lo que para recuperar datos de él, solo necesita volcar los bloques "en bruto" y verlos en el editor hexadecimal para encontrar los marcadores del comienzo de los archivos.
Encontramos el marcador, miramos el desplazamiento, multiplicamos el bloque por su tamaño, agregamos el desplazamiento y usando la herramienta interna intentamos restaurar el archivo desde un bloque específico. Si todo se hace correctamente y las matemáticas se unieron, entonces los jugadores tienen un archivo .wav en sus manos.

En él, usando un generador de voz, entre otras cosas, se dicta un código binario, que se revela en otra IP.

Resulta que este es un nuevo servidor de Windows, donde todo insinúa la necesidad de usar Wireshark, pero no está allí. El enfoque principal es que hay dos sistemas instalados en esta máquina: solo el disco del segundo se desconecta fuera de línea a través del administrador de dispositivos, y la cadena lógica lleva a la necesidad de reiniciar. Después de lo cual resulta que, de manera predeterminada, se debe cargar un sistema completamente diferente donde está instalado Wireshark. Y todo este tiempo estuvimos en el sistema operativo secundario.

No hay nada especial que hacer aquí, solo active la captura en una sola interfaz. Con una consideración relativamente cuidadosa del volcado, se envía un paquete claramente dejado desde la máquina auxiliar a intervalos regulares, en el que hay un enlace al video de YouTube, donde los jugadores deben llamar a un número específico. La primera persona que llama escucha las felicitaciones por el primer lugar, el resto, una invitación a RRHH (broma).

Por cierto, tenemos vacantes abiertas para ingenieros de soporte técnico y para pasantes. Bienvenido al equipo!

Source: https://habr.com/ru/post/445548/


All Articles