mabl usa AI para llevar las pruebas de software a la era DevOps

¡Dé la bienvenida a nuestro patrocinador semanal mabl a Hacker Noon! mabl automatiza pruebas funcionales, fue fundado por 2 ex-Googlers, y ha pasado el año en beta privada. Grandes cosas le esperan a esta compañía en 2018. Hoy, vamos a ponernos al día sobre el estado de esta startup y descubriremos qué hace que el Fundador y CEO Dan Belcher haga lo que hace. Lea también la otra mitad de esta entrevista, The Entrepreneurial Journey of mabl Co-Founder Dan Belcher .

David Smooke: ¿Por qué debe existir su compañía ahora?

Dan Belcher: mabl existe ahora porque el ritmo del desarrollo de software ha aumentado dramáticamente en los últimos diez años, hasta el punto en que muchos equipos pueden desarrollar cambios significativos todos los días, pero la garantía de calidad no puede mantenerse al día, por lo que tiene que reducir la velocidad o pruebas de sacrificio y calidad. Nuestra opinión es que el estado de QA frena la innovación en toda la industria, y mabl está aquí para solucionarlo.

David: Entonces comenzaste en enero de 2017. ¿Qué lograste este año?

Dan Belcher: Oh, ha sido un año muy emocionante. Mi cofundador Izzy y yo dejamos Google a fines de enero. Empezamos a construir el equipo en febrero y comenzamos a escribir código en abril. El logro más importante de este año ha sido construir un equipo de clase mundial. Comenzamos con la ingeniería, que ahora es de 12 personas y está creciendo, y ahora estamos centrando nuestra atención en el marketing. Tuvimos la suerte de contratar a Mike , aquí en la sala conmigo, como nuestro primer líder de comercialización, hace un par de meses, y ese equipo crecerá bastante rápido.

"Conducir" es uno de nuestros valores centrales como empresa, y creo que eso se ve reflejado en el ritmo. Hemos estado trabajando en el producto durante aproximadamente 10 meses, muchas compañías lo están utilizando ampliamente y estamos obteniendo excelentes comentarios sobre el alfa. mabl está probando cientos de aplicaciones todos los días, y somos un equipo que se acerca a 20 personas aquí en Boston, y estamos ansiosos por dar la vuelta a la esquina en 2018.

"Conducir" es uno de nuestros valores centrales como empresa, y creo que se da la vuelta al ritmo ".

David: ¿Qué esperan lograr en 2018 en términos de compañía, tracción y producto?

Dan Belcher: En un nivel alto, nos sentimos realmente bien con el equipo y continuaremos haciendo crecer al equipo gradualmente en 2018. El producto se encuentra ahora en un punto en el que obtenemos excelentes comentarios, por lo que nos verán abrir un público BETA pronto, por lo que cualquier persona puede tener acceso a mabl. Y luego lanzaremos el servicio generalmente y escalaremos desde allí. Es importante destacar que también tenemos algunos problemas más difíciles en los que hemos estado trabajando que requieren una I + D a largo plazo que finalmente pondremos en manos de los usuarios este año, por lo que estamos muy entusiasmados con eso.

David: Con mabl, ejecuta pruebas funcionales en su aplicación o sitio web y, cuanto más aprende, más lo hace. ¿Podrías explicar un poco sobre su lógica de aprendizaje?

Dan Belcher: En términos de resultados de prueba, uno de los grandes problemas en este espacio es que es difícil de entender cuando el producto está roto, en comparación con cuando se rompe una prueba. Eso es realmente desafiante porque el resultado de la mayoría de las herramientas de prueba son los registros brutos y debe navegar a través de todos estos datos técnicos detallados. Por lo tanto, una cosa que mabl es realmente buena es procesar toda la salida de prueba y aprender lo que parece normal para esta aplicación, y cuando algo está fuera de lo común. Lo hacemos mediante la construcción de modelos de aprendizaje automático a partir de la salida de prueba y prediciendo cómo debe comportarse una aplicación, observando cuando algo no está haciendo lo que predijimos.

"Uno de los grandes problemas en este espacio es que es difícil de entender cuando el producto está roto, en comparación con cuando se rompe una prueba".

Cuantas más pruebas ejecutemos, más confiable podrá ser mabl en términos de comportamiento esperado, de modo que cuando veamos algo diferente, podamos reaccionar ante él. Una de las cosas que mabl notará es si una página carga mucho más despacio en una ejecución de una prueba que históricamente. Tal vez haya cambiado una consulta que inadvertidamente aumenta el tiempo de carga para esa página. Este tipo de cosas pueden pasar desapercibidas para los ingenieros de QA y otras herramientas de prueba, pero como mabl ha estado observando la variación normal en los tiempos de carga de la página cada vez que realizamos una prueba, ella confía cada vez más en sus predicciones.

Otro ejemplo son los cambios visuales. mabl toma capturas de pantalla en cada paso de una prueba. Con el tiempo, no solo puede identificar cuándo parte de las páginas de cambio, sino que también puede predecir qué cambios pueden ser significativos aprendiendo de los cambios históricos.

David: Con la tecnología y los nuevos productos, muchas veces hay una delgada línea entre la eliminación de empleos y el empoderamiento de las personas que hacen el trabajo. ¿Cómo ahorra mabl el dinero de una compañía y cómo le da dinero a una compañía?

Dan Belcher: Sí, gran pregunta. La mayoría de los clientes con los que trabajamos están realmente motivados por la velocidad y la innovación. Lo que quieren es entregar productos de alta calidad a sus clientes muy rápidamente. mabl se trata menos de ahorrar costos, y más acerca de cómo hacerlo para que pueda innovar e iterar más rápido. La forma en que realmente termina desempeñándose es QA puede descargar la carga de una gran cantidad de pruebas funcionales de extremo a extremo de rutina, y luego llegan a ser más proactivos, centrándose en definir más y mejores escenarios de prueba, realizando análisis de causa raíz , trabajando en seguridad, usabilidad, etc.

Para ilustrar, ciertamente he estado en varios equipos de software donde decimos que realmente queremos ser tan receptivos (a los usuarios de dispositivos móviles) como nos sea posible, nunca llegamos a probar la receptividad porque solo estamos tratando de mantenernos al día con el desarrollo. en nuestros clientes principales (como Chrome en el escritorio). Si la automatización de pruebas hubiera sido manejada por un servicio como mabl, hubiéramos tenido tiempo de invertir más en soporte móvil.

David: Usted se refiere a mabl como "ella" en el sitio web y el producto que es poco común para la industria tecnológica, donde muchas de las personificaciones de marca son masculinas. ¿Podría compartir un poco sobre esta elección y también dónde se originó el nombre de la empresa?

Dan Belcher: Queríamos que mabl fuera una persona porque queríamos que las personas sintieran que estaban invitando a otro miembro a su equipo, y por eso tuvimos que darle un nombre. Una cosa que nos gusta de la marca mabl es que es desarmante y amigable. No es una marca que dice ser una especie de cosa sabia en el fondo o el Mago de Oz, o algo así. Queríamos que mabl fuera muy accesible y útil … y más divertido. Esos fueron los atributos que perseguimos cuando definimos la marca y creamos el nombre. Y, por supuesto, es muy fácil decir mabl y fácil de deletrear si recuerdas dejar caer la 'e' al final.

"Queríamos que las personas sintieran que estaban invitando a otro miembro a su equipo, por lo que tuvimos que darle un nombre".

Nos preocupa la tendencia de las personas a identificar las herramientas y personas basadas en inteligencia artificial para interpretar que las marcas basadas en IA son muy complejas y avanzadas. No pensamos en nosotros mismos como una empresa de LD o AI, pensamos en nosotros mismos como una empresa de pruebas que simplemente utiliza mucha tecnología muy complicada en segundo plano, y creemos que la marca mabl refuerza eso. La idea de mabl es realmente simple; es solo un servicio que puede aprender cómo funciona el software, escribir algunas pruebas, ejecutar las pruebas, avisarle cuando algo se rompe. Es muy difícil desde una perspectiva de implementación, pero esa no es la preocupación de los usuarios.

David: Sí, me gusta el enfoque centrado en el cliente porque creo que hay demasiadas marcas, uso solo un poco de IA o Aprendizaje automático y en la parte superior de su página principal es como AI para esto o Machine Learning para eso, y es como eso realmente no tiene nada que ver con la necesidad y el problema del cliente … Entonces, ¿cuáles son las mayores amenazas de mabl?

Dan Belcher: Vemos dos amenazas principales. Un problema con QA que no tiene suficiente tiempo es tan agudo en este momento es que no tenemos tiempo para invertir en mejores formas de hacer el trabajo. Algunas empresas con las que hemos hablado han abandonado. Dicen que está bien, miren, probamos la automatización de pruebas, invertimos mucho y las pruebas son muy frágiles y quebradizas, y cada vez que cambiamos nuestro producto, todas las pruebas se rompen, por lo que decidimos cambiar nuestra estrategia para no hacer pruebas muy funcionales o de extremo a extremo y dejar que nuestros clientes encuentren los errores "Espero que podamos mostrar a las personas que hay una mejor manera".

El otro riesgo está muy relacionado. Este no es un problema fácil desde una perspectiva tecnológica que estamos tratando de resolver, y nunca se ha hecho antes. Estamos aplicando nuevos modelos de aprendizaje automático a QA, combinándolos con otras herramientas de análisis, haciéndolo a escala, en tiempo real, etc. Y ese riesgo está en nosotros y en nuestra capacidad de innovar; ¿Podemos resolver ese problema de una manera general que miles de clientes encuentran útil?

David: con sus primeros clientes, ¿podría decirles dónde encuentran el mayor valor y cómo está cambiando su desarrollo de software actual?

Dan Belcher: Cuando te registras, llamas a mabl a un entorno de prueba para una de tus aplicaciones y le das algunas credenciales, como lo harías si contratases a una nueva persona de control de calidad llamada mabl. Dirías 'bueno ve a ver la aplicación y familiarízate con ella. Para lograr ese objetivo , básicamente descubrirás cómo iniciar sesión en la aplicación y luego gatear. Así que visitaremos todas las páginas de la aplicación, rastrearemos, miraremos su aplicación web, sus documentos, su sitio de marketing, etc. La razón por la que creamos esa función fue para ayudar a capacitar a estos modelos sobre cómo funciona la aplicación. También vemos lo que es normal a medida que hacemos esto, por lo que podemos mostrar información realmente útil para el usuario cuando las cosas no son normales.

Por ejemplo, encontramos todos sus enlaces rotos en toda su aplicación, sitio web, documentos, etc. Encontramos cada página que tiene un error de JavaScript que se carga cuando ejecutamos una prueba. Controlamos los tiempos de carga de la página y les informamos a los clientes cuándo cambia el momento de la carga de una página o si cambia la ejecución de una prueba. Encontraremos diferencias visuales en las páginas.

"Encontramos todos sus enlaces rotos en toda su aplicación, sitio web, documentos, etc.".

Así que esa función de rastreo que realmente pensamos era una parte bastante pequeña del valor para el cliente, resulta también muy importante para el usuario porque no tiene tiempo para salir y buscar cada error de JavaScript o cada enlace roto, y así adelante. Y así, en unos pocos minutos después de registrarse en mabl, obtienen las ideas que de otra forma no verían.

David: Eso suena como un fuerte momento ah-ha para ellos, es genial obtener ese valor tan rápido.

Dan Belcher: hay clientes cuyas aplicaciones tienen 50,000 páginas o más, y vamos a encontrar cuáles de esas 50,000 páginas tienen nuevos errores de JavaScript que fueron presentados por un lanzamiento reciente. Puede imaginarse cuánto tiempo le tomaría a un equipo de control de calidad, incluso a un gran equipo de control de calidad, poder hacer esos descubrimientos para ese tipo de problemas. Con mabl eso es cuestión de horas para una aplicación a esa escala.

Lea la otra mitad de esta entrevista, The Entrepreneurial Journey of mabl Co-Founder Dan Belcher .

Elimina las pruebas escamosas. mabl utiliza el aprendizaje automático para actualizar automáticamente sus pruebas. Véalo usted mismo hoy .