{"id":981,"date":"2021-03-30T11:53:29","date_gmt":"2021-03-30T14:53:29","guid":{"rendered":"https:\/\/elemarjr.com\/manualdocto\/?p=981"},"modified":"2025-06-16T15:56:08","modified_gmt":"2025-06-16T18:56:08","slug":"metricas-que-o-cto-precisa-conhecer-e-observar-v1_1","status":"publish","type":"post","link":"https:\/\/elemarjr.com\/livros\/manualdocto\/metricas-que-o-cto-precisa-conhecer-e-observar-v1_1\/","title":{"rendered":"M\u00e9tricas que o CTO precisa conhecer e observar – v1_01"},"content":{"rendered":"Como dissemos no <\/span>cap\u00edtulo 1<\/span><\/a>, o CTO \u00e9 o respons\u00e1vel pela engenharia para constru\u00e7\u00e3o e manuten\u00e7\u00e3o de produtos tecnol\u00f3gicos, tanto para uso interno quanto para uso externo. Dessa forma, entre seus principais interesses est\u00e3o a melhoria dos m\u00e9todos de trabalho, tecnologias adotadas, t\u00e9cnicas empregadas, al\u00e9m, \u00e9 claro, da composi\u00e7\u00e3o e organiza\u00e7\u00e3o do time.<\/strong><\/span>\n
\n

\u00c9 importante que o CTO, principalmente em empresas maiores, consiga avaliar de maneira objetiva as entregas de seu departamento. Para isso, \u00e9 recomend\u00e1vel que ele observe um conjunto suficiente de m\u00e9tricas ao ponderar ganhos e perdas de cada iniciativa. A aten\u00e7\u00e3o dada a essas m\u00e9tricas, bem como as metas que forem determinadas s\u00e3o de suma import\u00e2ncia para a gera\u00e7\u00e3o de resultados de valor para o neg\u00f3cio, afinal, o esperado \u00e9 que as pessoas se comprometam a entregar, melhor e primeiro, resultados que impactem positivamente as m\u00e9tricas que s\u00e3o observadas.<\/p>\n

Boa parte das dificuldades dos CTOs em estabelecer m\u00e9tricas tem duas causas ra\u00edzes:<\/p>\n

    \n
  1. geralmente h\u00e1 mais \u00eanfase em outputs<\/em> do que\u00a0outcomes\u00a0<\/em><\/strong>–\u00a0<\/em>nem sempre \u00e9 f\u00e1cil entender que\u00a0features\u00a0<\/em>n\u00e3o representam, necessariamente, valor para o neg\u00f3cio. Tampouco volume de c\u00f3digo escrito ou\u00a0velocity <\/em>s\u00e3o bons indicativos de performance.<\/li>\n
  2. \u00eanfase no \u00f3timo local e n\u00e3o no \u00f3timo global\u00a0<\/strong>– software (ou hardware) tem valor quando est\u00e1 em produ\u00e7\u00e3o, ou seja, ser tremendamente eficiente para fazer entregas que ningu\u00e9m usa \u00e9 desperd\u00edcio de recursos e n\u00e3o representa nada mais que “m\u00e9trica para vaidade”.<\/li>\n<\/ol>\n
    \n

    Boas m\u00e9tricas precisam ser, ao mesmo tempo, valiosas al\u00e9m dos limites da \u00e1rea de tecnologia – ou seja, globais – e focadas na gera\u00e7\u00e3o de valor percebido para o neg\u00f3cio.<\/strong><\/p>\n

    M\u00e9tricas essenciais<\/h2>\n

    Nicole Forsgren<\/a>, Jez Humble<\/a> e\u00a0 Gene Kim<\/a> apontam, no excelente livro Accelerate<\/a> (leitura mais do que recomendada) quatro m\u00e9tricas de engenharia que consideram (e eu concordo) essenciais:<\/p>\n

      \n
    1. Delivery lead time<\/strong>,\u00a0<\/em>ou seja, o tempo transcorrido entre um experimento (n\u00e3o gosto do termo “requisito”) estar “pronto para implementar” at\u00e9 efetivamente estar sendo testado em produ\u00e7\u00e3o;<\/li>\n
    2. Deployment frequency<\/em><\/strong>, que implica, fatalmente, na quantidade de “novidades” em cada deploy<\/em> (batch size<\/em>)<\/li>\n
    3. Change fail percentage <\/em><\/strong>apontando a propor\u00e7\u00e3o de deliveries<\/em> que geram falhas percebidas em produ\u00e7\u00e3o<\/li>\n
    4. Mean time to restore (MTTR)<\/em> <\/strong>indicando o tempo em que uma falha de\u00a0deploy\u00a0<\/em>destr\u00f3i valor.<\/li>\n<\/ol>\n
      \nAs duas primeiras m\u00e9tricas influenciam na gera\u00e7\u00e3o de valor colocado em produ\u00e7\u00e3o no melhor tempo, com o m\u00ednimo de represamento. As duas \u00faltimas objetivam qualidade. Processos de engenharia excelentes s\u00e3o \u00f3timos em todas as quatro dimens\u00f5es.\n
      \n

      Delivery lead time\u00a0<\/em>mais baixo com\u00a0deployment frequency\u00a0<\/em>mais alto permite a \u00e1rea de engenharia colaborar com os times de neg\u00f3cio na execu\u00e7\u00e3o de experimenta\u00e7\u00f5es que podem resultar em ganhos no modelo operacional. Al\u00e9m disso, entregas mais frequentes garantem\u00a0batch sizes\u00a0<\/em>menores, logo, mais f\u00e1ceis de depurar e com preju\u00edzo menos percebido quando um\u00a0rollback <\/em>for\u00a0necess\u00e1rio.<\/p>\n

      MTTR<\/em> menores indicam menos “dor para o neg\u00f3cio”, em ambiente produtivo. Enquanto isso, change fail percentage <\/em>mais baixo indica sucesso na implementa\u00e7\u00e3o de a\u00e7\u00f5es preventivas, como testes automatizados implementados (na medida certa, para atender o delivery lead time<\/em>) e revis\u00e3o por pares.<\/p>\n

      MTTR ou MTBF?<\/h2>\nAl\u00e9m do MTTR, \u00e9 comum encontrar empresas medindo o MTBF (<\/span>mean time between failures<\/span><\/i> – tempo m\u00e9dio entre falhas). A inten\u00e7\u00e3o geralmente \u00e9 boa, mas o resultado pode ser diferente do que se espera.<\/span>\n
      \n

      M\u00e9tricas criam “tens\u00f5es” na opera\u00e7\u00e3o que direcionam decis\u00f5es e padr\u00f5es operacionais. A “tens\u00e3o” gerada pelo MTBF, que \u00e9 uma m\u00e9trica bem intencionada, \u00e9 espa\u00e7ar problemas em produ\u00e7\u00e3o o m\u00e1ximo poss\u00edvel, evitando preju\u00edzos percebidos. O problema \u00e9 que, implicitamente, essa m\u00e9trica acaba encorajando, tamb\u00e9m, o prolongamento dos intervalos entre <\/span>deploys<\/span><\/i>, afinal, em um sistema que est\u00e1 funcionando bem, toda mudan\u00e7a \u00e9 fonte potencial de problemas. Indiretamente, em fun\u00e7\u00e3o de menos entregas em produ\u00e7\u00e3o, h\u00e1 aumento do <\/span>lead time <\/span><\/i>e tamb\u00e9m do tamanho de cada entrega, gerando, curiosamente, aumento nas chances de falhas no ambiente produtivo, mais dif\u00edceis de identificar, prejudicando o MTTR.<\/span><\/p>\nOs riscos do MTBF podem ser bastante mitigados se o <\/span>deploy <\/span><\/i>acontecer em “an\u00e9is” e a m\u00e9trica ficar restrita apenas ao anel mais amplo.<\/span>\n

      NPS<\/h2>\n

      Outra m\u00e9trica que tem sido bastante aplicada \u00e9 o NPS (Net promoter score)<\/a>. De maneira simples, ela aponta a satisfa\u00e7\u00e3o dos “clientes” a partir da disposi\u00e7\u00e3o destes para recomendar um produto ou servi\u00e7o. A premissa \u00e9 que clientes mais satisfeitos recomendam mais, s\u00e3o promotores. Enquanto isso, clientes insatisfeitos desencorajam novos consumidores, s\u00e3o detratores.<\/p>\nQuando os produtos tecnol\u00f3gicos desenvolvidos pela organiza\u00e7\u00e3o s\u00e3o usados externamente, o NPS atribu\u00eddo a empresa acaba sendo, indiretamente, indicativo tamb\u00e9m da qualidade das pr\u00e1ticas adotadas engenharia e devem, sim, ser avaliados pelo CTO. Por outro lado, quando os produtos tecnol\u00f3gicos s\u00e3o exclusivos para uso interno, a medi\u00e7\u00e3o de NPS com o “cliente interno” pode refor\u00e7ar a cultura do “n\u00f3s-e-eles” destruindo oportunidades de colabora\u00e7\u00e3o e, em consequ\u00eancia, a agilidade.\n

      Algumas m\u00e9tricas financeiras<\/h2>\n

      Al\u00e9m das m\u00e9tricas propostas por Forsgren, Humble e Kim<\/a>, destaco ainda alguns indicadores financeiros importantes:<\/p>\n

        \n
      1. or\u00e7amento da \u00e1rea sobre o faturamento<\/li>\n
      2. custo da folha sobre o faturamento<\/li>\n
      3. faturamento per capta<\/li>\n<\/ol>\n
        \n

        Todos esses indicadores s\u00e3o \u00fateis para compara\u00e7\u00f5es ao longo do tempo. O primeiro e o segundo, ajudam a entender o impacto dos gastos e despesas em tecnologia na companhia, uma vez que, quando seus valores crescem indicam investimento ou inefici\u00eancia. O terceiro, por sua vez, \u00e9 \u00fatil para verificar se a empresa prioriza senioridade (menos gente, mais experiente e potencialmente mais cara) ou volume (mais gente, menos experiente e potencialmente mais “barata”).<\/p>\n

        Coisas que voc\u00ea precisa fazer<\/h2>\nAntes de avan\u00e7ar para o pr\u00f3ximo cap\u00edtulo, considere implementar as seguintes iniciativas:\n
        \n
          \n
        1. Construa uma “planilha” consolidando os indicadores financeiros que apontamos nesse cap\u00edtulo<\/li>\n
        2. Reflita sobre a “flutua\u00e7\u00e3o” dos indicadores financeiros: sua empresa est\u00e1 investindo? seu departamento est\u00e1 menos ou mais eficiente? a \u00eanfase \u00e9 senioridade ou quantidade de membros no time?<\/li>\n
        3. Pondere sobre a coleta das m\u00e9tricas indicadas por Forsgren, Humble e Kim<\/a>. Quanto “f\u00e1cil” seria para sua empresa coletar essas m\u00e9tricas hoje?<\/li>\n
        4. As quatro m\u00e9tricas propostas por\u00a0Forsgren, Humble e Kim<\/a> costumam ser “balanceadas”, ou seja, todas est\u00e3o bem ou todas est\u00e3o mal. Avalie os resultados do seu time.<\/li>\n<\/ol>\n

           <\/p>\n","protected":false},"excerpt":{"rendered":"

          \u00c9 importante que o CTO, principalmente em empresas maiores, consiga avaliar de maneira objetiva as entregas de seu departamento. Para isso, \u00e9 recomend\u00e1vel que ele observe um conjunto suficiente de m\u00e9tricas ao ponderar ganhos e perdas de cada iniciativa. A aten\u00e7\u00e3o dada a essas m\u00e9tricas, bem como as metas que forem determinadas s\u00e3o de suma […]<\/p>\n","protected":false},"author":2,"featured_media":1304,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"hashtags":[],"url":[32],"capitulos":[27],"class_list":["post-981","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","url-permanente","capitulos-capitulo4"],"_links":{"self":[{"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/posts\/981","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/comments?post=981"}],"version-history":[{"count":11,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/posts\/981\/revisions"}],"predecessor-version":[{"id":1050,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/posts\/981\/revisions\/1050"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/media\/1304"}],"wp:attachment":[{"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/media?parent=981"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/categories?post=981"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/tags?post=981"},{"taxonomy":"hashtags","embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/hashtags?post=981"},{"taxonomy":"url","embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/url?post=981"},{"taxonomy":"capitulos","embeddable":true,"href":"https:\/\/elemarjr.com\/livros\/manualdocto\/wp-json\/wp\/v2\/capitulos?post=981"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}