IT日報:準「AI 時代」下,如(rú)何衡量程序員的(de)工作效率和(hé)生産力?

近 20 家科(kē)技、金融和(hé)制藥公司實施了新的(de)研發效能管理(lǐ)方法,并取得了令人鼓舞的(de)初步結果。


  • 客戶報告的(de)産品缺陷減少 20%-30%;

  • 員工體驗分數提高(gāo) 20%;

  • 客戶滿意度評分提高(gāo) 60 個百分點。

大模型和(hé) AIGC 技術催生了軟件研發的(de)新範式,也讓研發管理(lǐ)的(de)複雜度急劇攀升。盡管有(yǒu)研究稱,Copilot X 和(hé) ChatGPT 等生成式 AI 工具有(yǒu)望将開發者完成任務的(de)速度提高(gāo)兩倍,但在引入合适的(de) AI 應用和(hé)工具之前,研發管理(lǐ)者們可(kě)能首先要回答,「如(rú)何判斷 AI 工具确實為(wèi)組織提效産生了助力?


準「AI 時代」下,「AI + 研發效能」很可(kě)能成為(wèi)企業構建核心競争力的(de)角逐高(gāo)地(dì)。而如(rú)何科(kē)學(xué)、全面且準确地(dì)衡量開發者和(hé)研發團隊的(de)工作效率與生産力正是研發效能治理(lǐ)中的(de)重要命題。


麥肯錫在最近的(de)一(yī)次研究中,對現有(yǒu)的(de)兩組生産力指标模型進行(xíng)拓展和(hé)補充,構建了端到端的(de)開發者工作效率與生産力視(shì)圖。報告稱,該方法很容易通過調查問卷或沉澱在研發管理(lǐ)工具中的(de)過程數據進行(xíng)部署,無需引入大量的(de)技術堆棧或工具設備。

麥肯錫


開發者工作效率與生産力視(shì)圖


基于 DORA 指标和(hé) SPACE 指标,麥肯錫拓展補充了 4 個以機(jī)會為(wèi)中心的(de)度量指标(Opportunity-focused metrics),并按照系統級、團隊級和(hé)個人級對所有(yǒu)指标進行(xíng)分類和(hé)歸集,最終得到能夠确定如(rú)何改進産品交付方式以及明确改進價值的(de)開發者工作效率與生産力視(shì)圖。

image.png

01

DORA 指标


DORA 指标由谷歌的(de) DevOps 研究與評估團隊經多年(nián)的(de)調研與分析總結提出,是技術領域最接近标準的(de)量化管理(lǐ)框架,它們在衡量研發成果方面表現出色。


DORA 指标涉及吞吐量和(hé)穩定性兩個方面,包含部署頻率、變更前置時間、服務恢複時間和(hé)變更失敗率四個關鍵指标。當 DORA 指标返回的(de)結果不理(lǐ)想時,就意味着需要調查問題的(de)原因,而這通常需要花很長(cháng)時間。


image.png

02

SPACE 指标


SPACE 指标由 GitHub 和(hé) Microsoft Research 提出,用于增強 DORA 指标。SPACE 是滿意度(Satisfaction)、績效(Performance)、活動(Activity)、溝通(Communication)和(hé)效率(Efficiency)的(de)縮寫;其中每個維度都包含若幹個适用于個人、團隊或系統級别的(de)不同指标


将個人視(shì)角(特别是開發者的(de)幸福感)考慮在內(nèi),SPACE 指标能很好地(dì)說明組織是否得到優化。


03

機(jī)會導向指标


麥肯錫從多個視(shì)角對研發過程進行(xíng)了細緻入微的(de)觀察,并提出四個機(jī)會導向指标:研發內(nèi)/外循環耗時、開發者速率指數、貢獻分析和(hé)人才能力得分。

image.png


研發內(nèi)/外循環耗時



Inner/outer loop time spent







報告指出,為(wèi)了确定需要改進的(de)具體領域,完整的(de)軟件開發流程可(kě)以視(shì)為(wèi)兩個循環。研發內(nèi)循環包括與創建産品直接相關的(de)活動:編碼、構建和(hé)單元測試;外循環則包括開發人員将代碼推向生産所必須完成的(de)其他任務:集成、集成測試、發布和(hé)部署。

image.png

于開發者而言,內(nèi)循環是構建産品,直接産生價值的(de)過程,而外循環雖然必要,但卻充滿了繁雜瑣事。因此從生産力和(hé)個人體驗的(de)角度來看,企業應盡可(kě)能改進外循環的(de)工具和(hé)自(zì)動化,以便讓開發者能在內(nèi)循環活動上投入更多時間。其中,頂級科(kē)技公司的(de)目标是讓開發者将多達 70% 的(de)時間花在內(nèi)循環活動上。



開發者速率指數



Developer Velocity Index







開發者速率指數(Developer Velocity Index,DVI)研究是一(yī)項衡量企業技術、工作實踐和(hé)組織支持程度的(de)調查。


DVI 涉及 3 大方面、13 個能力領域的(de) 46 項驅動因素,并由這 46 項影響因子(zǐ)加權平均而得,可(kě)與同行(xíng)進行(xíng)對标這種比較有(yǒu)助于發現特定的(de)機(jī)會領域,如(rú)待辦事項管理(lǐ)、測試或者安全性和(hé)合規性等方面。

image.png


貢獻分析



Contribution analysis







評估個人對團隊待辦事項的(de)貢獻(從 LigaAI 等研發管理(lǐ)工具中獲取數據,并使用專有(yǒu)算法對數據進行(xíng)标準化)有(yǒu)助于揭示阻礙團隊能力優化的(de)趨勢,并使團隊領導者對産出有(yǒu)清晰的(de)預期,從而提高(gāo)績效表現。


此外,它還有(yǒu)助于管理(lǐ)者辨析個人技能提升或培訓的(de)機(jī)會,重新思考團隊內(nèi)的(de)角色/任務分配。例如(rú),質量保證測試人員是否有(yǒu)足夠的(de)工作可(kě)做(zuò)。



人才能力得分



Talent capability score







該得分是基于行(xíng)業标準能力地(dì)圖,對特定組織的(de)個人知識、技能和(hé)能力的(de)總結。理(lǐ)想情況下,組織應追求「鑽石分布」,即大多數開發人員處于中等能力範圍。這樣有(yǒu)助于洞悉輔導和(hé)提高(gāo)技能的(de)機(jī)會,在極端情況下,可(kě)能需要重新思考人才戰略。


# 寫在最後


上周,OpenAI 公布了 GPTs、Assistants API 和(hé) GPT-4 Turbo 模型等一(yī)系列關鍵技術和(hé)産品更新,讓 AI 圈再次沸騰。


幾乎可(kě)以預見的(de),基于大模型的(de) AIGC 技術和(hé)應用會逐步融入開發者和(hé)研發團隊的(de)日常工作,成為(wèi)團隊基因的(de)一(yī)部分。面對來勢洶洶的(de) AI 浪潮,研發管理(lǐ)者正迫切地(dì)需要建立科(kē)學(xué)的(de)度量指标體系,以更直觀地(dì)洞察開發者和(hé)研發團隊的(de)工作效率與生産力。或許,這樣就能更清晰地(dì)回答:


  • 影響程序員發揮出最佳水平的(de)障礙是什麽?

  • 文化和(hé)組織在多大程度上影響了開發者創作偉大作品的(de)能力?

  • 如(rú)何知道(dào)程序員的(de)時間和(hé)精力是否花在了真正推動價值的(de)活動上?

  • 如(rú)何知道(dào)組織是否擁有(yǒu)所需的(de)所有(yǒu)開發人才?