关闭

产品经理应该如何快速测评新算法?掌握这几步!(下)

产品经理应该如何快速测评新算法?这篇文章来分享最后几个步骤,也是非常关键的哦!大家耐心的看完,一定会有所收获,产品人就是要不断学习。
产品经理应该如何快速测评新算法?这篇文章来分享最后几个步骤,也是非常关键的哦!大家耐心的看完,一定会有所收获,产品人就是要不断学习。
产品经理一、确定评估指标和计算公式

针对一种新算法,最快地了解该算法的评价指标的方法是“问”。自我研究算法的,可以询问算法研究者;外购算法的,可以询问多个算法提供商,综合选择评价指标。

1.算法精度指标

根据算法的不同,精确度指标可以分为两类:绝对精确度指标和相对精确度指标。

绝对值一般为准确率,是测试集算法处理结果与实际结果差异的百分比,目前小编所接触的绝对值有FAR、FRR、召回率、字符正确率等。

相对论法是指建立一种基准算法,锚定该算法的绝对指标准确率,并计算其它算法相对于此基准算法在指标上的差异,因此相对论法一般都会采用均方根误差(标准误差)作为计算结果。

因此,可以理解,当统计一组绝对指标时,需要人为地标注测试集,即得到测试集的真正标准答案;当统计一组相对指标时,则不需要标注测试集,而直接以基准算法测试的结果作为标准答案。由此我们可以得出一个诀窍,采用相对指标进行测量会更新快,因为省去了人工标注的环节,但测量结果在客观性方面会出现一些偏差。

2.算法性能指标

一般包括,并发,QPS,吞吐量,时间消耗。

3.操作体验指标

一般包括页面的数量,事件的数量,转换率,可用率,转换率,操作时间。

制订指标还需要注意一点,即要清楚地说明指标判断好坏的逻辑,并尽量保证所有指标的好坏逻辑一致;例如,a、b、c三个指标,它们的判断逻辑是:数值越大表示得越好,而d指标的判断逻辑则是数值越低表示得越好,这对用户很不友好。

二、撰写测评报告

当所有测试用例都被执行之后,整理测试数据并形成可阅读的评估报告。

下面是供评估报告参考的章节框架:

1.测评背景和目标

说明启动此评估的项目背景,以及在此背景下,评估希望达到哪些目标。

人们常常容易忽视对背景的分析,其实这并不正确。对项目背景的深入了解,可以使我们更准确地理解项目起源,从而有助于我们更准确地理解业务和需求,更准确地划分各种事务的界限。

试着问一下,如果我们不理解为什么一个项目需要这么做,那么如何能够准确地评估需求?

2.业务需求解读

我们在第一步对需求的描述中,一般可以从三个方面来理解:第一,政策法规方面,第二,客户需求,第三,竞品分析,通过这三个方面的分析,得出需求的作用。

3.竞品/供应商能力分析

全面地分析投标的功能,或全面地分析供应商的功能。

4.测评方案描述

说明抽样类型,用例设计,执行方式,评价指标(指标定义+判断逻辑)。

5.测评指标结果

经统计后显示各指标数值,是评价结论的客观依据。

6.测评结论

对于指标结果,给出了综合结论,该结论需要与测试目的(目标)相对应。

内容比较多,小编也整理了很长时间,但是都是一些干货知识,如果觉得有用的话可以收藏起来。每天学习一点,慢慢进步,最终成为优秀的产品经理。

以上就是“产品经理应该如何快速测评新算法?掌握这几步!(下)”的内容了,如果你还想了解其他相关内容,可以来产品壹佰官方网站。

0条评论 添加新讨论

登录后参与讨论
Ctrl+Enter 发表