关闭

产品经理应该如何快速测评新算法?掌握这几步!(中)

这篇文章继续聊聊:产品经理应该如何快速测评新算法?之前分享了一些基本步骤,下面介绍接下来的步骤,都非常重要哦,所以要完整的看完!
这篇文章继续聊聊:产品经理应该如何快速测评新算法?之前分享了一些基本步骤,下面介绍接下来的步骤,都非常重要哦,所以要完整的看完!
产品经理一、明确测评的执行方式

测试的执行方式可分为批量跑测和端对端测试。

成批测试,是指通过调用算法模型的相关接口,将已准备好的测试样本批量输入到模型中,并以成批方式获得模型返回结果的测试方式。

端对端测试,是指模拟用户的实际使用场景,从用户设备(手机、PC等等)传递测试样本,直到算法服务端返回测试结果到用户设备。

对于精确度和性能的测试,我们建议采用批量跑测的执行方式,数据准,效率高;对于操作体验的测试,一般只能通过端到端的执行方式,才能精确还原操作场景。

二、明确样品类型和用例

样本选取和用例设计是整个测试过程的核心,它直接影响到测试结果能否真实、客观、全面地反映算法性能。

在样本选择和用例设计方面,各种算法各不相同,但有几种小方法可供参考:

1.全面覆盖

样本和用例的设计要根据业务需求完全覆盖需要测量和客观反映需求的算法能力。怎样做到全面覆盖呢?最小颗粒分解法可被采用。

2.最小颗粒

基于业务需求,将算法能力分解为最小粒度,对最小粒度的原子能力逐一进行测试。怎样分解原子能力?下面是一个小技巧,就是多问几个“为什么”,其实就是分解算法训练原理,然后根据实际在业务场景中会出现的情况,得出样本和用例。

3.单一变量

同时,为了确保每个原子能力的客观结果能够有效地反映出来,要求每组样本和用例保证只有一个变量发生变化;由于同一用例中有多个变量发生变化,因此很难区分出算法得出的测试集结果是由哪些变量引起的,从而不利于后续结果分析。

如果有特殊的要求,当然,在能够明确区分变量影响的情况下,还可以进行多元变化测试。

4.侧面转换

在面对某些算法能力我们无法直接测评的情况下,可以使用转换方法,将无法直接测评的能力转换为与此能力直接相关且可以测评的其他能力,从一个侧面验证这种算法能力的效果。

评测新算法的内容还没有分享完哦,下一篇文章还会继续,所以别忘了去看哦!大家一定要多多充实自己,这样才能早日实现财富自由。

以上就是“产品经理应该如何快速测评新算法?掌握这几步!(中)”的内容了,如果你还想了解其他相关内容,可以来产品壹佰官方网站。

0条评论 添加新讨论

登录后参与讨论
Ctrl+Enter 发表