如果我们用到的数据集非常大,可能会增加到包含数十亿行,我们每次执行刷新操作时完全刷新整个数据集,会导致数据集模型运行的非常非常慢,PowerBI为经常加载新数据和更新数据的数据集表,扩展了计划的刷新操作,即增量刷新,仅刷新最新的数据,可以显著减少需要刷新的数据量。
我们以一个案例来演示具体的操作:
有一个随着日期不断累积的mysql数据库表,超市销售表,如图:
第一步:打开PowerBI,导入超市销售表,点击获取数据,mysql,填写服务器和数据库,点击确定,如图:
第二步:选择我们想要导入的表,点击转换数据,如图:
第三步:如果格式不规范,修改下格式,小数格式修改为小数,日期/时间格式修改为日期/时间,如图:
数据日期说明:表中日期为2001-01-01 00:00:00 至2001-04-03 00:00:00
我们需要筛选的日期为2001-04-01 00:00:00 至 2001-04-03 00:00:00
第四步:添加参数,点击 主页-->管理参数-->新建参数,如图:
第五步:新建第一个参数,名称填写RangeStart,选择类型为日期/时间,当前值填写我们要用的日期/时间,点击确定,如图:
第六步:新建第二个参数,名称为RangeEnd ,选择类型为日期/时间,当前值填写我们要用的日期/时间,点击确定,如图:
第七步:配置参数,定义 RangeStart 和 RangeEnd 参数后,根据 RangeStart 和 RangeEnd 参数中的条件应用筛选器,在 Power Query 编辑器中,选择要筛选的日期列,此处为(年月日时分秒)然后单击“筛选器”图标 >“日期/时间筛选器” > “自定义筛选器”,如图:
第八步:在“筛选器行”中,要指定第一个条件,请选择“晚于”或“晚于或等于”,再选择“参数”,然后选择“RangeStart”,如图:
第九步:指定第二个条件,如果已在第一个条件中选择“晚于”,则选择“早于或等于”,而如果已在第一个条件中选择“晚于或等于”,则在第二个条件中选择“早于”,再选择“参数”,然后选择“RangeEnd”,然后点击确定,如图:
第十步:第九步完成之后,可以在Power Query查看到筛选后的数据,如图:
第十一步:单击“关闭并应用”。,然后 Power Query 会根据 RangeStart 和 RangeEnd 参数中定义的筛选器以及你定义的任何其他筛选器加载数据。
注意要点:
如果第九步点击确定后,数据加载很慢,很有可能是因为查询没有开启本机查询,如图:
测试结果:
在第一步的sql语句编辑框是空白的可以使用本机查询,如果添加sql语句,则可能用不了本机查询。
优点:
使用增量刷新具有以下优势:
1.刷新更快捷 - 只需刷新最近更改的数据。
2.刷新更可靠 - 无需与不稳定数据源建立长期连接。对源数据的查询运行速度更快,降低了网络问题造成干扰的可能性。
3.降低资源消耗 - 要刷新的数据量减少,从而降低了 Power BI 和数据源系统中的内存和其他资源的整体使用量。
4.允许大型数据集 - 数据集可能会增加到包含数十亿行,而无需在每次执行刷新操作时完全刷新整个数据集。
欢迎关注我的视频号:
一键生成30个度量值视频版:
下方可以留言: