暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

NIFI版本历史

NIFI实战 2021-10-06
2229

总结:

文章有点长:总结写在前面。NIFI自2015年7月发布至1.14.0版本,共经历了20个大版本,版本迭代平均周期是109天;最短的一个版本迭代是0.5.0版本39天;最长的一个版本是1.9.0,耗时258天,该版本出现过大bug,随意不建议使用。其次是1.11.0版本迭代,耗时209天,推荐使用1.11.4版本,该版本功能比较全面,无重大bug。总体来说NIFI的版本迭代周期越来越长了,并且慢慢的趋于稳定了。最新的1.14.0版本已经发布84天,在过去的90天里官方issues统计发现,8月25当天上报的issues最多,整个8月份issues产生的最多,我详细看了一下现有open的issues,并没有发现框架性的bug,所以1.14.0该入手的可以入手了,1.14.0三个功能非常吸引我,默认的https登录、run once、新增的nar包热加载玩法。

版本 0.2.1(bug修复)

发布日期:2015 年 7 月 26 日

0.2.1 版本的亮点包括

  • 删除了对Incubator的所有适当引用,因为 NiFi 现在是 TLP。(Incubator和TLP都是在成为完全成熟的Apache软件基金会项目的开源项目的通道)

  • 修复了 0.2.0 中出现的错误,该错误导致 NiFi 实例的新用户不会被提示创建帐户。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12333089 中找到

NiFi NAR Maven 插件版本 1.1.0(插件打包)

发布日期:2015 年 8 月 23 日

1.10 版本的亮点包括

  • 创建了一个新插件,允许开发人员获取通过 NAR 依赖项提供的传递依赖项列表。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12333301 中找到

版本 0.3.0(功能增强)

发布日期:2015 年 9 月 18 日

0.3.0 版本的亮点包括

  • 处理大量小文件的性能改进。

  • Provenance 存储库中的性能改进。

  • 添加了 Apache TM Ambari TM 的报告任务。

  • 提高了 nifi bootstrap 的稳定性。

  • 添加了用于处理图像的处理器。

  • 支持与启用 Kerberos 的 Hadoop 集群交互

  • 添加了额外的 Avro 功能 - 合并数据文件并转换为 json

  • 添加了用于对关系数据库执行 INSERT、UPDATE、DELETE 语句的处理器

  • 添加了运行 Apache TM Flume TM 源和接收器的处理器。

  • 添加了与 Amazon Web Services(S3、SNS 和 SQS)集成的处理器。

  • 现在默认启用内容存档。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12329653 中找到

版本 0.4.0(扩展功能)

Apache NiFi 0.4.0 版在功能和可用性方面进行了重大改进,并提供了一些稳定性和性能改进以及错误修复。

发布日期:2015 年 12 月 11 日

0.4.0 版本的亮点包括:

  • 新的应用功能

    • 多种认证机制:NiFi 现在支持多种认证机制!NiFi 不再与基于双向 SSL 的非安全或安全相关联,但现在可以通过 LDAP提供用户身份验证。这是一项重大的工作,但为更轻松地提供新的身份验证机制铺平了道路。未来的版本将包括其他机制,例如 Kerberos。

    • 从队列中删除 FlowFiles:用户现在可以右键单击连接并将 FlowFiles 放入队列中,而不是依赖 FlowFile Expiration 来删除不需要的 FlowFiles

  • 可用性改进

    • 显式处理器连接:不期望传入数据的处理器将不再允许传入连接。尝试绘制到“Source Processor”的连接会将连接线显示为红色的虚线,并且不允许进行连接。同样,需要输入来执行工作的处理器将是无效的,直到它们有传入的连接。一些处理器可能接受传入数据或在没有任何传入数据的情况下运行。无论是否有传入连接,这些处理器都是有效的。

    • 入门指南:入门指南已添加到应用程序的“帮助”屏幕中。本指南介绍了 NiFi 术语,介绍了 NiFi 的关键概念,并讨论了如何使用 FlowFiles 及其属性。这在概念上与用户指南相似,但不那么冗长,并在更高级别解释了概念。

    • 来源获取事件:添加了新的来源事件类型 (FETCH)。此事件类型用于指示由于从外部资源获取数据而修改了现有 FlowFile 的内容。这与 RECEIVE 事件形成对比,RECEIVE 事件用于指示 FlowFile 作为从外部资源获取数据的结果进入系统。

  • 新扩展

    • RouteText:允许用户轻松建立针对文本数据的查询。FlowFile 的每一行都与指定的规则匹配并根据规则进行路由(每个输出 FlowFile 中可能包含多行文本)。还支持对文本数据进行分组,以便输出的 FlowFiles 不包含来自两个不同组的文本。

    • TailFile:允许用户“拖尾”一个文件,从文件末尾使用另一个进程写入的数据。这通常用于在写入日志文件时使用数据。即使 NiFi 重新启动并且日志文件滚动,处理器也会从停止的地方恢复。

    • ListenSyslog PutSyslog:侦听通过 UDP 或 TCP 传入的 Syslog 事件并将事件发送到 Syslog。

    • ListFile / FetchFile:在给定目录中执行文件列表并获取这些文件。这些处理器与 GetFile 的不同之处在于 ListFile 处理器保留有关已使用文件的状态,因此文件只能被摄取一次而不会删除源文件。此外,如果被监视的目录存在于已挂载的卷中,则可以在整个集群中共享状态,以便新的主节点可以从前一个处理器停止的地方开始,并且列表也可以在整个集群中共享,分发拉入和处理文件的工作。

    • ListSFTP / FetchSFTP:在 SFTP 服务器上执行文件列表并获取这些文件。与 ListFile / FetchFile 类似,状态可以跨集群分布,以便多个节点可以并行执行工作。

    • DeleteS3Object:从 Amazon S3 中删除对象。

    • PutHBaseCell / GetHBase / PutHBaseJSON:允许用户将 FlowFile 的内容放入 HBase 并监听 HBase 表的更改,自动拉入添加/更新的行。

    • GetAzureEventHub / PutAzureEventHub:将FlowFiles的内容作为事件发送到 Microsoft Azure 事件中心,或在事件中心监听传入事件并为这些事件创建 FlowFile。

    • GetCouchbaseKey / PutCouchbaseKey:将FlowFiles的内容发送到 Couchbase 或从 Couchbase 获取记录的内容。

    • AttributesToJSON:从用户定义的 FlowFile 属性集轻松形成 JSON 文档(作为 FlowFile 的内容或作为属性)。

    • SplitAvro:将包含许多 Avro 记录的 FlowFile 拆分为单独的 FlowFiles,每个 FlowFiles 包含较少数量的 Avro 记录。

    • ExtractAvroMetadata:从 Avro 文件的标题中提取元数据,并将元数据作为一组属性添加到 FlowFile。

    • 图像内容查看器Image Content Viewer):当用户查看起源事件的详细信息时,在内容选项卡中,如果单击查看按钮,并且 FlowFile 的内容是图像,则该图像将在UI 中呈现,而不是指示此内容类型没有可用的查看器。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12333070中找到

版本 0.4.1(功能增强)

Apache NiFi 0.4.1 版本是一个增量版本,解决了几个错误,并在 0.4.0 版本的基础上提供了一些小的改进。

发布日期:2015 年 12 月 22 日

0.4.1 版本的亮点包括:

  • 已解决的错误

    • 站点到站点Site-To-Site):如果远程系统正在应用背压并且发送系统尝试停止连接,则发送系统流配置可能会挂起。如果要传送到的集群中的一个节点脱机,则可能会导致站点到站点在某些情况下停止向其他节点传送。自动帐户请求机制被破坏。

    • 流文件排序Flow File Ordering):基于流文件条目时间戳的排序增加了一个序列计数器,以提供更好的排序精度。

    • 运行时长(Run duration):仅当处理器支持运行时长的批处理机制时才显示。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12334375 中找到

版本 0.5.0(State Managemen)

Apache NiFi 0.5.0 包含多项激动人心的新功能,包括新处理器、用于构建和测试处理器的激动人心的新开发人员工具。稳定性和性能仍然是重中之重,并且发现并解决了一长串错误!

发布日期:2016 年 2 月 16 日

0.5.0 版本的亮点包括:

  • 新的应用功能

    • 数据检查Data inspection:):我们大大增强了与数据交互并在数据流经 NiFi 时对其进行检查的能力。

  • 使 NiFi 开发更好更容易的事情

    • 状态管理State Managemen):正如许多开发人员所知,在处理器中保持状态通常“由您决定”。这个框架的扩展通过添加状态管理作为核心功能来解决这个问题。此外,许多保持状态的现有处理器都经过修改以利用这种新功能。

    • 测试改进Testing Improvements):我们改进了许多单元测试的性能,增加了对单元测试的 groovy 支持,在单元测试中进行测试的能力,以及更好地支持集成测试

  • 现有功能的改进

    • 对系统日志的 RELP 支持RELP Support for Syslog):除了添加对传输系统日志消息的 RELP(可靠事件日志协议)的支持外,重点还放在改进框架上,以便在未来版本中实现更多扩展。

    • S3 改进S3 Improvements):我们通过添加分段上传支持,突破了之前 PutS3Object 处理器的 5G 最大上传限制。此外,我们添加了一些授权功能,例如对密钥的表达式语言支持,以及最初创建的令人兴奋的新控制器服务,用于从存储桶中获取跨帐户访问权限。

    • Hive 支持Hive Support):Kite 包现在支持将数据直接发送到 Hive 表中

    • 加密Encryption):进行了广泛的增强以改进内容和相关用户文档的加密和解密。

  • 新扩展

    • 脚本执行Script Execution):我们通过添加对在流中启动脚本的支持,显着增强了对流经 NiFi 的数据进行操作的能力。我们添加了一组广泛的脚本语言 - 您可以启动 JR uby、Groovy、JavaScript、Lua 或 Jython 脚本并访问 FlowFile 数据,这将使您的数据流更具活力和快速反应能力。

    • Support for sending Riemann Events:NiFi 现在支持将事件发送到黎曼事件流处理系统。

    • Elasticsearch:此版本中添加了与流行搜索引擎的连接

    • Avro Schema Inference:添加了支持,允许从流经 NiFi 的 JSON 和 CSV 数据推断 Avro 模式。

    • AMQP support:NiFi 现在支持从基于 AMQP(高级消息队列协议)的消息系统发送和接收

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12334158 中找到

此版本的已知问题:

  • NIFI-1497 - 访问令牌不包含在所有请求 解决 :访问令牌的问题可能会导致查看内容和自定义 UI 失败

  • NIFI-1527 - 资源索赔数不会增加在重新启动的换出FlowFiles 解决 : 在某些情况下可能导致数据丢失的问题

  • NIFI-1694 - EncryptContent 处理器应该接受用于 PGP 加密/解密的密钥环文件或单独的密钥文件 解决 :从 NiFi ≤ 0.4.1 升级的用户EncryptContent
    如果为public keyring file
    secret keyring file
    属性提供了单独的密钥文件,则在使用处理器进行基于 PGP 密钥的加密/解密时可能会遇到错误。必须提供有效的密钥环文件,并应提供完整的用户 ID " Name (Comment) <Email>
    " 表单。

版本 0.5.1(大bug修复)

Apache NiFi 0.5.1 版解决了几个错误和问题。

发布日期:2016 年 2 月 26 日

0.5.1 版本的亮点包括:

  • 已解决问题的重点

    • 关闭可能导致数据丢失的案例:如果分配给给定资源声明的所有流文件都被换出,并且存档必须回收旧空间或未被占用,并且 NiFi 重新启动,则可以删除资源声明,导致在数据丢失。

    • 基于 LDAP 的授权阻止有效的 API 调用:当使用基于 LDAP 的身份验证时,有时访问令牌没有被传播,这导致一些有效的 API 调用被拒绝,例如在下载内容或模板时。

    • 改进的错误消息:几个处理器包括改进的错误消息

    • 修复了 Hadoop 处理器错误修复了多个 PutHDFS 处理器的问题和客户端库依赖问题

    • 集群重启和升级可靠性:修复了一个长期存在的问题,该问题导致集群重启或升级时出现问题。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12334887中找到

版本 0.6.0(支持Kerberos )

Apache NiFi 0.6.0 版提供了多项新功能并解决了多个错误或改进。

发布日期:2016 年 3 月 26 日

0.6.0 版本的亮点包括:

  • 新的应用功能

    • NiFi 的 REST API 现在可以在 Oracle JVM 中运行时支持Kerberos 身份验证

  • 现有功能的改进

    • 当内部队列已满时,ListenRELP和 ListenSyslog 现在会发出警报。这意味着数据接收超过了配置的消耗率,可能会发生数据丢失,因此最好提醒用户。

    • ListHDFS现在将保留简单且有限的状态,而不是枚举具有相同时间戳的所有文件。

    • ListenSyslogListenRELPListenUDP大大提高了性能和更简单的配置。

    • 更新了 Spark 接收器以支持Apache Spark 1.6

    • 与 HBase 的交互现在支持启用 Kerberos 的Apache HBase

    • 修复了 ExecuteSQL 中导致针对多个数据库的 SchemaParse 失败的问题。

  • 新扩展

    • 新处理器“ QueryDatabaseTable ”监视和跟踪检索到的最新记录的时间戳,以支持简单的变更捕获案例。

    • 添加了一个可以由 Spring 应用程序上下文引导的新处理器。例如,可以让某人在 NIFi 中运行Apache Camel路由或Spring Integrations流。

    • 添加了新处理器以使用Amazon Kinesis Firehose放置数据

    • 将数据放入Amazon Web Services Lambda服务的新处理器。

    • 用于将数据放入Splunk和从Splunk获取数据的新处理器。

    • 用于获取数据并将其放入Apache Cassandra 的新处理器

  • 重要的稳定性改进

    • 解决了在关闭期间可能导致流文件存储库损坏的极端情况。

    • 解决了在使用超过 0 毫秒的运行持续时间时导致 NiFi 保持打开过多文件的情况。

    • 解决了导致集群升级不稳定的 flow.xml.gz 排序问题。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12334372中找到

此版本的已知问题:

  • NIFI-1701 - PutKafka 中的 StreamScanner 无法正确处理 < -1 的字节值 解决 :PutKafka 错误处理和逻辑要好得多,但糟糕的流划分会导致数据丢失。

版本 0.6.1(缺陷修复)

Apache NiFi 0.6.1 版专注于解决缺陷。

发布日期:2016 年 4 月 18 日

0.6.1 版本的亮点包括:

  • 改进现有能力

    • 与“QueryDatabaseTable”处理器中的数据库交互时控制提取大小的公开属性。以前它只是默认为 1 并且效率低下。

  • 解决的缺陷

    • 更正了高速公告生成导致保留的公告超过最后五个公告从而浪费内存的问题。

    • 更正了 GetKafka 中导致 Zookeeper 连接泄漏的逻辑,最终导致节点不稳定。

    • 更正了 PutKafka 逻辑,其中错误的消息划分可能导致传输过程中数据丢失。

    • Hadoop 和 HBase 处理器的简化验证逻辑,这些逻辑导致过多且昂贵的验证调用,从而导致 UI 行为缓慢。

    • 解决了可能导致内容存档无法正确过期数据的边缘条件,从而导致完整的内容存储库并停止流。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12335496 中找到

版本 0.7.0(功能增强)

Apache NiFi 0.7.0 版添加了几个有价值的处理器、一个新的以开发人员为中心的文档,并持续改进了可用性和稳定性。

发布日期:2016 年 7 月 12 日

0.7.0 版本的亮点包括:

  • 新的应用功能

    • NiFi 现在支持将“nifi.properties”中设置的键/值对暴露给表达式语言。

  • 现有功能的改进

    • 添加了使用 Index 或 Update 批量处理 PutElasticSearch 的功能。

    • 允许并发执行ExecuteScript

    • 表达式语言 现在具有随机数功能。

  • 新扩展

    • 用于从SNMP代理获取数据并执行SNMP设置请求的新处理器。

    • 为 Put to Slack添加了新处理器

    • 用于获取数据并将其放入MQTT代理的新处理器。

    • 添加了处理器以使用Lumberjack协议侦听消息。

    • 新的 ExtractMediaMetadata 处理器使用 Apache Tika 从各种文件类型中提取元数据。

    • 用于删除、放置和获取AWS DynamoDB 的新处理器

    • 添加了处理器以轮询HDFS Inotify接口提供的通知事件。

    • 添加 ReportingTask 以通过站点到站点发送来源事件

  • 重要的稳定性改进

    • 修复了存档器不尊重 nifi.content.repository.archive.max.usage.percentage 的实例。

    • 解决了在处理器仍在运行时可以删除传入连接的问题。

    • 修复了 FileSystemRepository 可能将打开的文件句柄留给已归档和/或删除的数据的问题。

  • 新文档

    • 创建了一个新的 NiFi in Depth 文档,以提供深入的开发人员级别,查看 NiFi 及其设计决策。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12335078中找到

版本 0.7.1(bug修复)

Apache NiFi 0.7.1 版专注于解决缺陷和与安全相关的改进。

发布日期:2016 年 10 月 20 日

0.7.1 版本的亮点包括:

  • 重要的稳定性改进

    • 改进了内容存储库中的特定异常处理情况和同步,以避免数据丢失。

    • 在事件索引期间处理异常时提高了来源存储库的稳定性。

  • 现有功能的改进

    • Kafka处理器添加了SSL/TLS支持。

    • ConsumeKafka添加功能以更好地与 GetKafka 中的功能保持一致。

    • 改进了ConsumeJMS以将消息属性复制到流文件属性中,并支持更多消息确认模式。

    • 改进了 ConsumeJMS 和 PublishJMS 以支持目标名称的表达式语言。

    • 对 JoltTransformJSON、PutS3Object、ListS3、ListFile、ModifyBytes 和 PutEmail 处理器的各种改进。

    • 弃用了在 1.0.0 版本中删除的一些公共 API 方法。

  • 解决的缺陷

    • 修复了 SiteToSiteReportingTask 以不发送重复事件。

    • 修复了在 NiFi 重启时可以禁用引用其他控制器服务的控制器服务的问题。

    • 修复了 PublishKafka 和 PutKafka 在实际未将文件发送到 Kafka 时将流文件发送到“成功”的问题。

    • 修复了多个HDFS 处理器无法与不同的 HDFS 集群一起工作的问题。

    • 修复了Kafka 处理器的各种问题。

    • 修复了GetHTTPPostHTTP以使用其 SSLContextService的SSL/TLS 协议属性。

    • 修复了UnpackContent问题,即它不适用于 flowfile-stream 或 flowfile-tar 内容,并修复了并发问题。

    • 修复了 ListenHTTP 以避免在尝试绑定到已使用的地址时泄漏线程。

已解决问题的完整列表可在https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12338025中找到

版本 0.7.2(bug修复)

Apache NiFi 0.7.2 版解决了两个关键错误修复。

发布日期:2017 年 2 月 20 日

0.7.2 版本的亮点包括:

  • 次要用户身份格式重构以修复 NullPointerException。

  • 为单元测试重新生成测试证书

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12339601&projectId=12316020

版本 0.7.3(bug修复)

Apache NiFi 0.7.3 版解决了几个缺陷,并包括一些性能和可靠性改进。

发布日期:2017 年 5 月 17 日

0.7.3 版本的亮点包括:

  • 可靠性

    • 解决了可能导致来源存储库损坏的两个问题

    • 解决了可能导致文件无法从内容存储库中删除的问题

  • 表现

    • 改进了组件验证以提高图形上有许多组件时的 UI 响应能力

    • 改进的文档提取减少了 NiFi 启动时间

  • 修复

    • 修复了 ControlRate、FetchSFTP、GetJMSQueue、GetJMSTopic、HandleHttpResponse、InvokeHTTP、PublishAMQP、PutJMS、PutKafka 和 ReplaceText 处理器中的缺陷

    • 修复了 nifi.sh 启动脚本中的一个缺陷

    • 修复了从来源显示重放文件时发生的缺陷

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12340527

版本 0.7.4(bug修复)

Apache NiFi 0.7.4 版解决了几个缺陷。

发布日期:2017 年 6 月 8 日

0.7.4 版本的亮点包括:

  • 修复

    • 确保相应地设置必要的响应标头

    • 对用户提供的输入进行额外验证

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12340590

版本 1.0.0(集群模式)

Apache NiFi 1.0.0 版是一个主要版本,其中包括全新的 UI、框架级别的改进等等!

发布日期:2016 年 8 月 30 日

1.0.0 版本中有许多更改,但应用程序级别的亮点包括:

  • 界面刷新

    • 整个 UI 已重做,外观更干净、更现代

    • 用户界面也经过重新设计以促进更好的用户体验

  • 零主集群

    • 不再有 NiFi 集群管理器 (NCM)

    • 集群现在将自动选举一个集群协调器来监督集群

  • 多租户授权和内部授权/策略管理

    • 不再只有有限的管理员、 数据流管理员等角色

    • 每个组件和控制器级别的策略都是完全可定制的

  • 确定性模板导出

    • 模板导出现在是确定性的,因此现在可以进行版本 控制

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12332640

版本 1.0.1(bug修复)

Apache NiFi 1.0.1 版向后移植了一些关键错误修复。

发布日期:2016 年 12 月 19 日

1.0.1 版本的亮点包括:

  • 修复了与创建包含控制器服务的模板相关的多个问题。

  • 修复了如果无法与代理正确通信,PublishKafka 可能会无限期阻塞的问题。

  • 修复了有关可能导致数据丢失的站点到站点提交时间的问题。

  • 修复了阻止在安全实例中使用任何处理器的高级选项卡的权限问题。

  • 修复了在使用 LDAP 身份验证时阻止下载 FlowFile 内容的权限问题。

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12332640

版本 1.1.0(重要版本)

Apache NiFi 1.1.0 版本是一个以功能和稳定性为重点的版本,它建立在 1.0 版本的重大改进和社区进步的基础上。

发布日期:2016 年 11 月 29 日

1.1.0 版本中有许多变化,其中一些亮点包括:

  • 核心框架改进

    • 集群管理逻辑已得到稳定和改进,以更好地支持零主集群。例如,现在恢复时间更快,因为我们不必总是等待一些人为的时间长度来查看是否有新节点加入,因此我们应该重新考虑哪个流是黄金副本。

    • 表达式语言功能现在支持小数、base64 和十六进制编码值以及数学函数。

    • 流文件、出处和内容存储库已重新设计以支持回滚。我们一直小心翼翼地确保升级在现有流状态将得到尊重的情况下运行良好,但更难的是支持在状态通过新版本的 NiFi 写入但用户决定回滚到旧版本的情况下回滚的能力. 现在支持。这一强大的功能还为未来的工作奠定了基础,以实现滚动升级和自动回滚!

    • 具有大量积压的流的启动时间应该快得多,因为交换文件已经过重新设计以提供摘要并避免需要完整扫描。

    • 对于开发人员,他们现在可以表明应该为他们的处理器提供一个实例隔离的类加载器。一些库(例如 Hadoop 客户端和脚本引擎)使用静态变量,这些变量会污染图形上的处理器实例。此功能允许通过启用每个处理器实例的隔离来轻松克服这些情况。这也使得向用户公开自定义 jar 的类加载器扩展变得非常容易。

    • 对于开发人员,现在可以将进行中的流程会话状态迁移到另一个流程会话。例如,这将产生更高的效率,并使聚合类型模式的编程模型变得更加容易,例如 MergeContent。

  • 用户体验改进

    • 我们现在提供相对于背压设置以及何时使用背压的队列增长的视觉指示。这将使拥塞和背压的概念更加直观,坦率地说,在 UI 中看到它很有趣。一定要检查一下。

    • 在 1.0.0 版本发布后,一些社区成员表示他们非常喜欢新的外观和感觉,但希望我们保留一些颜色。更好、更直观的色彩对比又回来了。

    • 组件的验证现在仅限于未计划执行的组件。这会导致更快的 UX 行为,因为可以通过 UI 和 REST API 执行的许多操作会导致昂贵的不必要的验证操作。

    • 用户现在可以导出来源图的图像。

    • 用户现在甚至可以在仅主节点的任务上对组件使用 cron-scheduling。

  • 更新版本的依赖项

    • 我们现在利用 Azure 事件中心 0.9.0 客户端库。

    • 我们现在使用 2.0.1 库与 Apache Spark 交互。

    • 我们现在使用 Apache Hadoop 2.7.3 库与 HDFS 进行交互。

  • 新的或改进的处理器

    • 新的 Fetch 和 Put 处理器与 ElasticSearch 5.0 交互,新的处理器对 ElasticSearch 执行查询和滚动操作。

    • 用于解析 CEF 格式日志的新处理器

    • 提取电子邮件处理器现在支持 TNEF 格式的附件。

    • 用于验证 CSV 文件的新处理器。

    • Apache Solr 处理器已更新为支持 SSL 和 Kerberos。

    • 新处理器充当 Websockets 的客户端和服务器。

  • 新实用程序

    • 在从 0.x 升级到 1.x 的过程中,我们提供了许多功能来使过程变得简单和自动化。但是,我们没有考虑从 zookeeper 的嵌入式使用迁移到外部实例。我们现在提供了一个实用程序,可帮助您将 NiFi 状态从一个 zookeeper 集群迁移到另一个。

    • 以前很难更改用于加密实际流配置中包含的所有敏感属性的敏感属性密钥。现在存在一种实用程序,可以轻松地将旧密钥转换为新密钥,这是整个安全过程中的重要组成部分。

  • 安全改进

    • NiFi 现在支持受限组件的概念。这些是处理器、控制器服务、报告任务,允许授权用户执行未净化的代码或访问和更改 NiFi 用户在 NiFi 运行的系统上可访问的文件。因此,这些组件被开发人员标记为受限,并且在安全模式下运行 NiFi 时,只有管理员必须授予每个用户访问允许受限组件访问的策略的权限。

    • 站点到站点现在改进为即使在使用端口转发时也很有帮助。对于管理员可能以较低权限运行 NiFi 但希望外部交互使用众所周知的特权端口的情况非常有帮助。

    • 策略管理用户体验已得到改进,使某些情况下发生的事情更加直观。

    • 现在已扩展加密配置功能以涵盖登录身份提供程序功能。例如,这非常有用,因此您可以将 LDAP 密码仅以加密形式存储在登录提供程序配置文件中。为这些加密配置计划了额外的工作,以便与硬件安全模块进行交互。

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12337875

版本 1.1.1(bug修复)

Apache NiFi 1.1.1 版解决了一些关键错误修复。

发布日期:2016 年 12 月 22 日

1.1.1 版本的亮点包括:

  • 修复了 Provenance Repo 启动中 NullPointerException 的问题。

  • 修复了在磁盘空间用完时 Provenance Repo 不会自动恢复的问题。

  • 在管理指南中添加了缺失的图像。

  • 修复了与控制器服务相关的模板中的范围界定问题。

  • 修复了与远程进程组相关的策略问题。

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12338797

版本 1.1.2(bug修复)

Apache NiFi 1.1.2 版解决了一个关键的错误修复。

发布日期:2017 年 2 月 20 日

1.1.2 版本的亮点包括:

  • 次要用户身份格式重构以修复 NullPointerException。

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12339600&projectId=12316020

NiFi NAR Maven 插件版本 1.2.0(插件打包)

NiFi NAR Maven 插件的 1.2.0 版包括增强功能以支持组件版本控制并解决了错误修复。

发布数据:2017 年 3 月 17 日

1.2.0 版本的亮点包括:

  • 向 MANIFEST 添加了附加信息以支持组件版本控制

  • 向 MANIFEST 添加了附加信息,以允许 NAR 指定在实例类加载期间应克隆其资源

  • 修复了运行provided-nar-dependencies目标时的错误

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12339193

版本 1.2.0(事件存储类升级+拥抱docker)

Apache NiFi 1.2.0 版是一个特性和稳定性版本,增加了许多新的处理器、记录读取器和写入器服务。

发布日期:2017 年 5 月 8 日

1.2.0 版本的亮点包括:

  • 核心框架

    • 现在支持运行相同组件的多个版本。使升级和多租户流更易于管理,为即将到来的 Apache NiFi Registry 工作奠定了基础!

    • 名为“WriteAheadProvenanceRepository”的新来源存储库实现可用。与标准实现和实时索引相比,性能有了巨大的提升。

  • 新的或改进的处理器、控制器服务和报告任务

    • QueryRecord 处理器,用于对由 Apache Calcite 提供支持的记录流执行 SQL 查询

    • ConvertRecord 处理器将记录从给定的模式和格式有效地转换为另一种模式和格式

    • SplitRecord 处理器可有效地将巨大的记录包拆分为可配置的批量大小,以进行分而治之或保护下游系统

    • 处理器以一种格式和模式感知方式有效地将 Records 传入和传出 Apache Kafka,并自动处理实现高吞吐量和完整来源

    • 用于插入和管理数据模式(Avro Schema Registry、Hortonworks Schema Registry)的控制器服务,这些模式很好地集成到记录读取器和写入器中

    • 新的面向记录的抽象,用于从 CSV、JSON、AVRO、Grok 和纯文本读取/写入模式感知事件流,并轻松扩展其他格式/模式

    • 与变更数据捕获 (CDC) 相关的功能/改进,包括从 MySQL 二进制日志、EnforceOrder 和 PutDatabaseRecord 处理器读取的 CaptureChangeMySQL,以及某些 Put 处理器的“故障回滚”功能

    • 新的处理器和控制器服务支持等待/通知模式,在流的另一部分启用条件以通知另一部分继续或执行。

    • 对于那些喜欢使用脚本语言即时编写新功能的人,您现在可以使用各种脚本语言构建自己的报告任务、记录阅读器和编写器,现在 ExecuteScript 处理器也允许您在 Clojure 中编写

    • JSON Jolt Transform 处理器现在允许 Jolt 转换包含 NiFi 表达式语言语句并且速度更快

    • 使用 Fuzzy Hashing 计算和比较内容的新处理器,适用于网络安全和其他情况

    • 用于与 Google Cloud Platform/Google Cloud Storage 以及 Azure Blob 和 Table Storage 交互的新处理器

    • 添加了 ExtractCCDAAttributes 处理器以从整合的 CDA 格式的流文件中提取信息

    • 新的报告任务可用于通过 SiteToSite 协议推送流状态和公告

    • 现在有 219 个处理器、28 个控制器服务和 10 个开箱即用的报告任务。去看一下!

  • 用户界面/用户体验

    • 忍不住要摆弄处理器对齐?好吧,我们很多人都这样做。您现在可以选择多个组件并使其垂直或水平对齐!

    • 您现在可以深入链接到流程中的组件并与您的同事共享这些链接。让共享和协作更自然

    • 用户将通过改进的体验更好地了解控制器服务的范围

    • 对于 Web 开发人员,UI 现在是模块化的,并且删除了循环引用,使其更容易扩展和改进

    • 可用于 AVRO 数据的新内容查看器在单击来源内容时很有用

    • 此版本将第一个官方 Apache NiFi Docker 映像发布到 DockerHub!

    • 提供一组命令行实用程序来帮助集群管理(从集群中添加/删除节点)

  • 安全

    • 由于升级到 Jetty 9.4.2 版,用户/客户端通过 UI 或 API 连接到 NiFi 现在受 TLS v1.2 保护

    • 用于 0.10 客户端的 Apache Kafka 处理器处于最新状态并支持动态 JAAS 配置

    • 新的出处存储库也有一个支持所有事件的完全加密的实现

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12338432

版本 1.3.0(稳定版本)

Apache NiFi 1.3.0 版是一个功能和稳定性版本,专注于关键错误修复和基于新记录的处理器和控制器服务。

发布日期:2017 年 6 月 8 日

1.3.0 版本的亮点包括:

  • 聚类

    • 解决了与每个组件的计划状态有关的流继承性问题

    • 在缺乏公告权限时合并响应时提高了稳定性

    • 解决了在没有正确断开连接的情况下终止活动集群协调器时的问题

    • 增加了请求复制的默认线程池大小

    • 加入集群时,确保组件在本地存储库初始化之前不会启动

    • 确保在尝试查看内容时可以访问响应流

  • 核心框架

    • 解决了计算组件统计信息时的时区错误

    • 添加了弃用组件的功能

    • 解决了使用启用压缩的 RPG 时可能出现的 OutOfMemory 异常

    • 解决了可能导致 FileSystemRepository 中出现 NPE 的交换问题

    • 解决了 RPG 在无法联系目标实例时不遵守屈服持续时间的问题

    • 确保相应地设置必要的响应标头

  • 新的或改进的处理器、控制器服务和报告任务

    • 添加了 UpdateRecord、PartitionRecord、LookupRecord 和 PutElasticsearchHttpRecord 处理器

  • 用户界面/用户体验

    • 确保客户端修订在指向断开/连接到集群的节点时正确

    • 解决了组件名称为空格时导致 JS 错误的问题

    • 修复与某些旧版 FireFox 深度链接的兼容性问题

    • 解决了尝试更改导致返回多个版本的组件版本时的问题

    • 解决了导致信息图标换行的组合中的问题(通过长模板名称报告)

    • 对用户提供的输入进行额外验证

可以在以下位置找到已解决问题的完整列表:https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12340498

版本 1.4.0(功能增强)

Apache NiFi 1.4.0 版是一个功能和稳定性版本,专注于关键错误修复和基于新记录的处理器和控制器服务。

发布日期:2017 年 10 月 2 日

1.4.0 版本的亮点包括:

  • 核心框架

    • OpenId Connect 支持对用户进行身份验证

    • DistributedMapCacheClients 和 StateProviders 现在可以使用 Redis

    • 现在可以使用 Apache Ranger 授权组并查看 NiFi 中的 Ranger 策略

    • 添加了对基于 LDAP 的用户和组授权的支持

    • 添加了对在链中组合多个用户和组授权提供程序的支持

    • 添加了对 Knox(代理和 SSO)的支持

    • NiFi 现在尊重“nifi.content.claim.max.appendable.size”属性

    • 删除了对 Jasypt 进行字符串加密的旧依赖;这现在作为本机加密组件实现

  • 新的或改进的处理器、控制器服务和报告任务

    • 添加了用于与 Kafka 0.11.x 交互的处理器,支持事务和消息头

    • 用于 RethinkDB 的新处理器

    • 用于向 Apache Kudu 发送数据的新处理器

    • gRPC 客户端和服务器处理器

    • 新的基于记录的处理器:MergeRecord、ValidateRecord、ListenTCPRecord、PutHBaseRecord

    • 除了已经支持的简单 Avro Schema Registry 和 Hortonworks Schema Registry,NiFi 现在还支持与 Confluent Schema Registry 的集成

  • 用户界面/用户体验

    • 在进程组级别添加了对变量注册表的支持

    • 用户现在可以双击处理器以显示其配置

    • 执行队列列表时,UI 现在将指示 FlowFile 是否没有内容

    • 来源存储库存储使用情况现在显示在“系统诊断”对话框中

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12340589

版本 1.5.0(谱系图)

Apache NiFi 1.5.0 版是一个功能和稳定性版本,专注于与新的 Apache NiFi Registry 集成。

发布日期:2018 年 1 月 12 日

1.5.0 版本的亮点包括:

  • 新的或改进的处理器、控制器服务和报告任务

    • 添加了用于与 Kafka 1.0 交互的处理器

    • NiFi 谱系现在可以导出到 Apache Atlas

    • HDFS、HBase、Hive 处理器更新以更好地处理 Kerberos 票证更新

    • Groovy Scripting 现在可以通过 Ivy 利用 Grape/Grab

    • 许多处理器及其属性现在支持表达式语言

  • 用户界面/用户体验

    • 用户现在可以通过 NiFi 和 NiFi 注册表集成导入、发布、更改流的版本。此新功能负责启动和停止受影响的进程,突出显示本地流和已发布流之间的差异,并指示给定流的更新版本何时可用。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12341668

版本 1.6.0(稳定版本)

Apache NiFi 1.6.0 版是一个功能和稳定性版本。

发布日期:2018 年 4 月 8 日

1.6.0 版本的亮点包括:

  • 新的或改进的处理器、控制器服务和报告任务

    • 公开新的 REST 端点以收集处理器诊断信息。

    • 用于从 Apache HBase 中删除行的新处理器。

    • 将数据放入 InfluxDB 的新处理器。

    • 用于向 Druid 发送数据的新处理器和控制器服务。

    • 执行 Mongo DB 聚合的新处理器。

    • 用于扫描 Apache HBase 以从表中检索记录的新处理器。

  • 用户界面/用户体验

    • 读取文件系统

    • 写入文件系统

    • 执行代码

    • 密钥表访问

    • UI/Docs 现在可以根据注释的组件标记高内存使用率等问题,为关键资源使用注意事项发出信号。

    • 用户现在可以为受限组件设置细粒度策略,指示限制类型,例如

    • 由于新的细粒度受限组件策略,NiFi 现在可以使用其策略管理机制来保护流程中的特定密钥表访问,从而使多租户用例更容易、更安全。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12342422

NiFi 流设计系统 0.1.0

Apache NiFi Flow Design System 0.1.0 版是最初的版本,专注于原子可重用平台,为 Apache NiFi、Apache NiFi Registry、Apache NiFi MiNiFi 和任何其他开源 Web 应用程序提供一组通用的 UI/UX 组件,以消耗.

发布日期:2018 年 6 月 14 日

0.1.0 版本的亮点包括:

  • 流程设计规范的初始实现

    • 排版(Typography)

    • 纽扣(Buttons)

    • 输入(Inputs)

    • 标签(Tabs)

    • 表(Tables)

    • 复选框/收音机(Checkboxes/Radios)

    • 面板(Panels)

    • 下拉菜单(Dropdowns)

    • 模态(Modals)

    • 通知/杯垫(Notifications/Coasters)

    • 手风琴(Accordians)

    • 工具提示(Tooltips)

  • 主题化

  • 单元测试组件 - 85% 的代码覆盖率

  • nifi-fds 演示、验证和文档的示例应用程序。

版本 1.7.0(稳定版本)

Apache NiFi 1.7.0 版是一个功能和稳定性版本。

发布日期:2018 年 6 月 25 日

1.7.0 版本的亮点包括:

  • 新的或改进的处理器、控制器服务和报告任务

    • 新的 XML 记录读取器和写入器。

    • 新的 ForkRecord 处理器。

    • 新的 SiteToSiteMetricsReportingTask。

    • 支持 Hive 3.0。

  • 用户界面/用户体验

    • 中断正在运行的处理器的 UI 选项。

    • 集群协调的改进。

  • 针对 Java 1.8 构建的 NiFi 现在可以在 Java 9 上运行。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?version=12342979&projectId=12316020

版本 1.7.1(缺陷修复)

Apache NiFi 1.7.1 版解决了一些关键错误修复。

发布日期:2018 年 7 月 16 日

1.7.1 版本的亮点包括:

  • 修复了用于保护集群的通配符证书的问题。官方不支持通配符证书, 但已修复此回归行为。

  • 修复了循环引用导致堆栈溢出可能导致无限循环的问题。

  • 修复了单元测试中传递控制器服务验证的问题。

  • 修复了一些与处理器终止和活动线程表示相关的问题。

  • 修复了X-Frame-Options
    标题的问题 。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12343647

版本 1.8.0(稳定版本)

Apache NiFi 1.8.0 版是一个功能和稳定性版本。

发布日期:2018 年 10 月 26 日

1.8.0 版本的亮点包括:

  • 节点之间的安全集群通信现在需要双向 SSL

  • 连接支持跨集群的负载平衡

  • 可以卸载节点以准备退役

  • 使用 docker-compose 和环境变量更容易在 Docker 上创建集群

  • 新的或改进的处理器和控制器服务

    • 使用 ElasticSearch 的 LookupService

    • NetFlow 处理器

    • JoltTransformRecord 处理器

    • 用于与 Apache Kafka 2.0 交互的处理器

    • SQL 结果现在可以以任何支持的格式输出为记录

    • ListenHTTP 处理器支持多部分请求

  • UI

    • 从连接属性对话框配置负载平衡和负载平衡压缩

    • 连接指示负载平衡状态

    • 群集摘要对话框允许卸载断开连接的节点

  • 文档

    • 负载平衡和节点卸载的新文档

    • NiFi 端口列表

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12343482

版本 1.9.0(建议不要使用)

Apache NiFi 1.9.0 版是一个功能和稳定性版本。

发布日期:2019 年 2 月 19 日

1.9.0 版本的亮点包括:

  • 新的处理器和控制器服务可以在节点运行时实时加载!

  • 数据库连接池现在支持 Kerberos 安全数据库

  • 剩余的惩罚持续时间现在在 UI 中可见

  • 现在支持多个标准安全标头(HSTS、X-XSS-Protection、Content-Security-Policy)

  • Record Readers 和 Writers 现在更易于使用自动模式推断

  • 新的或改进的处理器和控制器服务

    • Kudu 处理器更新、验证并现在支持 Kerberos

    • Amazon Web Services、Big Query 和 Google Cloud Storage Processors 的各种更新

    • 现在包含 MongoDB GridFS 处理器

    • 现在支持 Hive 1.1 的 HiveQL

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12344357

版本 1.9.1(建议不要使用)

更新:截至 2019 年 3 月 27 日:NIFI-6150 已被识别,这意味着 1.9.1 可能导致内容存储库耗尽且未正确清理。我们将在确认修复后立即生成 1.9.2。建议在那之前不要更新。

Apache NiFi 1.9.1 版是一个错误和稳定性版本。

发布日期:2019 年 3 月 16 日

1.9.1 版本的亮点包括:

  • 解决了一种可能的数据丢失情况,其中对内部存储库的更新可能会失败,但数据可以被删除。

  • ListSFTP 现在支持基于最小和最大年龄的过滤。

  • 漏斗和端口具有更高效的传输逻辑,从而导致更快的流和更少的 CPU 使用。

  • 改进了 JSON 记录读取器的数据类型推断。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12345163

版本 1.9.2 (稳定版本)

Apache NiFi 1.9.2 版是一个错误和稳定性版本。

发布日期:2019 年 4 月 8 日

1.9.2 版本的亮点包括:

  • 解决了可能导致底层文件系统资源耗尽和停止流的内容存储库错误。

  • 如果在框架代码执行时发生内存不足错误,它不会丢失线程或对此保持沉默。

  • 使用 PutS3Object 写入 AWS 可以更好地处理国际字符。

  • 正确处理用户和组被删除时的列表策略。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12345213

NiFi NAR Maven 插件版本 1.3.0(插件打包)

Apache NiFi NAR Maven 插件 1.3.0 版是一个功能和稳定性版本。

发布日期:2019 年 5 月 3 日

1.3.0 版本的亮点包括:

  • 生成扩展清单的新功能,其中包含有关 NAR 中包含的扩展的信息

  • 修复了与时间戳依赖版本相关的错误

  • 修复了与帮助魔咒相关的错误

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12340213

NiFi NAR Maven 插件版本 1.3.1(插件打包)

Apache NiFi NAR Maven 插件的 1.3.1 版是一个错误修复版本。

发布日期:2019 年 5 月 13 日

1.3.1 版本的亮点包括:

  • 升级 maven-dependency-tree 版本以在生成扩展清单时正确解析依赖项

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?version=12345484&styleName=&projectId=12316020

NiFi 流设计系统 0.2.0(设计)

Apache NiFi Flow Design Syste m 的0.2.0 版是一个原子可重用平台,为开源友好的 Web 应用程序提供一组一致的 UI/UX 组件以供使用。

发布日期:2019 年 7 月 26 日

0.2.0 版本的亮点包括:

  • Flow Design Specification中一些UX组件的细化实现

    • Typography - 更新的类名和更好的文档

    • Tables - 更新以利用主题

    • Checkboxes/Radios - 更新以利用主题

    • Accordions - 更新以利用主题

  • 升级构建过程以利用现代最佳实践

    • webpack - 支持更快的开发周期

    • babel - 支持 TS 和/或 ES6 javascript 模块

  • 升级的客户端依赖项:

    • jQuery

    • Angular

    • Angular Material

    • Teradata Covalent

    • rxjs

已解决的问题的完整列表可在以下位置找到:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?version=12343453&styleName=Html&projectId=12316020&Create=Create&atl_token=A5KQ-2QAV-T4JA-FDED_17e73bdc903030dcfdc_187e7f90300a

版本 1.10.0(jdk+Prometheus )

Apache NiFi 1.10.0 版是一个功能和稳定性版本。

发布日期:2019 年 11 月 4 日

1.10.0 版本的亮点包括:

  • Apache NiFi 现在可以在 Java 8 或 Java 11 上构建!在 Java 8 上构建时,它可以在 Java 8 或 Java 11 上运行。

  • 一个新的实验性加密内容存储库实现可用

  • 定义参数(包括敏感值)的新功能在流程组级别可用,可用于在运行时替换任何组件属性(不仅仅是启用了 EL 的属性)的值。这对于自动化部署过程来说是巨大的,从一个环境移动到另一个环境,并且有一个单一的流程参数化了许多不同的方式并被反复使用。

  • 新的 Prometheus 报告任务可用。

  • 强大的新功能可帮助运营团队:背压预测

  • NiFi 中构建的流现在可以发布到 NiFi 注册表,并使用新的无状态 NiFi 执行引擎和命令行轻松运行!这导致了一些非常强大的配置和模型,用于具有可以重放的事务源(Kafka 等)的线性流。

  • 数以百计的其他功能、改进和错误修复!

  • 请注意,由于空间限制,不再包含默认捆绑的几个组件。请参阅 迁移指南, 专门用于迁移到 1.10.x。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12344993

版本 1.11.0(支持存储库加密)

Apache NiFi 1.11.0 版是一个功能、稳定性和安全性的版本。

发布日期:2020 年 1 月 22 日

1.11.0 版本的亮点包括:

  • 向 Azure 事件中心发送数据时改进了对分区的处理和支持。

  • 现在可以在应用程序级别控制的磁盘上加密所有存储库(内容、流文件、来源)。

  • 类加载器隔离现在包括在 Nars 中隔离本机库!与来自同一 NiFi 集群的许多 Hadoop 供应商或其他系统进行交互的巨大帮助。

  • 现在支持 Keytab Credential Service 以确保轻松配置与 Hortonworks Schema Registry 的安全通信。

  • IBM MQ 现在更容易与现有 NiFi JMS 处理器集成。

  • 大量重要的错误修复,可提高性能、稳定性和用户体验。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12346451

版本 1.11.1(集群背压无法修复bug)

Apache NiFi 1.11.1 版是一个稳定性和安全性版本。

发布日期:2020 年 2 月 3 日

1.11.1 版本的亮点包括:

  • 修复了导致背压在集群配置中无法正常工作的回归

  • 修复了导致重启后队列优先级不执行的问题

  • 在清理出错时改进了 PutHDFS 的错误处理以确保重试

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12346906

版本 1.11.2(bug修复)

Apache NiFi 1.11.2 版是一个稳定版本。

发布日期:2020 年 2 月 19 日

1.11.2 版本的亮点包括:

  • 修复了导致负载平衡不适用于关联或单节点模式的回归

  • 防止在连接对话框中多次提交

  • 修复了与使用 QueryRecord 处理嵌套数组的记录相关的问题

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12346972

版本 1.11.3(bug修复)

Apache NiFi 1.11.3 版是一个稳定版本。

发布日期:2020 年 2 月 26 日

1.11.3 版本的亮点包括:

  • 修复了自 NiFi 1.10 以来存在的问题,该问题在使用 S2S 报告和 DistributedMapCache 时导致资源泄漏

  • Apache NiFi 和 Apache Kudu 之间交互的几个错误修复和改进

  • 更新了 Google Cloud Platform 依赖项,使 PubSub 等案例与代理工作

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12347022

版本 1.11.4(稳定版本)

Apache NiFi 1.11.4 版是一个稳定版本。

发布日期:2020 年 3 月 22 日

1.11.4 版本的亮点包括:

  • 修复了阻止参数更新正确导致控制器服务重启的问题

  • 修复了与 SFTP 处理器相关的连接和文件删除处理

  • 修复了使用站点到站点时的资源泄漏

  • 面向记录的处理的几个修复和增强

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12347770

版本 1.12.0(功能增强)

Apache NiFi 1.12.0 版是一个功能、稳定性和安全相关的版本

发布日期:2020 年 8 月 18 日

1.12.0 版本的亮点包括:

  • 根据非常受欢迎的需求,您现在可以通过一个请求清空给定进程组中的所有队列!

  • 用于编写脚本记录转换的新处理器在流程中实时进行

  • 公开 REST 端点以方便 Prometheus 抓取指标

  • 能够指定组级流文件并发性 - 例如,在运行另一个用于传统作业处理的流文件之前端到端地运行单个流文件

  • 改进了与 Azure 服务交互相关的多项功能

  • 改进的 AMQP 和 MQTT 支持以及 JMS 改进

  • 支持最新的 Kafka 2.6 客户端

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12346778

NiFi NAR Maven 插件版本 1.3.2(插件打包)

Apache NiFi NAR Maven 插件的 1.3.2 版是一个错误修复版本。

发布日期:2020 年 9 月 21 日

1.3.2 版本的亮点包括:

  • 修复错误确定提供的依赖项(如 nifi-api)版本的错误

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12345514

版本 1.12.1(bug修复)

Apache NiFi 1.12.1 版是一个纯粹的错误修复和小改进版本

发布日期:2020 年 9 月 28 日

1.12.1 版本的亮点包括:

  • 恢复对包含多个证书的密钥库的支持。

  • Toolkit 再次在证书中生成 SAN 条目。

  • 如果无法确定文件权限,则 UnpackContent 的行为与以前一样

  • 无论端口是否存在,注册表 URL 都会正确保存。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12348757

版本 1.13.0(建议不要使用)

Apache NiFi 1.13.0 版是一个重要的功能、改进和错误修复版本。

发布日期:2021 年 2 月 15 日

1.13.0 版本的亮点包括:

  • 现在保存系统级指标的状态历史记录(GC、repo 大小、平均负载)

  • 现在支持 ListenFTP 处理器以允许 NiFi 本身充当 FTP 服务器

  • 现在能够根据传入数据模式的演变自动更改 Hive 表结构

  • 组件级属性(如处理器的属性)现在具有依赖结构,以便引导用户根据需要设置其他相关属性

  • 现在可以使用 TLS 保护 Zookeeper 交互

  • 与 Microsoft Azure 协议和系统交互的多项改进

  • 对 Google Cloud 和 Amazon Web Services 集成的改进

  • AMQP 和 MQTT 集成的改进

  • 多项改进可实现更好的变更数据捕获和稳定的高速摄取到 Apache Kudu

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12348700

版本 1.13.1(建议不要使用)

Apache NiFi 1.13.1 版是一个改进和错误修复版本。

发布日期:2021 年 3 月 15 日

1.13.1 版本的亮点包括:

  • 我们打破了会话处理。避免使用 1.13.1 - 我们很快就会推出 1.13.2。

1.13.1 版本的亮点包括:

  • 固定 PutDatabaseRecord 回归

  • MySQL CDC 现在支持 TLS

  • 某些小流文件和合并场景(非常常见)的显着性能提升

  • FTP 处理器支持 UTF-8 字符

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12349733

版本 1.13.2(稳定版本)

Apache NiFi 1.13.2 版是一个重要的错误修复版本。

发布日期:2021 年 3 月 19 日

1.13.2 版本的亮点包括:

  • 修复了会话处理中的严重回归。此版本对于移动到 1.13 行很重要。

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12350008

版本 1.14.0(稳定版本)

Apache NiFi 1.14.0 版是一个重要的功能、改进和错误修复版本。

发布日期:2021 年 7 月 14 日

1.14.0 版本的亮点包括:

  • NiFi 现在以默认启用安全功能的模式启动。这意味着 NiFi 现在只使用 HTTPS 而不是 HTTP 启动,它需要一个特定的自动生成的用户名和密码才能登录,或者用户可以明确设置用户名和密码,这些用户名和密码将通过提供的工具包使用。触发默认 NiFi 的日子已经一去不复返了,它无需身份验证即可通过 HTTP 访问。这种便利很棒,但我们发现太多用户这样做了,并且留下了开放的 NiFi 节点,甚至可以在 Internet 上访问集群。默认情况下,我们的安全配置模型会生成自签名服务器证书,这显然意味着它本身对于任何给定客户端都不是很值得信赖,因此您的浏览器可能会对此进行标记,但我们正在朝着正确的方向采取合理的步骤。

  • 我们合并了 Apache NiFI、Apache NiFI MiNiFI Java 和 Apache NiFi Registry 代码库的代码库。这意味着每次我们发布 Apache NiFi 时,我们都会同时发布 NiFi、MiNiFi Java 和 Registry,并且具有完全对齐的代码库。这意味着这些组件的更多版本和更好的兼容性保证以及更容易的维护和使用和安全性。

  • NiFi 的 Jetty 服务器可以配置为自动检测密钥库更改并重新加载。

  • 现在支持 Azure Active Directory 用户组提供程序。

  • 现在支持 AWS Kinesis Stream 提取。

  • 现在提供一个 ASN.1 记录阅读器。

  • 现在可以右键单击处理器并告诉它 'Run Once'——这对常见的用户体验模式非常有益

  • 新的 EncryptContentPGP 和 DecryptContentPGP 处理器旨在取代 EncryptContent 中的 PGP 处理

  • 现在可以对 NiFi 属性使用 Hashicorp Vault 加密。

  • 现在支持使用 HDFS/S3/etc.. blob 存储来热加载 NAR。

  • 数百个其他错误、改进和功能......

可以在以下位置找到已解决问题的完整列表:https : //issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12316020&version=12349644


文章转载自NIFI实战,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论