高质量的数据:预测的准确性很大程度上取决于用于训练模型的数据的质量。确保您使用可靠且全面的数据源。

admin 32 0

在预测模型训练中,高质量数据至关重要。训练模型的准确性很大程度上取决于用于训练的数据的质量。如果您使用的是不可靠或不全面的数据源,则可能会影响模型的性能,从而导致较低准确度的预测。

如何确保数据质量

  • 使用信誉良好的数据源:始终从信誉良好的供应商处获取数据。这将有助于确保数据准确且可靠。
  • 验证数据的准确性:在使用数据之前,请检查其准确性。找出并纠正任何错误或遗漏。
  • 确保数据完整性:确保数据完整无缺。不要使用具有大量缺失值的数据,因为这会导致预测不准确。
  • 标准化数据:对数据进行标准化,使其处于相同的量级。这将确保数据在训练模型时被正确权衡。
  • 处理异常值:识别并处理数据中的异常值。异常值会使模型产生偏差,导致不准确的预测。

高质量数据的好处

使用高质量的数据具有以下好处:
  • 更高的预测准确性:高质量的数据可以提高预测模型的准确性,从而产生更可靠的预测。
  • 更好的模型泛化:高质量的数据可以帮助模型更好地泛化到新数据,从而更准确地进行预测。
  • 更少的偏差:高质量的数据可以减少模型的偏差,确保模型不会对某些数据点产生偏见。
  • 更快的训练时间:高质量的数据可以减少模型的训练时间,因为模型可以更快地找到模式和关系。

结论

高质量的数据对于预测模型训练至关重要。通过遵循这些准则来确保数据质量,您可以提高模型的准确性、泛化性和可靠性。请记住,数据是您模型的基础,高质量的数据将为您提供高质量的结果。

为什么要进行数据标注?

进行数据标注的原因主要有以下几点:

搜索引擎的图片是如何搜索的?我想把我的图放上怎么弄?

搜索引擎的图片是如何搜索的?我想把我的图放上怎么弄?

网络搜索栏上方有:新闻、网页、知道、MP3、图片、视频、网络、文库;如果搜索图片,把想搜索的图片要求输入后,点击图片既可搜到如果是在网络空间发帖,有个图片上传,对图片大小是有要求的,不能太大

搜索引擎如何实现搜索的啊

随着互联网的迅猛发展、WEB信息的增加,用户要在信息海洋里查找自己所需的信息,就象大海捞针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务)。 搜索引擎是指互联网上专门提供检索服务的一类网站,这些站点的服务器通过网络搜索软件(例如网络搜索机器人)或网络登录等方式,将Intemet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库,从而对用户提出的各种检索作出响应,提供用户所需的信息或相关指针。 用户的检索途径主要包括自由词全文检索、关键词检索、分类检索及其他特殊信息的检索(如企业、人名、电话黄页等)。 下面以网络搜索机器人为例来说明搜索引擎技术。 1.网络机器人技术网络机器人(Robot)又被称作Spider、Worm或Random,核心目的是为获取Intemet上的信息。 一般定义为“一个在网络上检索文件且自动跟踪该文件的超文本结构并循环检索被参照的所有文件的软件”。 机器人利用主页中的超文本链接遍历,通过U趾引用从一个HT2LIL文档爬行到另一个HTML文档。 网上机器人收集到的信息可有多种用途,如建立索引、HIML文件合法性的验证、uRL链接点验证与确认、监控与获取更新信息、站点镜像等。 机器人安在网上爬行,因此需要建立一个URL列表来记录访问的轨迹。 它使用超文本,指向其他文档的URL是隐藏在文档中,需要从中分析提取URL,机器人一般都用于生成索引数据库。 所有的搜索程序都有如下的工作步骤:(1)机器人从起始URL列表中取出URL并从网上读取其指向的内容;(2)从每一个文档中提取某些信息(如关键字)并放入索引数据库中;(3)从文档中提取指向其他文档的URL,并加入到URL列表中;(4)重复上述3个步骤,直到再没有新的URL出现或超出了某些限制(时间或磁盘空间);(5)给索引数据库加上检索接口,向网上用户发布或提供给用户检索。 搜索算法一般有深度优先和广度优先两种基本的搜索策略。 机器人以URL列表存取的方式决定搜索策略:先进先出,则形成广度优先搜索,当起始列表包含有大量的服务器地址时,广度优先搜索将产生一个很好的初始结果,但很难深入到服务器中去;先进后出,则形成深度优先搜索,这样能产生较好的文档分布,更容易发现文档的结构,即找到最大数目的交叉引用。 也可以采用遍历搜索的方法,就是直接将32位的IP地址变化,逐个搜索整个Intemet。 搜索引擎是一个技术含量很高的网络应用系统。 它包括网络技术、数据库技术动标引技术、检索技术、自动分类技术,机器学习等人工智能技术。 2.索引技术索引技术是搜索引擎的核心技术之一。 搜索引擎要对所收集到的信息进行整理、分类、索引以产生索引库,而中文搜索引擎的核心是分词技术。 分词技术是利用一定的规则和词库,切分出一个句子中的词,为自动索引做好准备。 目前的索引多采用Non—clustered方法,该技术和语言文字的学问有很大的关系,具体有如下几点:(1)存储语法库,和词汇库配合分出句子中的词汇;(2)存储词汇库,要同时存储词汇的使用频率和常见搭配方式;(3)词汇宽,应可划分为不同的专业库,以便于处理专业文献;(4)对无法分词的句子,把每个字当作词来处理。 索引器生成从关键词到URL的关系索引表。 索引表一般使用某种形式的倒排表(1nversionUst),即由索引项查找相应的URL。 索引表也要记录索引项在文档中出现的位置,以便检索器计算索引项之间的相邻关系或接近关系,并以特定的数据结构存储在硬盘上。 不同的搜索引擎系统可能采用不尽相同的标引方法。 例如Webcrawler利用全文检索技术,对网页中每一个单词进行索引;Lycos只对页名、标题以及最重要的100个注释词等选择性词语进行索引;Infoseek则提供概念检索和词组检索,支持and、or、near、not等布尔运算。 检索引擎的索引方法大致可分为自动索引、手工索引和用户登录三类。 3. 检索器与结果处理技术检索器的主要功能是根据用户输入的关键词在索引器形成的倒排表中进行检索,同时完成页面与检索之间的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。 通过搜索引擎获得的检索结果往往成百上千,为了得到有用的信息,常用的方法是按网页的重要性或相关性给网页评级,进行相关性排序。 这里的相关度是指搜索关键字在文档中出现的额度。 当额度越高时,则认为该文档的相关程度越高。 能见度也是常用的衡量标准之一。 一个网页的能见度是指该网页入口超级链接的数目。 能见度方法是基于这样的观点:一个网页被其他网页引用得越多,则该网页就越有价值。 特别地,一个网页被越重要的网页所引用,则该网页的重要程度也就越高。 结果处理技术可归纳为:(1)按频次排定次序 通常,如果一个页面包含了越多的关键词,其搜索目标的相关性应该越好,这是非常合平常理的解决方案。 (2)按页面被访问度排序 在这种方法中,搜索引擎会记录它所搜索到的页面被访问的频率。 人们访问较多的页面通常应该包含比较多的信息,或者有其他吸引入的长处。 这种解决方案适合一般的搜索用户,而因为大部分的搜索引擎都不是专业性用户,所以这种方案也比较适合一般搜索引擎使用。 (3)二次检索 进一步净化(比flne)结果,按照一定的条件对搜索结果进行优化,可以再选择类别、相关词进行二次搜索等。 由于目前的搜索引擎还不具备智能,除非知道要查找的文档的标题,否则排列第一的结果未必是“最好”的结果。 所以有些文档尽管相关程度高,但并不一定是用户最需要的文档。 搜索引擎技术的行业应用:搜索引擎的行业应用一般指类似于千瓦通信提供的多种搜索引擎行业与产品应用模式,大体上分为如下几种形式:1、 *** 机关行业应用n 实时跟踪、采集与业务工作相关的信息来源。 n 全面满足内部工作人员对互联网信息的全局观测需求。 n 及时解决政务外网、政务内网的信息源问题,实现动态发布。 n 快速解决 *** 主网站对各地级子网站的信息获取需求。 n 全面整合信息,实现 *** 内部跨地区、跨部门的信息资源共享与有效沟通。 n 节约信息采集的人力、物力、时间,提高办公效率。 2、企业行业应用n 实时准确地监控、追踪竞争对手动态,是企业获取竞争情报的利器。 n 及时获取竞争对手的公开信息以便研究同行业的发展与市场需求。 n 为企业决策部门和管理层提供便捷、多途径的企业战略决策工具。 n 大幅度地提高企业获取、利用情报的效率,节省情报信息收集、存储、挖掘的相关费用,是提高企业核心竞争力的关键。 n 提高企业整体分析研究能力、市场快速反应能力,建立起以知识管理为核心的竞争情报数据仓库,是提高企业核心竞争力的神经中枢。 3、新闻媒体行业应用n 快速准确地自动跟踪、采集数千家网络媒体信息,扩大新闻线索,提高采集速度。 n 支持每天对数万条新闻进行有效抓取。 监控范围的深度、广度可以自行设定。 n 支持对所需内容智能提取、审核。 n 实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。 4、 行业网站应用n 实时跟踪、采集与网站相关的信息来源。 n 及时跟踪行业的信息来源网站,自动,快速更新网站信息。 动态更新信息。 n 实现互联网信息内容采集、浏览、编辑、管理、发布的一体化。 n 针对商务网站提出商务管理模式,大大提高行业网站的商务应用需求。 n 针对资讯网站分类目录生成,提出用户生成网站分类结构。 并可以实时增加与更新分类结构。 不受级数限制。 从而大大利高行业的应用性。 n 提供搜索引擎SEO优化专业服务,快速提高行业网站的推广。 n 提供与CCDC呼叫搜索引擎的广告合作。 建立行业网站联盟,提高行业网站知名度。 5) 网络信息监察与监控n 网络舆情系统。 如“千瓦通信-网络舆情雷达监测系统”n 网站信息与内容监察与监控系统,如“千瓦通信-网站信息与内容监测与监察系统(站内神探)”随着因特网的迅猛发展、WEB信息的增加,用户要在信息海洋里查找信息,就象大海捞针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务)。 目前,搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。 搜索引擎(Search Engine)是随着WEB信息的迅速增加,从1995年开始逐渐发展起来的技术。 据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计,全球目前的网页超过8亿,有效数据超过9T,并且仍以每4个月翻一番的速度增长。 用户要在如此浩瀚的信息海洋里寻找信息,必然会大海捞针无功而返。 搜索引擎正是为了解决这个迷航问题而出现的技术。 搜索引擎以一定的策略在互联网中搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。 搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务,搜索引擎站点也被美誉为网络门户。 搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。 本文旨在对搜索引擎的关键技术进行简单的介绍,以起到抛砖引玉的作用。

分 类

按照信息搜集方法和服务提供方式的不同,搜索引擎系统可以分为三大类:1.目录式搜索引擎:以人工方式或半自动方式搜集信息,由编辑员查看信息之后,人工形成信息摘要,并将信息置于事先确定的分类框架中。 信息大多面向网站,提供目录浏览服务和直接检索服务。 该类搜索引擎因为加入了人的智能,所以信息准确、导航质量高,缺点是需要人工介入、维护量大、信息量少、信息更新不及时。 这类搜索引擎的代表是:Yahoo、LookSmart、Open Directory、Go Guide等。 2.机器人搜索引擎:由一个称为蜘蛛(Spider)的机器人程序以某种策略自动地在互联网中搜集和发现信息,由索引器为搜集到的信息建立索引,由检索器根据用户的查询输入检索索引库,并将查询结果返回给用户。 服务方式是面向网页的全文检索服务。 该类搜索引擎的优点是信息量大、更新及时、毋需人工干预,缺点是返回信息过多,有很多无关信息,用户必须从结果中进行筛选。 这类搜索引擎的代表是:AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google;国内代表为:天网、悠游、OpenFind等。 3.元搜索引擎:这类搜索引擎没有自己的数据,而是将用户的查询请求同时向多个搜索引擎递交,将返回的结果进行重复排除、重新排序等处理后,作为自己的结果返回给用户。 服务方式为面向网页的全文检索。 这类搜索引擎的优点是返回结果的信息量更大、更全,缺点是不能够充分使用所使用搜索引擎的功能,用户需要做更多的筛选。 这类搜索引擎的代表是WebCrawler、InfoMarket等。

性 能 指 标我们可以将WEB信息的搜索看作一个信息检索问题,即在由WEB网页组成的文档库中检索出与用户查询相关的文档。 所以我们可以用衡量传统信息检索系统的性能参数-召回率(Recall)和精度(Pricision)衡量一个搜索引擎的性能。 召回率是检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系统(搜索引擎)的查全率;精度是检索出的相关文档数与检索出的文档总数的比率,衡量的是检索系统(搜索引擎)的查准率。 对于一个检索系统来讲,召回率和精度不可能两全其美:召回率高时,精度低,精度高时,召回率低。 所以常常用11种召回率下11种精度的平均值(即11点平均精度)来衡量一个检索系统的精度。 对于搜索引擎系统来讲,因为没有一个搜索引擎系统能够搜集到所有的WEB网页,所以召回率很难计算。 目前的搜索引擎系统都非常关心精度。 影响一个搜索引擎系统的性能有很多因素,最主要的是信息检索模型,包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制。

主 要 技 术一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。 1.搜索器搜索器的功能是在互联网中漫游,发现和搜集信息。 它常常是一个计算机程序,日夜不停地运行。 它要尽可能多、尽可能快地搜集各种类型的新信息,同时因为互联网上的信息更新很快,所以还要定期更新已经搜集过的旧信息,以避免死连接和无效连接。 目前有两种搜集信息的策略:● 从一个起始URL集合开始,顺着这些URL中的超链(Hyperlink),以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。 这些起始URL可以是任意的URL,但常常是一些非常流行、包含很多链接的站点(如Yahoo!)。 ● 将Web空间按照域名、IP地址或国家域名划分,每个搜索器负责一个子空间的穷尽搜索。 搜索器搜集的信息类型多种多样,包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。 搜索器的实现常常用分布式、并行计算技术,以提高信息发现和更新的速度。 商业搜索引擎的信息发现可以达到每天几百万网页。 2.索引器索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档以及生成文档库的索引表。 索引项有客观索引项和内容索引项两种:客观项与文档的语意内容无关,如作者名、URL、更新时间、编码、长度、链接流行度(Link Popularity)等等;内容索引项是用来反映文档内容的,如关键词及其权重、短语、单字等等。 内容索引项可以分为单索引项和多索引项(或称短语索引项)两种。 单索引项对于英文来讲是英语单词,比较容易提取,因为单词之间有天然的分隔符(空格);对于中文等连续书写的语言,必须进行词语的切分。 在搜索引擎中,一般要给单索引项赋与一个权值,以表示该索引项对文档的区分度,同时用来计算查询结果的相关度。 使用的方法一般有统计法、信息论法和概率法。 短语索引项的提取方法有统计法、概率法和语言学法。 索引表一般使用某种形式的倒排表(Inversion List),即由索引项查找相应的文档。 索引表也可能要记录索引项在文档中出现的位置,以便检索器计算索引项之间的相邻或接近关系(proximity)。 索引器可以使用集中式索引算法或分布式索引算法。 当数据量很大时,必须实现即时索引(Instant Indexing),否则不能够跟上信息量急剧增加的速度。 索引算法对索引器的性能(如大规模峰值查询时的响应速度)有很大的影响。 一个搜索引擎的有效性在很大程度上取决于索引的质量。 3.检索器 检索器的功能是根据用户的查询在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。 检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。 4.用户接口用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。 主要的目的是方便用户使用搜索引擎,高效率、多方式地从搜索引擎中得到有效、及时的信息。 用户接口的设计和实现使用人机交互的理论和方法,以充分适应人类的思维习惯。 用户输入接口可以分为简单接口和复杂接口两种。 简单接口只提供用户输入查询串的文本框;复杂接口可以让用户对查询进行限制,如逻辑运算(与、或、非;+、-)、相近关系(相邻、NEAR)、域名范围(如、.)、出现位置(如标题、内容)、信息时间、长度等等。 目前一些公司和机构正在考虑制定查询选项的标准。

未 来 动 向搜索引擎已成为一个新的研究、开发领域。 因为它要用到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术,所以具有综合性和挑战性。 又由于搜索引擎有大量的用户,有很好的经济价值,所以引起了世界各国计算机科学界和信息产业界的高度关注,目前的研究、开发十分活跃,并出现了很多值得注意的动向。 1.十分注意提高信息查询结果的精度,提高检索的有效性 用户在搜索引擎上进行信息查询时,并不十分关注返回结果的多少,而是看结果是否和自己的需求吻合。 对于一个查询,传统的搜索引擎动辄返回几十万、几百万篇文档,用户不得不在结果中筛选。 解决查询结果过多的现象目前出现了几种方法:一是通过各种方法获得用户没有在查询语句中表达出来的真正用途,包括使用智能代理跟踪用户检索行为,分析用户模型;使用相关度反馈机制,使用户告诉搜索引擎哪些文档和自己的需求相关(及其相关的程度),哪些不相关,通过多次交互逐步求精。 二是用正文分类(Text Categorization)技术将结果分类,使用可视化技术显示分类结构,用户可以只浏览自己感兴趣的类别。 三是进行站点类聚或内容类聚,减少信息的总量。 2.基于智能代理的信息过滤和个性化服务信息智能代理是另外一种利用互联网信息的机制。 它使用自动获得的领域模型(如Web知识、信息处理、与用户兴趣相关的信息资源、领域组织结构)、用户模型(如用户背景、兴趣、行为、风格)知识进行信息搜集、索引、过滤(包括兴趣过滤和不良信息过滤),并自动地将用户感兴趣的、对用户有用的信息提交给用户。 智能代理具有不断学习、适应信息和用户兴趣动态变化的能力,从而提供个性化的服务。 智能代理可以在用户端进行,也可以在服务器端运行。 3.采用分布式体系结构提高系统规模和性能搜索引擎的实现可以采用集中式体系结构和分布式体系结构,两种方法各有千秋。 但当系统规模到达一定程度(如网页数达到亿级)时,必然要采用某种分布式方法,以提高系统性能。 搜索引擎的各个组成部分,除了用户接口之外,都可以进行分布:搜索器可以在多台机器上相互合作、相互分工进行信息发现,以提高信息发现和更新速度;索引器可以将索引分布在不同的机器上,以减小索引对机器的要求;检索器可以在不同的机器上.

如何更改划词搜索的搜索引擎?

是改不了的,SOSO是腾讯旗下的,怎么可能让你改成网络

如何让网站上图片成为关键字能让搜索引擎搜索的到?

搜索引擎暂时还不支持图片搜索。 你给你图片加ALT标签匹配你的关键字就是了。

搜索引擎是怎么实现搜索的?

这是个很复杂的计算方法,各个搜索引擎使用的技术都不一样,大致是:首先各个网站会在编写网页时具有一定的特征码(我们一般叫标签),搜索引擎会索引这些特征码,还有就是搜索引擎的资料库,各个网站会在里面登记。 搜索的时候就会有相关结果。 有兴趣研究就去搜搜,这讲也讲不清楚。

我想知道一些外国搜索引擎的网址(最好是图片的搜索引擎), 外国搜索引擎的网址(最好是图片的搜索引擎)都有什么?

有没有可以用图片搜索的搜索引擎

目前还没有,一般网络、谷歌、搜搜、网络什么的全是采用的关键字搜索方法。 因为图片搜索方法太麻烦,而且搜索主题不明确,所以即使开发出来用户量也一定很少,效益不高,估计各大开发商都看到了这点才没有开发吧。

如何测试web 搜索引擎具有搜索的功能

一点建议: 1。 求助:web网站的搜索功能模块如何进行安全测试录制一个搜索的例子,然后让攻击自动化测试,可能存在的安全问题包括XSS,SQL blind injection(特别是搜索式的SQL injection)2。 检查非域验证方式登录是否有验证码,这个如何检查攻击好像不能自动检查,要么研究如果验证码存在,有何标志,比如存在verification的字样?配置一个扫描规则,来针对这个标准。 3。 是否使用ssl加密通道进行登录验证,这个如何测试看password,username等参数在提交以后是否加密,是否采用了传输

pc搜索引擎和移动搜索引擎的区别

本身就是两个概念,但是很多人喜欢混为一谈。 首先,网络声明过,移动端用的爬虫和PC端是一样的,但是我们在看一些网站的关键词排名的时候会有不同的显示,关键在于,是否做了手机适配的手机网站界面。 也有一些人只做了自适应,别急,随着手机排名的合理化,没有手机端的网站排名会往后走的。 在客户体验上,移动端因为展示的信息少,所以相比PC端要做简化。

伤寒、副伤寒流行预测模型(BP神经网络)的建立

由于目前研究的各种数学模型或多或少存在使用条件的局限性,或使用方法的复杂性等问题,预测效果均不十分理想,距离实际应用仍有较大差距。 NNT是Matlab 中较为重要的一个工具箱,在实际应用中,BP 网络用的最广泛。 神经网络具有综合能力强,对数据的要求不高,适时学习等突出优点,其操作简便,节省时间,网络初学者即使不了解其算法的本质,也可以直接应用功能丰富的函数来实现自己的目的。 因此,易于被基层单位预防工作者掌握和应用。 以下几个问题是建立理想的因素与疾病之间的神经网络模型的关键:

(1)资料选取

应尽可能地选取所研究地区系统连续的因素与疾病资料,最好包括有疾病高发年和疾病低发年的数据。 在收集影响因素时,要抓住主要影响伤寒、副伤寒的发病因素。

(2)疾病发病率分级

神经网络预测法是按发病率高低来进行预测,在定义发病率等级时,要结合专业知识及当地情况而定,并根据网络学习训练效果而适时调整,以使网络学习训练达到最佳效果。

(3)资料处理问题

在实践中发现,资料的特征往往很大程度地影响网络学习和训练的稳定性,因此,数据的应用、纳入、排出问题有待于进一步研究。

6.3.1 人工神经网络的基本原理

人工神经网络(ANN)是近年来发展起来的十分热门的交叉学科,它涉及生物、电子、计算机、数学和物理等学科,有着广泛的应用领域。 人工神经网络是一种自适应的高度非线性动力系统,在网络计算的基础上,经过多次重复组合,能够完成多维空间的映射任务。 神经网络通过内部连接的自组织结构,具有对数据的高度自适应能力,由计算机直接从实例中学习获取知识,探求解决问题的方法,自动建立起复杂系统的控制规律及其认知模型。

人工神经网络就其结构而言,一般包括输入层、隐含层和输出层,不同的神经网络可以有不同的隐含层数,但他们都只有一层输入和一层输出。 神经网络的各层又由不同数目的神经元组成,各层神经元数目随解决问题的不同而有不同的神经元个数。

6.3.2 BP神经网络模型

BP网络是在1985年由PDP小组提出的反向传播算法的基础上发展起来的,是一种多层次反馈型网络(图6.17),它在输入和输出之间采用多层映射方式,网络按层排列,只有相邻层的节点直接相互连接,传递之间信息。 在正向传播中,输入信息从输入层经隐含层逐层处理,并传向输出层,每层神经元的状态只影响下一层神经元的状态。 如果输出层不能得到期望的输出结果,则转入反向传播,将误差信号沿原来的连同通路返回,通过修改各层神经元的权值,使误差信号最小。

BP网络的学习算法步骤如下(图6.18):

图6.17 BP神经网络示意图

图6.18 BP算法流程图

第一步:设置初始参数ω和θ,(ω为初始权重,θ为临界值,均随机设为较小的数)。

第二步:将已知的样本加到网络上,利用下式可算出他们的输出值y ,其值为

岩溶地区地下水与环境的特殊性研究

式中:x 为该节点的输入;ω 为从I到j的联接权;θ 为临界值;y 为实际算出的输出数据。

第三步:将已知输出数据与上面算出的输出数据之差(d -y )调整权系数ω,调整量为

式中:η为比例系数;x 为在隐节点为网络输入,在输出点则为下层(隐)节点的输出(j=1,2…,n);d 为已知的输出数据(学习样本训练数据);δ 为一个与输出偏差相关的值,对于输出节点来说有

δ =η (1-y )(d -y )

对于隐节点来说,由于它的输出无法进行比较,所以经过反向逐层计算有

岩溶地区地下水与环境的特殊性研究

其中k指要把上层(输出层)节点取遍。误差δ 是从输出层反向逐层计算的。各神经元的权值调整后为

ω (t)=ω (t-1)+Vω

式中:t为学习次数。

这个算法是一个迭代过程,每一轮将各W值调整一遍,这样一直迭代下去,知道输出误差小于某一允许值为止,这样一个好的网络就训练成功了,BP算法从本质上讲是把一组样本的输入输出问题变为一个非线性优化问题,它使用了优化技术中最普遍的一种梯度下降算法,用迭代运算求解权值相当于学习记忆问题。

6.3.3 BP 神经网络模型在伤寒、副伤寒流行与传播预测中的应用

伤寒、副伤寒的传播与流行同环境之间有着一定的联系。 根据桂林市1990年以来乡镇为单位的伤寒、副伤寒疫情资料,伤寒、副伤寒疫源地资料,结合现有资源与环境背景资料(桂林市行政区划、土壤、气候等)和社会经济资料(经济、人口、生活习惯等统计资料)建立人工神经网络数学模型,来逼近这种规律。

6.3.3.1 模型建立

(1)神经网络的BP算法

BP网络是一种前馈型网络,由1个输入层、若干隐含层和1个输出层构成。如果输入层、隐含层和输出层的单元个数分别为n,q ,q ,m,则该三层网络网络可表示为BP(n,q ,q ,m),利用该网络可实现n维输入向量X =(X ,X ,…,X )T到m维输出向量Y =(Y ,Y ,…,Y )T的非线性映射。输入层和输出层的单元数n,m根据具体问题确定。

(2)样本的选取

将模型的输入变量设计为平均温度、平均降雨量、岩石性质、岩溶发育、地下水类型、饮用水类型、正规自来水供应比例、集中供水比例8个输入因子(表6.29),输出单元为伤寒副伤寒的发病率等级,共一个输出单元。其中q ,q 的值根据训练结果进行选择。

表6.29 桂林市伤寒副伤寒影响因素量化表

通过分析,选取在伤寒副伤寒有代表性的县镇在1994~2001年的环境参评因子作为样本进行训练。利用聚类分析法对疫情进行聚类分级(Ⅰ、Ⅱ、Ⅲ、Ⅳ),伤寒副伤寒发病最高级为Ⅳ(BP网络中输出定为4),次之的为Ⅲ(BP网络中输出定为3),以此类推,最低为Ⅰ(BP网络中输出定为1)

(3)数据的归一化处理

为使网络在训练过程中易于收敛,我们对输入数据进行了归一化处理,并将输入的原始数据都化为0~1之间的数。 如将平均降雨量的数据乘以0.0001;将平均气温的数据乘以0.01;其他输入数据也按类似的方法进行归一化处理。

(4)模型的算法过程

假设共有P个训练样本,输入的第p个(p=1,2,…,P)训练样本信息首先向前传播到隐含单元上。

经过激活函数f(u)的作用得到隐含层1的输出信息:

岩溶地区地下水与环境的特殊性研究

经过激活函数f(u)的作用得到隐含层2的输出信息:

岩溶地区地下水与环境的特殊性研究

激活函数f(u)我们这里采用Sigmoid型,即

f(u)=1/[1+exp(-u)](6.5)

隐含层的输出信息传到输出层,可得到最终输出结果为

岩溶地区地下水与环境的特殊性研究

以上过程为网络学习的信息正向传播过程。

另一个过程为误差反向传播过程。如果网络输出与期望输出间存在误差,则将误差反向传播,利用下式来调节网络权重和阈值:

岩溶地区地下水与环境的特殊性研究

式中:Δω(t)为t次训练时权重和阈值的修正;η称为学习速率,0<η<1;E为误差平方和。

岩溶地区地下水与环境的特殊性研究

反复运用以上两个过程,直至网络输出与期望输出间的误差满足一定的要求。

该模型算法的缺点:

1)需要较长的训练时间。 由于一些复杂的问题,BP算法可能要进行几小时甚至更长的时间的训练,这主要是由于学习速率太小造成的,可采用变化的学习速率或自适应的学习速率加以改进。

2)完全不能训练。 主要表现在网络出现的麻痹现象上,在网络的训练过程中,当其权值调的过大,可能使得所有的或大部分神经元的加权总和n偏大,这使得激活函数的输入工作在S型转移函数的饱和区,从而导致其导数f′(n)非常小,从而使得对网络权值的调节过程几乎停顿下来。

3)局部极小值。 BP算法可以使网络权值收敛到一个解,但它并不能保证所求为误差超平面的全局最小解,很可能是一个局部极小解。 这是因为BP算法采用的是梯度下降法,训练从某一起点沿误差函数的斜面逐渐达到误差的最小值。

考虑到以上算法的缺点,对模型进行了两方面的改进:

(1)附加动量法

为了避免陷入局部极小值,对模型进行了改进,应用了附加动量法。 附加动量法在使网络修正及其权值时,不仅考虑误差在梯度上的作用,而且考虑在误差曲面上变化趋势的影响,其作用如同一个低通滤波器,它允许网络忽略网络上的微小变化特性。 在没有附加动量的作用下,网络可能陷入浅的局部极小值,利用附加动量的作用则有可能滑过这些极小值。

该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值,并根据反向传播法来产生心的权值变化。 促使权值的调节向着误差曲面底部的平均方向变化,从而防止了如Δω(t)=0的出现,有助于使网络从误差曲面的局部极小值中跳出。

这种方法主要是把式(6.7)改进为

岩溶地区地下水与环境的特殊性研究

式中:A为训练次数;a为动量因子,一般取0.95左右。

训练中对采用动量法的判断条件为

岩溶地区地下水与环境的特殊性研究

(2)自适应学习速率

对于一个特定的问题,要选择适当的学习速率不是一件容易的事情。 通常是凭经验或实验获取,但即使这样,对训练开始初期功效较好的学习速率,不见得对后来的训练合适。 所以,为了尽量缩短网络所需的训练时间,采用了学习速率随着训练变化的方法来找到相对于每一时刻来说较差的学习速率。

下式给出了一种自适应学习速率的调整公式:

岩溶地区地下水与环境的特殊性研究

通过以上两个方面的改进,训练了一个比较理想的网络,将动量法和自适应学习速率结合起来,效果要比单独使用要好得多。

6.3.3.2 模型的求解与预测

采用包含了2个隐含层的神经网络BP(4,q ,q ,1),隐含层单元数q ,q 与所研究的具体问题有关,目前尚无统一的确定方法,通常根据网络训练情况采用试错法确定。在满足一定的精度要求下一般认小的数值,以改善网络的概括推论能力。在训练中网络的收敛采用输出值Y 与实测值t 的误差平方和进行控制:

岩溶地区地下水与环境的特殊性研究

1)将附加动量法和自适应学习速率结合应用,分析桂林市36个乡镇地质条件各因素对伤寒副伤寒发病等级的影响。 因此训练样本为36个,第一个隐含层有19个神经元,第二个隐含层有11个神经元,学习速率为0.001。

A.程序(略)。

B.网络训练。 在命令窗口执行运行命令,网络开始学习和训练,其学习和训练过程如下(图6.19)。

图6.19 神经网络训练过程图

C.模型预测。

a.输入未参与训练的乡镇(洞井乡、两水乡、延东乡、四塘乡、严关镇、灵田乡)地质条件数据。

b.预测。 程序运行后网络输出预测值a3,与已知的实际值进行比较,其预测结果整理后见(表6.30)。 经计算,对6个乡镇伤寒副伤寒发病等级的预测符合率为83.3%。

表6.30 神经网络模型预测结果与实际结果比较

c.地质条件改进方案。 在影响疾病发生的地质条件中,大部分地质条件是不会变化的,而改变发病地区的饮用水类型是可以人为地通过改良措施加以实施的一个因素。 因此,以灵田乡为例对发病率较高的乡镇进行分析,改变其饮用水类型,来看发病等级的变化情况。

表6.31显示,在其他地质条件因素不变的情况下,改变当地的地下水类型(从原来的岩溶水类型改变成基岩裂隙水)则将发病等级从原来的最高级4级,下降为较低的2级,效果是十分明显的。 因此,今后在进行伤寒副伤寒疾病防治的时候,可以通过改变高发区饮用水类型来客观上减少疫情的发生。

表6.31 灵田乡改变饮用水类型前后的预测结果

2)选取桂林地区1994~2000年月平均降雨量、月平均温度作为输入数据矩阵,进行样本训练,设定不同的隐含层单元数,对各月份的数据进行BP网络训练。在隐含层单元数q =13,q =9,经过次数的训练,误差达到精度要求,学习速率0.02。

A.附加动量法程序(略)。

B.网络训练。 在命令窗口执行运行命令,网络开始学习和训练,其学习和训练过程如下(图6.20)。

C.模型预测。

a.输入桂林市2001年1~12月桂林市各月份的平均气温和平均降雨量。 预测程度(略)。

b.预测。 程序运行后网络输出预测值a2,与已知的实际值进行比较,其预测结果整理后见(表6.32)。 经计算,对2001年1~12月伤寒副伤寒发病等级进行预测,12个预测结果中,有9个符合,符合率为75%。

图6.20 神经网络训练过程图

表6.32 神经网络模型预测结果与实际值比较

6.3.3.3 模型的评价

本研究采用BP神经网络对伤寒、副伤寒发病率等级进行定量预测,一方面引用数量化理论对不确定因素进行量化处理;另一方面利用神经网络优点,充分考虑各影响因素与发病率之间的非线性映射。

实际应用表明,神经网络定量预测伤寒、副伤寒发病率是理想的。

其主要优点有:

1)避免了模糊或不确定因素的分析工作和具体数学模型的建立工作。

2)完成了输入和输出之间复杂的非线性映射关系。

3)采用自适应的信息处理方式,有效减少人为的主观臆断性。

虽然如此,但仍存在以下缺点:

1)学习算法的收敛速度慢,通常需要上千次或更多,训练时间长。

2)从数学上看,BP算法有可能存在局部极小问题。

本模型具有广泛的应用范围,可以应用在很多领域。 从上面的结果可以看出,实际和网络学习数据总体较为接近,演化趋势也基本一致。 说明选定的气象因子、地质条件因素为神经单元获得的伤寒、副伤寒发病等级与实际等级比较接近,从而证明伤寒、副伤寒流行与地理因素的确存在较密切的相关性。

标签: 预测的准确性很大程度上取决于用于训练模型的数据的质量 确保您使用可靠且全面的数据源 高质量的数据

抱歉,评论功能暂时关闭!