如何使用Solr索引MySql数据库

在solr与tomcat整合文章中，我用的索引库是mycore，现在就以这个为例。

首先要准备jar包：solr-dataimporthandler-4.8.1.jar、solr-dataimporthandler-extras-4.8.1.jar和mysql-connector-java-5.0.7-bin.jar这三个包到solr的tomcat的webapps\solr\WEB-INF\lib下

在这个文件夹的conf下配置两个文件，添加一个文件。先配置solrconfig.xml。

在该文件下添加一个新节点。

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">

<lst name="defaults">

<str name="config">data-config.xml</str>

</lst>

</requestHandler>

在solrconfig.xml的同目录下创建data-config.xml。

配置：

复制代码

<dataConfig>

<dataSource type="JdbcDataSource"

driver="com.mysql.jdbc.Driver"

url="jdbc:mysql://localhost:3306/courseman"

user="root"

password="mysql" />

<document>

<entity name="student"

query="SELECT * FROM student">

<field column="id" name="id" />

<field column="name" name="name" />

<field column="gender" name="gender" />

<field column="major" name="major" />

<field column="grade" name="grade" />

</entity>

</document>

</dataConfig>

复制代码

schemal.xml的配置

复制代码

<?xml version="1.0" ?>

<!--

Licensed to the Apache Software Foundation (ASF) under one or more

contributor license agreements. See the NOTICE file distributed with

this work for additional information regarding copyright ownership.

The ASF licenses this file to You under the Apache License, Version 2.0

(the "License")you may not use this file except in compliance with

the License. You may obtain a copy of the License at

Unless required by applicable law or agreed to in writing, software

distributed under the License is distributed on an "AS IS" BASIS,

WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

See the License for the specific language governing permissions and

limitations under the License.

-->

<schema name="example core one" version="1.1">

<fieldtype name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true"/>

<fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>

<fieldType name="int" class="solr.TrieIntField" precisionStep="0" positionIncrementGap="0"/>

<!-- general -->

<field name="id" type="int"indexed="true" stored="true" />

<field name="gender" type="string"indexed="true" stored="true" />

<field name="name" type="string"indexed="true" stored="true" />

<field name="major" type="string"indexed="true" stored="true" />

<field name="grade" type="string"indexed="true" stored="true" />

<field name="_version_" type="long" indexed="true" stored="true"/>

<!-- field to use to determine and enforce document uniqueness. -->

<uniqueKey>id</uniqueKey>

<!-- field for the QueryParser to use when an explicit fieldname is absent -->

<defaultSearchField>name</defaultSearchField>

<!-- SolrQueryParser configuration: defaultOperator="AND|OR" -->

<solrQueryParser defaultOperator="OR"/>

</schema>

复制代码

默认的文件不是这样的，稍微改动了一下。

field 的type类型是根据fieldtype 的name定义的。class是solr自定义的不能更改。

shcema.xml文件的field字段的属性介绍：

（1）name：字段名称

（2）type：字段类型（此处type不是java类型，而是下面定义的fieldType）

（3）indexed：是否索引看true--solr会对这个字段进行索引，只有经过索引的字段才能被搜索、排序等；false--不索引

（4）stored：是否存储看true--存储，当我们需要在页面显示此字段时，应设为true，否则false。

（5）required：是否必须看true--此字段为必需，如果此字段的内容为空，会报异常；false--不是必需

（6）multiValued：此字段是否可以保存多个值看

（7）omitNorms：是否对此字段进行解析看有时候我们想通过某个字段的完全匹配来查询信息，那么设置 indexed="true"、omitNorms="true"。

（8）default：设置默认值

有这样一个FieldType描述：

<fieldType name="text_general" positionIncrementGap="100">

<analyzer type="index">

<tokenizer/>

<filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />

<filter/>

</analyzer>

<analyzer type="query">

<tokenizer/>

<filter ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />

<filter synonyms="synonyms.txt" ignoreCase="true" expand="true"/>

<filter/>

</analyzer>

</fieldType>

属性说明：

（1）name：类型名称，<field>中的type引用的就是这个name

（2）class：solr自定义的类型

（3）<analyzer type="index">定义建立索引时使用的分词器及过滤器

（4）<analyzer type="query">定义搜索时所使用的分词器及过滤器

（5）<tokenizer/>定义分词器

（6）<filter/>定义过滤器

uniqueKey属性

<uniqueKey>id</uniqueKey>

类似于数据表数据的id，solr索引库中最好定义一个用于标示document唯一性的字段，此字段主要用于删除document。

defaultSearchField属性

就是你在做query搜寻时若不指定特定栏位做检索时, Solr就会只查这个栏位.

<defaultSearchField>default</defaultSearchField>

copyField属性

是用来复制你一个栏位里的值到另一栏位用. 如你可以将name里的东西copy到major里, 这样solr做检索时也会检索到name里的东西.

<copyField source="name" dest="major"/>

现在可以将数据库的数据导入solr了。

点击Execute就可以了。

严格来说，lucene负责数据存储，而solr只是一个引擎提供搜索和插入而已，跟数据库的解释器一样，有什么好处呢，比如一个数据库有一个字段存了1000个字，你想从这些字里面搜一个词的时候，普通的数据库只会让你使用like去查询，他会遍历每个字去模糊匹配，效率很低，而且有些是无法查询的，当然除了像一些特殊的数据库带有分词，比如postgresql，那lucene做的事情就是分词，然后去匹配分词的词中是否有你想搜的词就好了，当然了，为了提高这种检索效率和内存节省底层做了很复杂的事情，可以这么简单的认为，全文搜索这件事情上数据库是无法满足的

---