MongoDB入门与进阶

mongoDB入门篇-多种姿势完成文档查询

2020-09-29  本文已影响0人  逐梦々少年

上篇文章我们详细的学习了MongoDB中关于文档的增删改操作以及相关的修改器,而本篇文章我们将从常见的基础查询,以及范围查询,特殊类型查询等多个角度来完成文档查询操作

find查询

在MongoDB中提供了用来查询的函数--find函数来完成查询操作,而查询就是返回一个集合中文档的一个或者多个子集,find函数的第一个参数决定了要返回那些文档,该参数是一个文档,用于指定查询的条件,如果我们传入一个{}代表没有条件,查询所有的文档数据,如下:

db.test.find({})

当然在MongoDB早期版本开始就支持不传递参数进行查询,该查询方式一直保留到4.X的版本中,这两种查询的方式结果是一样的,如下:

db.test.find()

而如果我们想要按照键值对的方式进行查询的时候,就意味着限定了查询条件进行匹配文档,一般情况下,在我们明确知道需要的数据是什么条件的时候,此种方式比较简单明了。数值类型匹配数值,布尔类型匹配布尔类型,字符串匹配字符串,只需要指定对应的键和对应的值以及值的类型匹配上即可,例如,我们查询'age'为27的所有文档数据,可以按照如下查询:

db.test.find({"age":27})
返回需要的内容

我们目前的查询一直都是返回指定条件的所有数据,但是有时候在数据量比较大的时候,我们需要的数据仅仅是其中几个字段,或者有部分字段的的内容不希望返回给客户端,这个时候我们就需要使用find函数的第二个参数了。我们可以在find的时候,指定第二个参数,即指定需要返回的键,查询以后返回的内容则会按照定义的情况进行数据过滤,例如,我们仅仅需要查询ip的集合,不需要其他的信息,可以这么查询:

db.set.find({},{"ip_array":1})

可以看到查询的结果:

{ "_id" : ObjectId("5f5e6a73cf72b68c1d21c471"), "ip_array" : [ { "ip" : "192.168.1.3" }, { "ip" : "192.168.1.4" } ] }

需要注意的是,无论我们是否指定了_id字段,这个字段因为其自身的特殊性,在没有强制要求排除的情况下,默认总是会返回的。当然我们也可以指定某些字段不被返回,例如我们也可以这么写:

db.set.find({},{"url":0,"count":0,"update_time":0})

可以看到,查询出来的结果和上面是一致的,当然同样也可以把_id强制排除掉。只要在第二个参数定义上,指定了值为1的键,则是会被返回的键,指定了值为0的键则是会被排除。

查询限制

需要注意的一点是,mongoDB自身的find函数仅支持条件过滤的方式查询,熟悉关系型数据库的人经常会遇到查询某个字段并不是直接存储在数据里,而是根据某几个字段进行运算得到结果,而在mongoDB中不支持以下类似的操作:

db.stock.find({"in_stock" : "this.num - this.sold"})

如果我们真的想要完成这样的查询操作,那么需要改变设计的文档数据结构或者我们在每次购买的时候,将num-1,最后查询的时候指定num = 0的条件即可。

范围查询

在mongoDB中不仅可以指定条件精确匹配数据,也可以指定条件,完成范围查询的操作。在mongoDB中有四个常用的查询比较操作符--$lt、$gt、$lte$gte,而这几个比较操作符分别对应<、<=、>和>=,假设我们需要查询count大于2并且count小于5的数据,可以如下:

db.set.find({"count":{"$gt":2,"$lt":5}})

这样的比较操作符对于我们常用的范围查询,尤其是日期范围查询尤为有效,除了正常的范围查询以外,在一些场景下我们需要拿到与条件相反的结果,这个时候就需要使用另一个较为常用的操作符--$ne,例如我们查询当前count不为2的结果:

db.set.find({"count":{"$ne":6}})

同时我们需要注意的是,$ne操作符可以查询所有类型的数据。

如果我们需要查询的数据范围属于多个条件满足一个或者多个即可满足,这个时候我们就要使用范围查询操作符--$or操作符来完成查询操作。在mongoDB中有两种完成or匹配的操作符,分别是$in$or,其中$in则更多的是完成一个键与多个值的匹配,例如,我们需要查询count分别为2、5、7的数据,如下:

db.set.find({"count":{"$in":[2,5,7]}})

即可完成多个值的数据匹配操作,同样与$in相对的是$nin操作符,即查询不在值数组范围的符合条件的文档数据,例如我们需要查询count不是1、2、3的数据:

db.set.find({"count":{"$nin":[2,5,7]}})

但是,$in$nin操作符可以对单个键做or查询操作,如果我们需要查询count为7或者url为www.baidu.com的数据又该如何?这个时候我们就需要使用$or操作符来完成查询操作了:

db.set.find({"$or":[{"count":7},{"url":"www.baidu.com"}]})

在使用条件查询的时候,我们往往喜欢用最少的条件限定出最多的数据,但是在使用$or进行范围查询的时候,反而相反,可以考虑尽可能在第一个条件上能匹配更多文档的那个,这样可以使得mongoDB的$or查询效率提升。

除了上述的范围查询操作符以外,如果我们需要给查询出来的数据取反,例如我们使用$or操作符查询出来指定的数据,但是我们需要的数据是除了这些之外的,这个时候我们可以使用$not操作符,该操作符可以作用在任何一个操作符范围外,完成查询不匹配内部范围查询操作符的文档信息,例如,我们需要查询count不大于8的的文档信息,可以这样完成查询(当然也可以使用$lt完成):

db.set.find({"count":{"$not":{"$gt":8}}})

特殊类型查询

null查询

需要注意的是,在MongoDB中,null是一种很特殊的类型,如果是在其他的数据库中,查询null能做到精确匹配,然而我们在mongoDB中查询某个键为null的时候,不仅能查询到尾null的文档,也能查询到不包含这个键的文档,例如,现在有文档结构如下的数据:

{"_id" : ObjectId("4ba0f0dfd22aa494fd5236"),"y":""}

当我们指定查询y为null的数据的时候:

db.set.find({"y":null})

会发现查询出来的数据如下:

{"_id" : ObjectId("4ba0f0dfd22aa494fd5239"),"y":null}
{"_id" : ObjectId("4ba0f0dfd22aa494fd5241")}

的确返回了y为null的数据,但是也有一部分数据是不存在这个键的文档也会被查询出来,因此在mongoDB查询某个键值为null的文档的时候,我们不仅要指定值为null,还要使用$exists操作符判定键值存在才能真正筛选出键值为null的文档数据,如下:

db.set.find({"url":{"$in" : [null],"$exists":true}})
正则匹配

有时候我们需要查询某个键值中包含xx的文档数据,而在mongoDB中没有直接查询包含的操作符,但是在mongoDB中支持标准的Perl兼容的正则表达式,例如,我们需要查询url中包含www的,如下:

db.set.find({"url":/www?/i})

如果我们在指定的键上设置了前缀索引的话,在匹配查询的时候我们可以使用前缀型正则表达式,如/^www/来查询,这种查询也会比较高效

查询数组

查询一般的数组我们可以和正常条件查询一样,直接进行查询匹配,例如:

db.set.find({"ip_array":[{"ip":"192.168.1.3"}]})
$all操作符

但是如果我们需要多个元素条件进行匹配查询,这个时候就需要使用$all操作符来完成多个元素匹配,例如我们需要找到,既有192.168.1.3,也有192.168.1.4的文档,如下:

db.set.find({"ip_array":{"$all":[{"ip":"192.168.1.3"},{"ip":"192.168.1.4"}]}})

如果我们想要查询数组指定位置的元素,可以利用数组.index语法来查询指定下标的文档数据:

db.set.find({"ip_array.1":{"ip":"192.168.1.4"}})

但是需要注意的是,使用数组下标查询的时候,如果下标超过数组长度,依然会执行匹配查询,不过因为不存在,匹配结果为空,因此在使用的时候要记住避免查询越界的数组元素

$size操作符

如果数组中的数据过多,查询过程中可以仅获取一部分,这个时候就可以使用$size操作符来限定返回指定长度的数组,例如,我们需要返回10条ip信息,如下:

db.set.find({"ip_array":{"$size":10}})

但是需要注意的是,$size操作符不可以和其他的限定操作符配合使用,例如$gt,这样的话会导致我们无法使用这些操作符进行组合过滤数据,实现类似分页拉取的作用,不过我们可以选择将存储的文档里添加size字段,然后使用$gt等方式实现类似分页的效果

$slice操作符

前面我们也有提到过,find函数可以传递两个参数,第二个参数可以指定返回的列信息,但是我们在返回数组类型的时候无法指定返回的文档范围等,这个时候我们可以考虑使用$slice操作符来完成,例如我们需要在查询的时候,返回数组的前十条数据,可以这么做:

db.set.find({},{"ip_array":{"$slice":[0,10]}})

需要注意的是$slice操作符有两个参数,第一个参数指定的是数组元素的偏移值,第二个参数指定了返回的长度,这样就可以实现我们返回指定范围的数据(类似分页),但是我们还要注意的一点是,使用该操作符,除非特别声明返回的键,否则会返回全部的键内容

$elemMatch操作符

前面介绍过在一个文档中进行多条件的关联查询,但是我们需要注意的一点是,在数组中如果直接使用$lt$gt这样的操作符进行范围过滤查询,返回的内容不见得会尽如人意,例如,我们有以下的数据内容:

{"x" : 5}
{"x" : 15}
{"x" : 25}
{"x" : [5, 25]}

我们现在限制一下x键对应值的范围为10-20之间,我们期望返回的查询结果为x的值为15的文档数据,但是真的是这样吗?我们来查询一下:

db.test.find({"x" : {"$gt" : 10,"$lt" : 20}})

查询到的结果为:

{"x" : 15}
{"x" : [5, 25]}

怎么会这样?原来,范围查询操作符会匹配任意多元素数组,即数组中有值满足自动返回,我们可以看到第二个数据的数组中的5满足第一个条件,而25则满足第二个条件,在使用默认范围查询匹配的时候发现是符合范围的也会被返回出去,但是我们期望的是同时满足这两个条件,这个时候我们就需要使用$elemMatch操作符了,我们只需要改动查询为这样,即可对数组进行强制多条件判定:

db.test.find({"x" : {"$elemMatch":{"$gt" : 10,"$lt" : 20}})

但是这个时候你会发现,x为15的那个正确的文档数据不存在了,究其原因,是因为使用了$elemMatch操作符以后,必须要求匹配的数据是数组元素,非数组元素会直接过滤掉,因此在使用的过程中需要格外注意。除此之外,我们还可以给指定的字段上添加索引,这样在查询的时候,仅仅会匹配查询范围内的索引数据,而不会再去单独与5和25进行比较了

where表达式查询

前面我们介绍了一些mongoDB自身支持的函数和操作符完成的查询,一般情况下足够使用,但是如果真的要查询并且无法使用自带函数和表达式实现的话,这个时候我们可以考虑使用$where子句完成查询操作。不过在学习$where子句之前我们需要明白几点,$where子句内部支持使用js函数的方式,完成查询辅助,因此如果使用$where子句完成查询的话,可能会被恶意利用,传递恶意的js函数脚本,甚至可能会导致传递的js函数内部删除了mongoDB的数据,出现生产上的漏洞,因此实际使用的过程中,为安全起见,应该严格限制或者消除$where语句的使用。应该禁止终
端用户使用任意的$where语句。除此之外,我们还需要知道,使用了$where语句以后,查询的效率会比常规的函数查询慢的多,因为每次都需要将Bson文档对象转换为js的对象,然后再去通过$where表达式执行逻辑,因此使用$where表达式查询的时候是无法使用索引的,因此如果被迫使用$where表达式的话,可以考虑尽量在查询之前过滤更多的数据,减少查询的时间

现在我们来举个例子,假设现在有如下的文档数据:

{ "_id" : ObjectId("4e17ce0ac39f1afe0ba78ce4"), "a" : 1, "b" : 3, "c" : 10 }

{ "_id" : ObjectId("4e17ce13c39f1afe0ba78ce5"), "a" : 1, "b" : 6, "c" : 6 } 

我们希望查询出b = c的文档数据,这个时候常规查询就无法实现了,我们可以使用$where语句实现,如下:

db.foo.find({"$where":function(){
    for(var current in this){
        for(var other in this){
            if(current != other && this[current] == this[other]){
                return true;    
            }
        }
    }
    return false; 
}});

查询结果为:

{ "_id" : ObjectId("4e17ce13c39f1afe0ba78ce5"), "a" : 1, "b" : 6, "c" : 6 } 

游标查询

mongoDB数据库可以支持使用游标查询返回find的结果,客户端操作游标进行有效的控制,可以限制结果的数量,略过部分结果,根据键进行排序等操作

limit、skip和sort

游标查询最常见的就是限制返回的数量、忽略一定数量的结果以及排序,不过需要在查询被发送到服务器之前指定。

如果我们需要限制结果数量,可以在find函数以后使用limit函数,例如:

db.set.find({}).limit(3)

需要注意的是limit函数和常规的关系型数据库一样,限制的是查询结果数量的上限,而不是下限,如果结果集不足指定的条数,那么就按照查询的结果集返回

如果是跳过指定的条数的话,我们可以使用skip函数完成,和limit的用法相同,如下:

db.set.find({}).skip(1)

这样即可跳过第一条数据,返回后续的文档,同样的我们可以组合skip和limit函数完成跳过指定数量的文档返回指定数量文档的操作。除此之外,如果查询需要指定返回的键值对,并且按照一定的顺序进行排序的话,这个时候就需要使用sort函数来完成了,需要注意的是sort函数接受的是一个对象参数,对象内部是键值对格式,键与文档中的键相同,而值可以是1或者-1,其中1代表升序,-1代表倒序,如果指定了多个键,则会按照定义的顺序,依次排序后返回对应的结果集,例如我们需要根据url升序,并且count降序的方式排序,如下:

 db.set.find({}).sort({"url":1,"count":-1})

需要注意的是,如果我们使用skip跳过数据过多的话,会导致性能问题,因此在使用过程中我们经常在设计的角度避开skip,例如,在文档中有date字段,我们可以在查询的时候,先进行排序,获取指定条数,然后根据获取的最后一条的date字段作为条件,配合$gt等操作符查询下一页的数据,当然我们也可以在文档中设计id等字段,每次插入的时候自增,然后利用$gt等操作符直接过滤需要的数据

比较顺序

在mongoDB中对不同类型的数据,默认情况下的键排序是有一定的顺序的,优先级从小到大,大致如下:

最小值<null<数字(整型、长整型、双精度)<字符串<对象/文档<数组<二进制数据<对象ID<布尔型<日期型<时间戳<正则表达式<最大值
查询选项

mongoDB中有两种查询:简单查询和封装查询,而简单查询就像上面我们常用的那样,根据传入的键,查询对应的数据,例如:

db.set.find({"count":4})

实际上这个查询并不是直接发送给数据库,而是先将查询封装成一个更大的文档,如上的查询会封装成大致如下:

{"$query" : {"count" :4},"$orderby" : {"x" : 1}}

目前几乎所有的mongo驱动,都内置支持了这些辅助查询函数,用于封装查询条件的时候添加各种选项,常用的选项如下:

$maxscan : integer

指定本次查询中文档数量的上限,如果说在查询的时候不确定集合中文档的数量,在不影响性能的情况下,可以使用该选项

$min : document

查询的开始条件,需要注意的是,使用该选项必须和索引的键完全匹配,在使用该选项查询的时候必须强制指定索引

$max : document

查询的结束条件,与$min一样,也必须和索引的键完全匹配,在使用该选项的时候必须强制指定索引

$showDiskLoc : true

使用该选项,会在查询结果上添加一个内置字段--$diskLoc键,该键的值则是显示当前文档在磁盘上的位置

上一篇下一篇

猜你喜欢

热点阅读