服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - MongoDB - 一日二技:MongoDB与 Scrapy 的小技巧各一个

一日二技:MongoDB与 Scrapy 的小技巧各一个

2023-05-07 04:06未知服务器之家 MongoDB

[[417329]] 今天我们来讲两个小技巧。 如何更新 MongoDB 中的一个数组 我们知道,如果想给 MongoDB 的一条文档增加一个字段,我们可以使用update_one方法: importpymongo handler=pymongo.MongoClient().db.col handler.update_one({ 'name' : 'kingname' },{ '$set'

[[417329]]

今天我们来讲两个小技巧。

如何更新 MongoDB 中的一个数组

我们知道,如果想给 MongoDB 的一条文档增加一个字段,我们可以使用update_one方法:

  1. import pymongo 
  2.  
  3. handler = pymongo.MongoClient().db.col 
  4. handler.update_one({'name''kingname'}, {'$set': {'新的字段名''新的字段值'}}) 

但如果有一个字段是数组,我想向这个数组里面添加一个元素。并且,如果这个元素之前就已经在这个数组中了,就什么也不做,只要之前不存在时才添加。

这个时候,我们就可以使用$addToSet操作符来实现这个功能。

这个操作符的语法为:

  1. handler.update_one({'name''kingname'}, {'$addToSet': {'字段名''要插入的元素'}}) 

我们来看一个例子。

例如对于如图所示的一条文档:

一日二技:MongoDB与 Scrapy 的小技巧各一个

执行代码:

  1. handler.update_one({'name''kingname'}, {'$addToSet': {'excellent''JavaScript'}}) 

运行以后,数组excellent变为如下图所示:

一日二技:MongoDB与 Scrapy 的小技巧各一个

如果插入一条已经存在的数据,那么这个数组就不会变化。例如:

  1. handler.update_one({'name''kingname'}, {'$addToSet': {'excellent''Python'}}) 

如何使用参数给 Scrapy 爬虫增加属性

在Scrapy 项目中,我们有时候需要在启动爬虫的时候,传入一些参数,从而让一份代码执行不同的逻辑。这个时候,有一个非常方便的方法,就是使用-a参数。它的语法为:

  1. scrapy crawl 爬虫名 -a 参数1 -a 参数2 -a 参数3 

那么,传入的这些参数,在爬虫里面怎么使用呢?其实很简单,你不需要做任何额外的配置,直接在爬虫里面通过self.参数名就可以调用了。例如下面这个爬虫:

一日二技:MongoDB与 Scrapy 的小技巧各一个

大家可以看到,PyCharm 给两个属性self.body_name和self.age_from_cmdline标上了黄色的背景,这是因为PyCharm 找不到这两个属性是在哪里定义的。

但没有关系,我们启动 Scrapy 爬虫的时候,使用-a参数传递进去就好了:

  1. scrapy crawl example -a body_name=kingname -a age_from_cmdline=28 

运行效果如下图所示:

一日二技:MongoDB与 Scrapy 的小技巧各一个

可以看到,这个接口成功接收到了这两个参数,并且把它显示了出来。

本文转载自微信公众号「未闻Code」,可以通过以下二维码关注。转载本文请联系未闻Code公众号。

一日二技:MongoDB与 Scrapy 的小技巧各一个

 

延伸 · 阅读

精彩推荐
  • MongoDBMongoDB多条件模糊查询示例代码

    MongoDB多条件模糊查询示例代码

    这篇文章主要给大家介绍了关于MongoDB多条件模糊查询的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用MongoDB具有一定的参考学习价值...

    浅夏晴空5902020-05-25
  • MongoDBWindows下MongoDB配置用户权限实例

    Windows下MongoDB配置用户权限实例

    这篇文章主要介绍了Windows下MongoDB配置用户权限实例,本文实现需要输入用户名、密码才可以访问MongoDB数据库,需要的朋友可以参考下 ...

    MongoDB教程网3082020-04-29
  • MongoDBMongoDB系列教程(五):mongo语法和mysql语法对比学习

    MongoDB系列教程(五):mongo语法和mysql语法对比学习

    这篇文章主要介绍了MongoDB系列教程(五):mongo语法和mysql语法对比学习,本文对熟悉Mysql数据库的同学来说帮助很大,用对比的方式可以快速学习到MongoDB的命...

    MongoDB教程网3252020-05-01
  • MongoDBMongodb索引的优化

    Mongodb索引的优化

    MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。接下来通过本文给大家介绍Mongodb索引的优化,本文介绍的非常详细,具有参考借鉴价值,感...

    MRR3252020-05-05
  • MongoDBMongoDB的索引

    MongoDB的索引

    数据库中的索引就是用来提高查询操作的性能,但是会影响插入、更新和删除的效率,因为数据库不仅要执行这些操作,还要负责索引的更新 ...

    MongoDB教程网2532020-05-12
  • MongoDB在mac系统下安装与配置mongoDB数据库

    在mac系统下安装与配置mongoDB数据库

    这篇文章主要介绍了在mac系统下安装与配置mongoDB数据库的操作步骤,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪...

    CXYhh1219312021-11-14
  • MongoDBMongoDB查询之高级操作详解(多条件查询、正则匹配查询等)

    MongoDB查询之高级操作详解(多条件查询、正则匹配查询等)

    这篇文章主要给大家介绍了关于MongoDB查询之高级操作(多条件查询、正则匹配查询等)的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者...

    w田翔3872020-12-19
  • MongoDBmongodb数据库基础知识之连表查询

    mongodb数据库基础知识之连表查询

    这篇文章主要给大家介绍了关于mongodb数据库基础知识之连表查询的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用mongodb具有一定的参...

    ZJW02155642020-05-22