2016年

某日发现了提供免费SSL证书的网站——www.sslforfree.com,立马手动申请了个证书来玩。部署以后,非常感动,重点是Chrome和FireFox都支持!曾在某知名网站申请过免费证书,总是申请失败。心灰意冷,本来准备买个廉价的付费版,幸好发现这网站!

免费虽好,但有效期只有3个月,而且到期后只能手动更新证书。不过找到提供该免费证书的网站——Let’s Encrypt(https://letsencrypt.org),以及该网站提供的自动更新证书的开源软件certbot(https://certbot.eff.org)。certbot首页就有安装教程,对应不同HTTP服务和操作系统。安装完毕后,执行以下命令,就可以获取证书了

#验证域名并获取SSL证书
sudo certbot certonly --webroot -w /var/www/example -d example.com -d www.example.com

最后,设置个自动更新,就安枕无忧了。

PS.既然有了免费的证书,何不部署个HTTP 2.0?

简单玩过NodeMCU之后,想获取更多的数据,就是多加几个传感器。但是NodeMCU只有一个ADC接口,于是找到利用Arduino与ESP8266结合的解决方案。Arduino的不同版本的接口数量不同,而手头上的Pro Micro就有4个ADC了,勉强够用。ESP8266就是NodeMCU的核心,相比NodeMCU更少接口,但体积更小,价格更低。于是入手了两个ESP8266来折腾。

First of All,刷固件。

刷固件的官方教程
Loading new firmware onto an ESP8266
http://www.esp8266.com/wiki/doku.php?id=loading_firmware

最新的固件下载
[最新发布]ESP8266 Resources
http://espressif.com/en/products/hardware/esp8266ex/resources

官方入门教程
Getting Started with ESP8266
http://www.esp8266.com/wiki/doku.php?id=getting-started-with-the-esp8266#got_an_esp-nn_board_in_the_mail_now_what

大概就这些了。话说,计划中的植物环境数据收集平台升级版,都拖好久了……

说起物联网,最早接触的是Arduino。可是入手Arduino Mega后,一直没做出什么好玩的东西,以致Mega丢在角落里好几年。近来在部门经理的怂恿下,入手了NodeMCU,做了个检测盆栽的土壤湿度。本来想在Github开个项目,但是这第一版太简单了,就随便记录一下。

NodeMCU的特点,在于自带WiFi(还可以使用AP模式),而且价格便宜。当然,缺点也在WiFi,比较耗电。为了省电,可以设置网卡的硬件参数(wifi.setphymode()),关闭WiFi(wifi.sleeptype()),甚至是整块板进入深度睡眠模式(node.dsleep(), rtctime.dsleep())。其开源、基于Lua的开发简单、尺寸迷你等优点,也是其好玩之处。

这个项目很简单,就是NodeMCU连个土壤湿度检测模块,定时(10分钟)获取一次数据,并上传到服务器。服务器是采用树梅派,用Python3,利用Flask框架,写了个HTTP服务,用于保存提交的数据,并做数据展示。数据都保存在MySQL数据库。

NodeMCU上的init.lua

print("\n")
print("ESP8266 Started")

dsleepTime = 630000000
ssid = "my-wifi"
password = "123456"
serverIp = "192.168.1.1"
serverPort = 8080

wifi.setphymode(wifi.PHYMODE_N)
wifi.setmode(wifi.STATION)
wifi.sta.config(ssid, password)
tmr.alarm(0,1000,1,function() 
    curIp = wifi.sta.getip()
    if curIp ~= nil then
        print("Current IP:"..curIp)
        tmr.stop(0)
        sendData(readValue(0, 5))
    end
end)

--发送数据到服务器    
function sendData(value)
    print("sendData start")
    conn = net.createConnection(net.TCP, false)
    conn:on("receive", function(conn, pl)
        print("Send data with value: "..value)
        print("Result:\n"..pl)
        conn:close()
        conn = nil
        wifi.sta.disconnect()
        
        node.dsleep(dsleepTime)
    end)
    conn:connect(serverPort, serverIp)
    conn:send("GET /gather/?key=123456&value="..value
        .." HTTP/1.1\r\nHost: " + serverIp + "\r\n"
        .."Connection: keep-alive\r\nAccept: */*\r\n\r\n")

    --connect time out
    tmr.alarm(1,5000,1,function()
        print("[error]connet to server time out")
        --conn:close()
        --conn = nil
        --wifi.sta.disconnect()
        tmr.stop(1)
        
        node.dsleep(dsleepTime)
    end)
end

--读取土壤湿度数据
--一次有效的采样,最少取3次数据,去掉最大值和最小值,再计算平均值
function readValue(adcPin, readTimes)
    if readTimes <= 2 then
        readTimes = 3
    end
    
    local curValue = 0
    local maxValue = 0
    local minValue = 0
    local sumValue = 0
    
    for i = 0, readTimes - 1 do
        curValue = adc.read(adcPin)
        sumValue = sumValue + curValue
        if maxValue < curValue then
            maxValue = curValue
        end
        if (minValue == 0) or (minValue > curValue) then
            minValue = curValue
        end
    end
    sumValue = sumValue - maxValue - minValue
    curValue = math.floor(sumValue / (readTimes - 2))

    return curValue
end

服务器上的HTTP服务,文件site.ini

[uwsgi]
socket = 127.0.0.1:8080
processes = 2
threads = 1
plugins = python3
master = true
pythonpath = /opt/work/web_gather
chdir = /opt/work/web_gather
module = site
callable = app
chmod-socket = 777
memory-report = true

服务器上的HTTP服务,文件site.py

#!/bin/python3

from datetime import datetime
from flask import Flask, request, abort, render_template
from flask.ext.sqlalchemy import SQLAlchemy
from sqlalchemy import desc

app = Flask(__name__)
app.config['SECRET_KEY'] = '123456'

app.config['SQLALCHEMY_DATABASE_URI'] = 'mysql://root:123456@127.0.0.1/web_gather'
app.config['SQLALCHEMY_COMMIT_ON_TEARDOWN'] = True

app.config['HUMIDITY_MIN'] = 740

db = SQLAlchemy(app)

class Humidity(db.Model):
    __tablename__ = 'humidity'
    id = db.Column('id', db.Integer, primary_key=True)
    createDate = db.Column('create_date', db.DateTime)
    sourceValue = db.Column('source_value', db.Integer)
    value = db.Column('value', db.Integer)

    def __repr__(self):
        return '<Humidity % r>' % self.id

@app.route('/', methods=['GET', 'POST'])
def index():
    key = request.args.get('key', '')
    
    if key == app.config['SECRET_KEY']:
        sourceValue = request.args.get('value', '0')
        value = (1024 - int(sourceValue)) / 1024 * 100
        curTime = datetime.today()
        humidity = Humidity(createDate=curTime, sourceValue=sourceValue, value=value)
        db.session.add(humidity)
        db.session.commit()
        return 'true'
    
    humidities = Humidity.query.order_by(desc(Humidity.createDate)).limit(500)
    return render_template('humidity.html', humidities=humidities)

if __name__ == '__main__':
    app.run(debug=False, host='127.0.0.1', port=8080)
    #app.debug = False
    #app.run()

MySQL的表定义

CREATE TABLE `humidity` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `create_date` datetime DEFAULT NULL,
  `source_value` int(11) DEFAULT NULL,
  `value` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2554 DEFAULT CHARSET=utf8

上星期终于搞掂了办公室的CentOS备份。一开始,我们把硬盘A完全复制到硬盘B(用dd命令拷贝整个硬盘),产生了很多误会,也搞出不少问题,差点以为把硬盘A的数据搞丢了。

后来才发现,CentOS挂载硬盘分区时,根据分区的UUID来挂载的。由于两个硬盘的数据完全一致(包括各分区的UUID也一致),所以即使以硬盘A启动电脑,也可能挂载了硬盘B的分区。最后将错就错,按如下步骤解决问题:

1)修改硬盘B中所有分区的UUID
参考以下文章:
linux下硬盘uuid查看及修改设置
http://blog.csdn.net/rainday0310/article/details/6343038

Ext4的分区可以按照该文章,修改分区UUID:

uuidgen | xargs tune2fs /dev/sdb1 -U

但是swap分区不行,只能格式化一下,让其重新生成UUID:

#操作之前,先取消挂载
swapoff /dev/sdb2
#格式化swap分区
mkswap /dev/sdb2

修改后,可以下命令查看各分区的UUID:

blkid /dev/sdb1

2)修改硬盘B上的相关配置文件
此步骤是为了让硬盘B也能直接启动。就是说硬盘A出了什么故障,直接用硬盘B就可以启动服务器了。
a)修改分区挂载文件/etc/fstab,把对应分区的UUID改为新的。
b)修改grub配置文件/boot/grub/grub.conf,把根目录的分区UUID改为最新的。

3)同步两个硬盘的文件
这里采用rsync命令,把硬盘A的数据自动同步到硬盘B上。
a)把硬盘B的根目录挂载到/media/sdb3
b)创建文件/media/rsync_exclude文件,把要排除的文件夹或文件录进去,一行一个,参考内容如下:

/boot/*
/dev/*
/media/*
/lost+found
/proc/*
/sys/*
/tmp/*
/etc/fstab

c)执行以下命令,立即同步文件(以root用户执行):

rsync -avzP --delete --exclude-form=/media/rsync_exclude / /media/sdb3 >> /media/rsync.log

参考:
rsync官方man文档
https://download.samba.org/pub/rsync/rsync.html

CentOS 6.5下rsync服务器安装配置,rsync 客户端
https://segmentfault.com/a/1190000002502991#articleHeader5

4)优化
后面考虑把硬盘B做成USB移动硬盘,这样可以在需要时才接上电源。再考虑接上硬盘B后自动执行同步命令。

终于还是入手了Kindle3,200RMB的二手货,成色很新。由于带键盘,也有比较成熟的软件,所以非常喜欢。记录一下入手后的折腾经历吧。

1)升级最新固件(fireware)
从官网下载最新固件(目前最新是3.4.2):
Amazon.com Help: Kindle Keyboard Software Updates
http://www.amazon.com/gp/help/customer/display.html/ref=hp_left_v4_sib?ie=UTF8&nodeId=200529700

升级固件时,按照所需版本,一个一个地升。升级到最新版,最大的作用是可以注册美国亚马逊账号。其它的功能,包括阅读PDF(自动切除白边)、漫画等,都很方便。

2)越狱(Jailbreak)
Font, ScreenSaver & USBNetwork Hacks for Kindle 2.x, 3.x & 4.x
http://www.mobileread.com/forums/showthread.php?t=88004

详细操作,上面会详细记录。简单来说,就是下载对应的版本,然后刷进系统。本链接还包括修改默认屏保(ScreenSavers)、修改字体(Fronts)、USB有线网(USBNetwork)、Python等等。

3)快捷键(launchpad)
launchpad -- yet another hotkey manager for Kindle
http://www.mobileread.com/forums/showthread.php?t=97636

一个热键管理程序,可以把shell脚本,包括启动程序的脚本,做成热键,非常好用!

4)命令窗口(Terminal)
One more terminal emulator for kindle
http://www.mobileread.com/forums/showthread.php?t=154500

用launchpad启动,即可进入shell终端,然后就可用编写shell脚本、修改系统文件、ssh远程到其它机器等等。总之就是非常强大。

5)音乐播放器(MPlayer)
MPlayer for Kindle
http://www.mobileread.com/forums/showthread.php?t=119851

一边播放音乐,一边看书,也是不错的。特别要说的是,Kindle3自带的喇叭,音质比预想的好很多。

6)字典(Dictionary)
字典下载
http://kindlefere.com/dict

下载其它字典,并且可以替换系统默认的字典。

7)中文输入法
Kindle 3 原生系统3.4.2拼音输入法完美版安装包
http://terence2008.info/archives/kindle3_pinyin_input_method.html

8)其它
Kindle Hacks Information
http://wiki.mobileread.com/wiki/Kindle_Hacks_Information

这里都有汇总了几乎所有的软件,包括上面提到的。

曾经在“闲鱼”(淘宝二手)上看到有人卖NodeMCU的开发板,查了发现这东西很便宜(30RMB以下可以买到),而且自带WiFi,非常适合打开“物联网”的大门。直到前几天,跟经理说起关于怎样控制窗户的开关,才又提起这个,并买了个来玩。

详细介绍
ESP8266使用
http://suda-morris.github.io/blog/2015/12/06/esp8266/

针脚定义
NodeMCU Pin Map
请输入图片描述

官方文档
NodeMCU的API文档(英文) http://nodemcu.readthedocs.org/en/dev/

入门教程
官方网站(http://www.nodemcu.com/)上没有找到官方的入门教程,但是找这一些比较好的:
1)一个比较全面的教程(针对Windows) http://nodemcu-dev.doit.am/
2)NodeMCU 物联网开发快速上手(适合Linux用户) http://tinylab.org/nodemcu-kickstart/

官方论坛(http://bbs.nodemcu.com/)上也有一个系列的入门教程:
NodeMcu介绍:(一) 概述 http://bbs.nodemcu.com/t/nodemcujie-shao-gai-shu/25
NodeMcu介绍:(二)固件烧写 http://bbs.nodemcu.com/t/nodemcu/22
NodeMcu介绍:(三)启动文件init.lua http://bbs.nodemcu.com/t/nodemcu-init-lua/24
NodeMcu介绍:(四)下载*.lua文件 http://bbs.nodemcu.com/t/nodemcu-lua/26

Lua语言介绍
关于NodeMCU上使用的Lua,这里有个不错的教程
https://moonbingbing.gitbooks.io/openresty-best-practices/content/lua/main.html

项目需求,不同用户需要从各自有权限的一个字符串数组中,随机生成不同的组合。详细如下:
1)如果字符串数组长度超过4个,则最多取4个。
2)首先取没有生成过、且不管顺序的组合,如果用完,则从已经生成的组合中,取不同顺序的组合。例如:数组[a,b,c,d],先取组合[b,c,a,d]。下一次再取,由于没有不同的组合了,只能取不同顺序排列的组合,即:[c,a,b,d],[c,b,a,d]等等。
3)如果没有可用组合,则从已生成的组合中,随机抽取一个。
4)取可用组合之前,需要检查是否还有可用的组合。如没有,提示用户。

这里有几个问题:
1)需要记录已生成(用过)的组合。
2)如何随机取(生成)不同的组合?
3)检查是否有可用组合时,是否有快速或高效的方法?

逐个问题去解决吧。

1)记录已经使用的组合。肯定要把已经使用的组合记录到数据库,但是要考虑第一次取是无序的组合,即[a,b,c]与[b,a,c]是一样的。于是数据库需要生成一个编码,用于标记该记录。这里采用把所选字符串按顺序排列后,组成一个编码。例如[a,b,c]与[b,a,c]编码都是abc。如果生成的编码过长,可以考虑采用MD5加密,达到压缩的目的。但是每次查询前都要生成MD5,如果数据量不大的话,没必要耗费这些资源。

2)生成随机组合。最简单的就是,先把字符串数组随机排列,然后按数组顺序去生成不同的组合就可以了。具体的生成算法,可以参考:
排列组合生成问题的讨论(二)
http://shmilyaw-hotmail-com.iteye.com/blog/2108293

3)检查是否有可用组合,确实没有什么捷径,只能生成所有组合后才能确定。经过测试,所需时间勉强可以接受。

自从毕业以后,很少有机会写算法相关的程序了。所以,遇到这种工作,还是比较有冲劲去完成。

由于CentOS 6.6上的Tomcat 6采用了jsvc来启动,导致日志文件不能自动分割。Google找到相关文章,介绍采用系统自带的Logrotate来解决此问题:

How to rotate Tomcat catalina.out
http://www.vineetmanohar.com/2010/03/howto-rotate-tomcat-catalina-out/

Logrotate的相关介绍,还是看看中文的吧:
linux下logrotate 配置和理解
http://blog.csdn.net/cjwid/article/details/1690101

被遗忘的Logrotate
http://huoding.com/2013/04/21/246

一般来说,按照文章进行配置就完事了。Logrotate已经设置在/etc/cron.daily,每日自动执行。但是发现Logrotate仍不能正常工作。Google查到以下文章,才知道是服务器上启用了SELinux,权限问题没解决好:

I am getting 'logrotate: ALERT exited abnormally with [1]' messages in logs when SELinux is in the Enforcing mode
https://access.redhat.com/solutions/39006

关于CentOS上的SELinux操作,详见官方WiKi:
https://wiki.centos.org/zh/HowTos/SELinux

最后,关于权限问题,解决如下:
1)检查新增的配置文件的权限,是否跟原有的配置文件一致。如不一致,需修正。

ls -Zalh /etc/logrotate.d/

2)把需要切割的日志文件以及日志文件所在的目录,都设置SELinux的var_log_t类型权限(注意tomcat路径需改为实际路径),就解决权限的问题了:

chcon -t var_log_t /usr/local/tomcat/logs
chcon -t var_log_t /usr/local/tomcat/logs/*


注意:遇到Logrotate不能正常工作时(注意,本文的操作系统是CentOS 6.6),可以按照以下步骤排错:
1)Logrotate以Debug模式(只显示执行结果,不进行实际操作)执行一下,测试配置文件是否有误

/usr/sbin/logrotate -dv /etc/logrotate.conf

2)检查日志文件/var/log/messages,看Logrotate执行时是否有报错

cat /var/log/messages | grep logrotate

3)Logrotate每日操作的操作日志,会记录在/var/spool/mail/root,从该文件可以查看更详细的错误。

4)如第3点有权限相关的报错,检查权限记录日志/var/log/audit/audit.log,看有没有Logrotate的权限错误日志。通常会提示哪些日志文件是否存在权限不足导致不能访问。

cat /var/log/audit/audit.log | grep logrotate