scrapy 依赖三个包，wheel,lxml,twisted。其中wheel 可以直接使用pip安装。其他两个需要vc编译工具。谁也不许因为装个10M不到的包去下好几个G的编译工具，因此需要去找编译之后的whl包，进行离线安装。
lxml.whl包比较容易找，https://pythonwheels.com/ 这个网站上能够找到。
twisted.whl 比较费劲，网上给出的地址只有这个 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，但是这个下载地址已经是404了。经过多次查询，找到一个win64-py37的版本。
依赖包下载完之后，分别执行以下内容即可完成安装
pip install wheel
pip install lxml.whl
pip install twisted.whl
pip install scrapy
Sphinx 在2018年的搜索引擎中排名第五，但它仍然是一种强大且流行的技术，在排名方面让位于Elasticsearch和Solr。 Sphinx用于如此着名的系统中 Joomla.org， CouchSurfing.org， Wikimapia.org， Tumblr.com， 优酷土豆 以及数百种其他应用。
Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒） 高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果） 高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录） 支持分布式检索 支持基于短语和基于统计的复合结果排序机制 支持任意数量的文件字段（数值属性或全文检索属性） 支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”） 支持作为Mysql的存储引擎
最近工作上需要实现搜索功能，尝试了几种方案。虽然最终线上部署的还是最low的方案，但是中间的过程还是比较有意思的。业务上根据关键字查找内容。关键字的出处多来源于标题，文章描述等。主要实现方式有一些几种，各个方式各有利弊，需要权衡。
like查询估计是最常用的方式了，也是最容易实现的方式。业务代码少，逻辑清晰，准确率也高。不用其他额外操作(比如分词)。但是有个非常致命的问题，那就是效率。效率非常低，特别是在数据量大的情况。测试过程中，在224256行数据中，对3749个字进行like查询，执行总时间长达4003秒。相当于每个查询需要花费1.06秒的查询时间。
一些常规的PHP框架都会对PHP的错误、异常进行异常处理封装，方便框架日志记录，开发的时候方便处理。我们先看看几个框架错误处理:
Laravel在app初始化的时候注册了错误处理函数，异常处理函数，异常退出处理函数，最终将错误转化成异常抛出，统一通过异常处理函数进行处理。
public function bootstrap(Application $app)
{
$this->app = $app;
error_reporting(-1);
set_error_handler([$this, 'handleError']);
set_exception_handler([$this, 'handleException']);
register_shutdown_function([$this, 'handleShutdown']);
if (! $app->environment('testing')) {
ini_set('display_errors', 'Off');
}
}
public function handleError($level, $message, $file = '', $line = 0, $context = [])
{
if (error_reporting() & $level) {
throw new ErrorException($message, 0, $level, $file, $line);
}
}
public function handleShutdown()
{
if (! is_null($error = error_get_last()) && $this->isFatal($error['type'])) {
$this->handleException($this->fatalExceptionFromError($error, 0));
}
}
上一个项目在api上使用了thinkphp5.1，但是后台还是使用thinkcmf5.0,tp版本是5.0 .当时就想统一thinkphp版本。最近得空有时间修改，因此在ThinkCMF 5.0.180901基础上将thinkphp版本改成5.1.29 。修改后，已经对本地测试的不兼容进行修改。
ThinkCMF 5.0.180901 正式版
thinkphp5.1.29
修改原因: \think\Loader 中注册vendor目录是写死的，没办法动态修改，除非重写Loader self::$composerPath = $rootPath . 'vendor' . DIRECTORY_SEPARATOR . 'composer' . DIRECTORY_SEPARATOR;
php和java,c++一样都是单继承模式。但是像python，是支持多继承（即Mixin模式）。那么如何在php中实现多继承模式？这就需要使用trait。
trait Arrayabletrait{
public function toArray(){
}
}
class Model{
use Arrayabletrait;
}
$model = new Model();
$model->toArray();
有些功能不需要类的方法属性，但是在不同的类都有使用需求。例如上面的对象转数组方法。 这种情况可以使用一个基类定义toArray方法，则需要将这类基础方法定义在尽可能顶层的基类当中，保证所有的类都能够调用这个方法。
类因为某些需求，已经继承了第三方类对象。例如第三方orm模型类。这种情况如果要给类附加一些公共的功能，除了创建一个继承于orm模型的基类，复制一套公共功能的代码之外，就可以使用trait。
任何无限极分类都会涉及到创建一个树状层级数组。从顶级分类递归查找子分类，最终构建一个树状数组。如果分类数据是一个数组配置文件，且子类父类id没有明确的大小关系。那么我们如何高效的从一个二维数组中构建我们所需要的树状结构呢。
假设数据源如下:
return [
['id'=>1,'name'=>'文章','parent_id'=>0],
['id'=>2,'name'=>'页面','parent_id'=>0],
['id'=>3,'name'=>'娱乐','parent_id'=>1],
['id'=>4,'name'=>'国内','parent_id'=>1],
['id'=>5,'name'=>'海外','parent_id'=>1],
['id'=>6,'name'=>'北京','parent_id'=>4],
['id'=>7,'name'=>'上海','parent_id'=>4]
];
layout: post title: 设计模式(一),创建模式(如何创建，谁创建，什么时候创建) category: 算法 comments: true description: 设计模式(一),创建模式(如何创建，谁创建，什么时候创建) keywords: 设计模式,工厂模式,单例模式,建造者模式 —
1、工厂模式 通过工厂类，创建不同的对象。工厂模式适合：凡是出现了大量的产品需要创建，并且具有共同的接口时，可以通过工厂方法模式进行创建。
以日志操作类为例
abstract class BaseApp{
protected $input;
protected $response;
protected $route;
public function start(){
return $this->handlerRequest();
}
public function setInput($input){
$this->input = $input;
}
public function setResponse($response){
$this->response = $response;
}
public function setRoute($route){
$this->route = $route;
}
abstract public function handlerRequest();
}
class CliApp extends BaseApp{
protected $args;
public function handlerRequest(){
//write to file
}
}
class WebApp extends BaseApp{
protected $urlparams;
protected $requestMethod;
protected $remoteIp;
public function handlerRequest(){
//write to db
}
}