分类目录归档:数据库

MySQL数据库、集群、负载均衡技术、高性能优化、数据中心调试,SQL技巧

高性能开源数据引擎MemLink

Memlink简介

Memlink 是一个高性能、持久化、分布式的Key=>List/Queue数据引擎。正如名称中的Memlink所示,所有数据都建构在内存中,保证了系统的 高性能(读性能大约是Redis几倍到十倍),精简内存(内存消耗大约是Redis的1/4),使用了redo-log技术保证数据的持久化。此 外,Memlink还支持主从复制、读写分离、数据项过滤操作等功能。
继续阅读高性能开源数据引擎MemLink

商业智能平台研究—商业智能基本概念

商业智能对每个不同的公司都有不同的定义.
如果你对这些公司的定义有兴趣的话,可以到http://waxdoll.cnblogs.com/archive/2005/07/03/185677.html 看看
其中微软的商业智能工具最广泛,包括,Microsoft SQL Server , Analysis Services Microsoft Office ,BI共同作业:SharePoint Portal Server , 可视化:Data Analyzer , 地理空间分析:MapPoint , 击流分析:Commerce Server 2000 , 零售与营销分析:BI Accelerator for SQL Server , 项目管理:Microsoft Project , 资料分析:Office Web Components ,可以看出微软对商业智能的支持已经延伸到地理空间, 多媒体应用方面了。

继续阅读商业智能平台研究—商业智能基本概念

商业智能平台—ETL选型

什么是ETL

ETL (Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)作为BI/DW(Business Intelligence)的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计,而ETL规则设计和实施则是工作量最大的,约占整个项目的60%~80%,这是国内外从众多实践中得到的普遍共识。 继续阅读商业智能平台—ETL选型

四款MySQL慢速查询日志分析工具比较

mysql slow log 是用来记录执行时间超过了配置项long_query_time设置时间长度值的所有查询语句sql的一个辅助工具。

可以帮助MySQL DBA快速的找到哪些查询影响到了MySQL的性能。

启用 slow log
有两种启用方式:
1, 在my.cnf 里 通过 log-slow-queries[=file_name]
2, 在mysqld进程启动时,指定–log-slow-queries[=file_name]选项

PHP对象关系映射器Doctrine 介绍

Object relational mapper (ORM) for PHP that sits on top of a powerful database abstraction layer (DBAL). One of its key features is the option to write database queries in a proprietary object oriented SQL dialect called Doctrine Query Language (DQL), inspired by Hibernates HQL. This provides developers with a powerful alternative to SQL that maintains flexibility without requiring unnecessary code duplication.

PHP对象关系映射器 (ORM) 基于强大的数据库抽象层(DBAL),提供持久的透明特性,特点是支持 DQL 与 HQL, 在PHP对象与关系型数据库的表字段进行透明的翻译。这样的特性给开发SQL带来了极大的灵活性。

DQL:Doctrine Query Language, Doctrine 专有的面向对象数据库查询语言的语法,开发人员可以使用它开发灵活、强大的SQL。

继续阅读PHP对象关系映射器Doctrine 介绍

搜索引擎二次开发集成可选用的Linux开源工具

搜索引擎爬虫可以根据用户行为,搜索关键词、句等策略、运用预定的程序在互联网超级海量的信息中进行信息收集。对信息进行优化组织和数据处理后,提供给用户快速的检索信息。

企业网站上的相关信息要浏览用户获得良好的体验,站点上的信息搜索非常重要。本文和有兴趣的开发者分享几个搜索引擎工具。

PhpDig

PhpDig是一个采用PHP开发的Web爬虫和搜索引擎,在国外非常流行的垂直搜索引擎产品,通过对动态和静态页面进行索引建立一个词汇表。当查询时,PHPDig将按一定的排序规则显示包含关键字的搜索结果页面。适用于专业化强、层次深的个性化搜索引擎。

phpdig官方网站 安装指南

Sphider

Sphider是一个轻量级,采用PHP开发的web spider和搜索引擎,使用mysql来存储数据。可以利用它来为自己的网站添加搜索功能。Sphider非常小,易于安装和修改,已经有数千网站在使用它。特别提醒Sphider支持IIS。

Sphider官方网站 安装指南 中文安装指南

Sphinx


Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL、PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。

Sphinx官方网站 中文站 安装指南

OpenWebSpider

OpenWebSpider是一个PHP开源多线程WebSpider(crawler:爬虫,robot:机器人)和包含许多有趣功能的搜索引擎。目前OpenWebSpider还提供MP3和PDF文件支持,以及增强编码支持等功能。

OpenWebSpider官方网站 安装指南

RiSearch PHP

RiSearch PHP是一个高效,功能强大的搜索引擎,特别适用于中小型网站。RiSearch PHP非常快,它能够在不到1秒钟内搜索5000-10000个页面。它能帮用户网站做索引并建立一个数据库来存储网站上所有页面的关键词以便快速搜索。RiSearch PHP目的是用于小网站(网页数量在5000-10000页)

Risearch PHP官方网站 安装指南

ASPSeek

ASPSeek是一个C++编写的免费开源互联网搜索引擎,并使用了STL库。它主要包括一个检索机器人,一个搜索守护程序,和一个搜索前端(CGI或者是Apache模块)。搜索结果可以限定在给定的时间或站点,站点空间,并按照相关性或者时间进行排序。

ASP Seek官方网站 安装指南

鉴于实际应用,Save-Info.com推荐Sphinx 以及 Open Web Spider 作为二次开发的基础,对于开发自有搜索引擎爬虫并提供良好的中文分词检索的搜索引擎,应用较多。

以上开源基础工具使用中有任何问题,欢迎在评论中留言讨论。

参考:原文地址

双机高可用MySQL集群软件:LanderCluster-DN

软件功能特性

LanderCluster集群软件针对集群中定义的服务资源进行监控,通过获取该进程/服务的系 统运行状态分析,当前进程/服务是否正常,当进程/服务出现故障时,则将当前的任务移交到备份服务器上,保障业务的正常运行,对于进程/服务的故障则,通 过声音、邮件方式向管理员报告。 提醒管理员检查、分析系统日志,排除造成业务系统进程/服务的原因。 继续阅读双机高可用MySQL集群软件:LanderCluster-DN