原贴:http://www.ibm.com/developerworks/cn/linux/l-10sysadtips/index.html

懒惰” Linux 管理员的 10 个关键技巧

如何成为一名效率更高的系统管理员

 developerWorks
文档选项

将打印机的版面设置成横向打印模式 打印本页
将打印机的版面设置成横向打印模式 打印本页
将此页作为电子邮件发送 将此页作为电子邮件发送
将此页作为电子邮件发送 将此页作为电子邮件发送

级别： 初级

Vallard Benincosa, 认证技术销售专家, IBM

2008 年 8 月 11 日

学会这 10 个技巧后，您将成为世界上最强大的 Linux® 系统管理员，整个世界是有点夸张，但要在一个大团队中工作，这些技巧是十分必要的。学习 SHH 通道、VNC、密码恢复、控制台侦察等等。各个技巧都附有例子，可以将这些例子复制到自己的系统中。

好的系统管理员区分在效率上。如果一位高效的系统管理员能在 10 分钟内完成一件他人需要 2 个小时才能完成的任务，那么他应该受到奖励（得到更多报酬），因为他为公司节约了时间，而时间就是金钱，不是吗？

技巧是为了提高管理效率。虽然本文不打算对所有 技巧进行讨论，但是我会介绍 “懒惰” 管理员所用的 10 个基本法宝。这些技巧可以节约时间 —— 即使没有因为高效而得到更多的报酬，但至少可以有更多的时间去玩。

技巧 1：卸载无响应的 DVD 驱动器

网络新手的经历：按下服务器（运行基于 Redmond 的操作系统）DVD 驱动器上的 Eject 按钮时，它会立即弹出。他然后抱怨说，在大多数企业 Linux 服务器中，如果在那个目录中运行某个进程，弹出就不会发生。作为一名长期的 Linux 管理员，我会重启机器。如果我不清楚正在运行什么，以及为何不释放 DVD 驱动器，我则会弹出磁盘。但这样效率很低。

下面介绍如何找到保持 DVD 驱动器的进程，并轻松弹出 DVD 驱动器：首先进行模拟。在 DVD 驱动器中放入磁盘，打开一个终端，装载 DVD 驱动器：

# mount /media/cdrom
# cd /media/cdrom
# while [ 1 ]; do echo “All your drives are belong to us!”; sleep 30; done

现在打开第二个终端并试着弹出 DVD 驱动器：

# eject

将得到以下消息：

umount: /media/cdrom: device is busy

在释放该设备之前，让我们找出谁在使用它。

# fuser /media/cdrom

进程正在运行，无法弹出磁盘其实是我们的错误。

现在，如果您是根用户，可以随意终止进程：

# fuser -k /media/cdrom

现在终于可以卸载驱动器了：

# eject

fuser 很正常。

回页首

技巧 2：恢复出现问题的屏幕

尝试以下操作：

# cat /bin/cat

注意！终端就想垃圾一样。输入的所有内容非常零乱。那么该怎么做呢？

输入 reset。但是，输入 reset 与输入 reboot 或 shutdown 太接近了。吓得手心冒汗了吧 — 特别是在生产机器上执行这个操作时。

放心吧，在进行此操作时，机器不会重启。继续操作：

# reset

现在屏幕恢复正常了。这比关闭窗口后再次登陆好多了，特别是必须经过 5 台机器和 SSH 才能到达这台机器时。

回页首

技巧 3：屏幕协作

来自产品工程的高级维护用户 David 打电话说：“为什么我不能在您部署的这些新机器上编译 supercode.c”。

您会问他：“您运行的是什么机器？”

David 答道：“ Posh”。（这个虚够的公司将它的 5 台生产服务器以纪念 Spice Girls 的方式命名）。这下您可以大显身手了，另一台机器由 David 操作：

# su - david

转到 posh：

# ssh posh

到达之后，运行以下代码：

# screen -S foo

然后呼叫 David：

“David，在终端运行命令 # screen -x foo”。

这使您和 David 的会话在 Linux shell 中联接在一起。您可以输入，他也可以输入，但彼此可以看到对方所做的事情。这避免了进入其他层次，而且双方都有相同的控制权。这样做的好处是 David 可以观察到您的故障诊断技巧，并能准确了解如何解决问题。

最后大家都能看到问题所在：David 的编译脚本对一个不在此新服务器上的旧目录进行了硬编码。将它装载后再次编译即可解决问题，然后 David 继续工作。您则可以继续之前的娱乐活动。

关于此技巧需要注意的一点是，双方需要以同一用户登录。screen 命令还可以：实现多个窗口和拆分屏幕。请阅读手册页获取更多相关信息。

对于 screen 会话，我还有最后一个技巧。要从中分离并让它打开，请输入 Ctrl-A D （即按住 Ctrl 键并点击 A 键。然后按 D 键）。

然后通过再次运行 screen -x foo 命令可以重新拼接起来。

回页首

技巧 4：找回根密码

如果忘记根密码，就必须重新安装整台机器。更惨的是，许多人都会这样做。但是启动机器并更改密码却十分简单。这并非在所有情况下都适用（比如设置了一个 GRUB 密码，但也忘记了），但这里介绍一个 Cent OS Linux 示例，说明一般情况下的操作。

首先重启系统。重启时会跳出如图 1 所示的 GRUB 屏幕。移动箭头键，这样可以保留在此屏幕上，而不是进入正常启动。
图 1. 重启后的 GRUB 屏幕
重启后的 GRUB 屏幕
然后，使用箭头键选择要启动的内核，并输入 E 编辑内核行。然后便可看到如图 2 所示的屏幕：
图 2：准备编辑内核行
准备编辑内核行
再次使用箭头键突出显示以 kernel 开始的行，按 E 编辑内核参数。到达如图 3 所示的屏幕时，在图 3 中所示的参数后追加数字 1 即可：
图 3. 在参数后追加数字 1
在参数后追加数字 1
然后按 Enter 和 B，内核会启动到单用户模式。然后运行 passwd 命令，更改用户根密码：

sh-3.00# passwd
New UNIX password:
Retype new UNIX password:
passwd: all authentication tokens updated successfully

现在可以重启了，机器将使用新密码启动。

回页首

技巧 5：SSH 后门

有很多次，我所在的站点需要某人的远程支持，而他却被公司防火强阻挡在外。很少有人意识到，如果能通过防火墙到达外部，那么也能轻松实现让外部的信息进来。

从本意讲，这称为 “在防火墙上砸一个洞”。我称之为 SSH 后门。为了使用它，必须有一台作为中介的连接到 Internet 的机器。

在本例中，将这样台机器称为 blackbox.example.com。公司防火墙后面的机器称为 ginger。此技术支持的机器称为 tech。图 4 解释了设置过程。
图 4. 在防火墙上砸一个洞
在防火墙上砸一个洞
以下是操作步骤：

  1. 检查什么是允许做的，但要确保您问对了人。大多数人都担心您打开了防火墙，但他们不明白这是完全加密的。而且，必须破解外部机器才能进入公司内部。不过，您可能属于 “敢作敢为” 型的人物。自己进行判断应该选择的方式，但不如意时不抱怨别人。
  2. 使用 -R 标记通过 SSH 从 ginger 连接到 blackbox.example.com。假设您是 ginger 上的根用户，tech 需要根用户 ID 来帮助使用系统。使用 -R 标记将 blackbox 上端口 2222 的说明转发到 ginger 的端口 22 上。这就设置了 SSH 通道。注意，只有 SSH 通信可以进入 ginger：您不会将 ginger 放在无保护的 Internet 上。可以使用以下语法实现此操作：

    ~# ssh -R 2222:localhost:22 thedude@blackbox.example.com

    进入 blackbox 后，只需一直保持登录状态。我总是输入以下命令：

    thedude@blackbox:~$ while [ 1 ]; do date; sleep 300; done

    使机器保持忙碌状态。然后最小化窗口。

  3. 现在指示 tech 上的朋友使用 SSH 连接到 blackbox，而不需要使用任何特殊的 SSH 标记。但必须把密码给他们：root@tech:~# ssh thedude@blackbox.example.com .
  4. tech 位于 blackbox 上后，可以使用以下命令从 SSH 连接到 ginger：thedude@blackbox:~$: ssh -p 2222 root@localhost
  5. Tech 将提示输入密码。应该输入 ginger 的根密码。
  6. 现在您和来自 tech 的支持可以一起工作并解决问题。甚至需要一起使用屏幕！（参见 技巧 4）。

回页首

技巧 6：通过 SSH 通道进行远程 VNC 会话

VNC 或虚拟网络计算已经存在很长时间了。通常，当远程服务器上的某类图形程序只能在此服务器上使用时，我才需要 VNC。

例如，假设在 技巧 5 中，ginger 是一台存储服务器。许多设备都使用 GUI 程序来管理存储控制器。这些 GUI 管理工具通常需要通过一个网络直接连接到存储服务器，而这个网络有时保存在专用的子网络中。因此，只能通过 ginger 访问这个 GUI。

可以尝试使用 -X 选项通过 SSH 连接到 ginger 并启动它，但这对带宽要求很高，您需要忍受等待的痛苦。VNC 是一个网络友好的工具，几乎适用于所有操作系统。

假设设置与技巧 5 中的一样，但希望 tech 能访问 VNC 而不是 SSH。对于这种情况，需要进行一些类似的操作，不过转发的是 VNC 端口。执行以下操作步骤：

  1. 在 ginger 上启动一个 VNC 服务器会话。运行以下命令：root@ginger:~# vncserver -geometry 1024×768 -depth 24 :99

    这些选项指示启动服务器，分辨率为 1024×768，像素深度为每像素 24 位。如果使用较慢的连接设置，8 也许是更好的选项。使用 :99 指定可访问 VNC 服务器的端口。VNC 协议在 5900 处启动，因此 :99 表示服务器可从端口 5999 访问。

    启动该会话时，要求您指定密码。用户 ID 与启动 VNC 服务器时的用户相同（本例中就是根用户）。

  2. 从 ginger 连接到 blackbox.example.com 的 SSH 将 blackbox 上的端口 5999 转发到 ginger。这通过运行以下命令在 ginger 中完成：root@ginger:~# ssh -R 5999:localhost:5999 thedude@blackbox.example.com

    运行此命令后，需要将此 SSH 会话保持为打开状态，以便保留转发到 ginger 的端口。此时，如果在 blackbox 上，那么运行以下命令即可访问 ginger 上的 VNC 会话：

    thedude@blackbox:~$ vncviewer localhost:99

    这将通过 SSH 将端口转发给 ginger，但我们希望通过 tech 让 VNC 访问 ginger。为此，需要另一个通道。

  3. 在 tech 中，打开一个通道，通过 SHH 将端口 5999 转发到 blackbox 上的端口 5999。这通过运行以下命令完成：root@tech:~# ssh -L 5999:localhost:5999 thedude@blackbox.example.com

    这次使用的 SSH 标记为 -L，它不是将 5999 放到 blackbox，而是从中获取。到达 blackbox 后，需要保持此会话为打开状态。现在即可在 tech 中使用 VNC 了！

  4. 在 tech 中，运行以下命令使 VNC 连接到 ginger：root@tech:~# vncviewer localhost:99 .

    Tech 现在将拥有一个直接到 ginger 的 VNC 会话。

设置虽然有点麻烦，但比为修复存储阵列而四处奔波强多了。不过多实践几次这就变得容易了。

对此技巧我还要补充一点：如果 tech 运行的是 Windows® 操作系统，并且没有命令行 SSH 客户端，那么 tech 可以运行 Putty。Putty 可以设置为通过查找侧栏中的选项来转发 SSH 端口。如果端口是 5902 而不是本例中的 5999，则可以输入图 5 中的内容。
图 5. Putty 可以转发用作通道的 SSH
Putty 可以转发用作通道的 SSH 端口
如果进行了此设置，那么 tech 就可以使用 VNC 连接到 localhost:2，如同 tech 正在 Linux 操作系统上运行一样。

回页首

技巧 7：检查带宽

设想：公司 A 有一个名为 ginger 的存储服务器，并通过名为 beckham 的客户端节点装载 NFS。公司 A 确定他们需要从 ginger 得到更多的带宽，因为有大量的节点需要 NFS 装载 ginger 的共享文件系统。

实现此操作的最常用和最便宜的方式是将两个吉比特以太网 NIC 组合在一起。这是最便宜的，因为您通常会有一个额外的可用 NIC 和一个额外的端口。

所以采取此这个方法。不过现在的问题是：到底需要多少带宽？

吉比特以太网理论上的限制是 128MBit/s。这个数字从何而来？看看这些计算：

1Gb = 1024Mb；1024Mb/8 = 128MB；”b” = “bits,”、”B” = “bytes”

但实际看到的是什么呢，有什么好的测量方法呢？我推荐一个工具 iperf。可以按照以下方法获得 iperf：

# wget http://dast.nlanr.net/Projects/Iperf2.0/iperf-2.0.2.tar.gz

需要在 ginger 和 beckham 均可见的共享文件系统上安装此工具，或者在两个节点上编译并安装。我将在两个节点均可见的 bob 用户的主目录中编译它：

tar zxvf iperf*gz
cd iperf-2.0.2
./configure -prefix=/home/bob/perf
make
make install

在 ginger 上，运行：

# /home/bob/perf/bin/iperf -s -f M

这台机器将用作服务器并以 MBit/s 为单位输出执行速度。

在 beckham 节点上，运行：

# /home/bob/perf/bin/iperf -c ginger -P 4 -f M -w 256k -t 60

两个屏幕上的结果都指示了速度是多少。在使用吉比特适配器的普通服务器上，可能会看到速度约为 112MBit/s。这是 TCP 堆栈和物理电缆中的常用带宽。通过以端到端的方式连接两台服务器，每台服务器使用两个联结的以太网卡，我获得了约 220MBit/s 的带宽。

事实上，在联结的网络上看到的 NFS 约为 150-160MBit/s。这仍然表示带宽可以达到预期效果。如果看到更小的值，则应该检查是否有问题。

我最近碰到一种情况，即通过连接驱动程序连接两个使用了不同驱动程序的 NIC。这导致性能非常低，带宽约为 20MBit/s，比不连接以太网卡时的带宽还小！

回页首

技巧 8：命令行脚本和实用程序

Linux 系统管理员通过使用权威的命令行脚本会变得更高效。这包括巧妙使用循环和知道如何使用 awk、grep 和 sed 等的实用程序解析数据。通常这可以减少击键次数，降低用户出错率。

例如，假设需要为即将安装的 Linux 集群生成一个新的 /etc/hosts 文件。一般的做法是在 vi 或文本编辑器中添加 IP 地址。不过，可以通过使用现有 /etc/hosts 文件并将以下内容追加到此文件来实现。在命令行上运行：

# P=1; for i in $(seq -w 200); do echo “192.168.99.$P n$i”; P=$(expr $P + 1);
done >>/etc/hosts

200 个主机名（n001 到 n200）将由 IP 地址（192.168.99.1 到 192.168.99.200）来创建。手动填充这样的文件有可能会创建重复的 IP 地址或主机名，因此这是使用内置命令行消除用户错误的好例子。请注意，这是在 bash shell（大多数 Linux 发行版的默认值）内完成的。

再举一个例子，假设要检查 Linux 集群中的各个计算节点中的内存大小是否一样。通常，拥有一个发行版或类似的 shell 是最好的。但是为了演示，以下使用 SSH。

假设 SSH 设置为不使用密码验证。然后运行：

# for num in $(seq -w 200); do ssh n$num free -tm | grep Mem | awk ‘{print $2}’;
done | sort | uniq

这样的命令行相当简洁。（如果在其中放入正则表达式情况会更糟）。让我们对它进行细分，详细讨论各部分。

首先从 001 循环到 200。使用 seq 命令的 -w 选项在前面填充 0。然后替换 num 变量，创建通过 SSH 连接的主机。有了目标主机后，向它发出命令。本例中是：

free -m | grep Mem | awk ‘{print $2}’

这个命令的意思是：

  • 使用 free 命令获取以兆字节为单位的内存大小。
  • 获取这个命令的结果，并使用 grep 获取包含字符串 Mem 的行。
  • 获取那一行并使用 awk 输出第二个字段，它是节点中的总内存。

在每个节点上执行这个操作。

在每个节点上执行命令后，200 个节点的整个输出就传送（|d）到 sort 命令，以对所有内存值进行排序。

最后，使用 uniq 命令消除重复项。这个命令会导致以下情况中的一种：

  • 如果所有节点（n001 到 n200）拥有相同的内存大小，则只显示一个数字。这个数字就是每个操作系统看到的内存大小。
  • 如果节点内存大小不同，将会看到几个内存大小的值。
  • 最后，如果某个节点上的 SSH 出现故障，则会看到一些错误消息。

这个命令并不是完美无缺的。如果发现与预期不同的内存值，您就不知道是哪一个节点出了问题，或者有多少个节点。为此需要发出另一个命令。

这个技巧提供了一种查看某些内容的快速方式，而且如果发生错误，您可以立刻知道。其价值在于快速检查。

回页首

技巧 9：控制台侦察

有些软件会向控制台输出错误消息，而控制台不一定会显示在 SHH 会话中。使用 vcs 设备可以进行检查。在 SSH 会话中，在远程服务器 # cat /dev/vcs1 上运行以下命令。这将显示第一个控制台中的内容。也可以使用 2、3 等查看其他虚拟终端。如果某个用户在远程系统上输入，您将看到他输入的内容。

在大多数数据场中，使用远程终端服务器、KVM 甚至 Serial Over LAN 是查看这类信息的最好方式；它也提供了带外查看功能的一些好处。使用 vcs 设备能够提供一种快速带内方法，这能节省去机房查看控制台的时间。

回页首

技巧 10：随机系统信息收集

在 技巧 8 中，介绍了一个使用命令行获取有关系统中总内存信息的例子。在这个技巧中，我将介绍几个其他方法，用于从需要进行验证、故障诊断或给予远程支持的系统收集重要信息。

首先，收集关于处理器的信息。通过以下命令很容易实现：

# cat /proc/cpuinfo 。

这个命令给出关于处理器的速度、数量和型号的信息。在许多情况下使用 grep 可以得到需要的值。

我经常做的检查是确定系统中处理器的数量。因此，如果我买了一台带双核处理器的四核服务器，我可以运行以下命令：

# cat /proc/cpuinfo | grep processor | wc -l 。

然后我看到值应该是 8。如果不是，我会打电话给供应商，让他们给我派送另一台处理器。

我需要的另一条信息是磁盘信息。可以使用 df 命令获得。我总是添加 -h 标记，以便看到以十亿字节或兆字节为单位的输出。# df -h 还会显示磁盘的分区情况。

列表最后是查看系统固件的方式 —— 一个获取 BIOS 级别和 NIC 上的固件信息的方法。

要检查 BIOS 版本，可以运行 dmidecode 命令。遗憾的是，不能轻易使用 grep 获取信息，所以这不是一个很有效的方法。对于我的 Lenovo T61 laptop，输出如下：

#dmidecode | less
…
BIOS Information
Vendor: LENOVO
Version: 7LET52WW (1.22 )
Release Date: 08/27/2007
…

这比重启机器并查看 POST 输出有效得多。

要检查以太网适配器的驱动程序和固件版本，请运行 ethtool：

# ethtool -i eth0
driver: e1000
version: 7.3.20-k2-NAPI
firmware-version: 0.3-0


回页首

结束语

可以从精通命令行的人那里学习很多技巧。最好的学习方式是：

  • 与其他人一起工作。共享屏幕会话并观察其他人是如何工作的 —— 您会发现新的做事方法。可能需要谦虚一点，让其他人引导，不过通常可以学到很多东西。
  • 阅读手册页。认真阅读手册页，即使是熟知的命令，也能获得更深的见解。例如，您以前可能根本不知道可以使用 awk 进行网络编程。
  • 解决问题。作为系统管理员，总是要解决问题，不管是您还是其他人引起的问题。这就是经验，经验可以使您更优秀、更高效。

我希望至少有一个技巧能帮助您学习到您不知道的知识。像这样的基本技巧可以使您更高效，并且能增长经验，但最重要的是，技巧可以让您有更多的空闲时 间去做自己感兴趣的事情，比如玩电子游戏。最好的管理员比较悠闲，因为他们不喜欢工作。他们能找到完成任务的最快方法，并且能快速完成任务，从而保持休闲 的生活。

参考资料

学习

获得产品和技术

  • 订购 SEK for Linux，共包含两张 DVD，其中有用于 Linux 的最新 IBM 试用软件，包括 DB2®、Lotus®、Rational®、Tivoli® 和 WebSphere®。
  • 使用可直接从 developerWorks 下载的 IBM 试用软件 构建您的下一个 Linux 开发项目。

讨论

关于作者

Vallard Benincosa 是一位 “懒惰” 的 Linux 认证 IT 专家，在 IBM Linux Clusters 团队工作。他和他的妻子、两个小孩住在俄勒冈州波特兰市。

No Comments »

vim正则表达式（转 ）

Posted in Shell, 2008-08-18,

来自：http://blog.csdn.net/endall/archive/2007/08/29/1764554.aspx

Vim中的正则表达式功能很强大，如果能自由运用，则可以完成很多难以想象的操作。

如果你比较熟悉Perl的正规表达式，可以直接参照与Perl正则表达式的区别一节。

使用正则表达式的命令 †

使用正则表达式的命令最常见的就是 / （搜索）命令。其格式如下：

/正则表达式

另一个很有用的命令就是 :s（替换）命令，将第一个//之间的正则表达式替换成第二个//之间的字符串。

:s/正则表达式/替换字符串/选项

在学习正则表达式时可以利用 / 命令来练习。

↑

元字符 †

元字符是具有特殊意义的字符。使用元字符可以表达任意字符、行首、行尾、某几个字符等意义。

元字符一览

元字符 说明
. 匹配任意一个字符
[abc] 匹配方括号中的任意一个字符。可以使用-表示字符范围，
如[a-z0-9]匹配小写字母和阿拉伯数字。
[^abc] 在方括号内开头使用^符号，表示匹配除方括号中字符之外的任意字符。
\d 匹配阿拉伯数字，等同于[0-9]。
\D 匹配阿拉伯数字之外的任意字符，等同于[^0-9]。
\x 匹配十六进制数字，等同于[0-9A-Fa-f]。
\X 匹配十六进制数字，等同于[^0-9A-Fa-f]。
\w 匹配单词字母，等同于[0-9A-Za-z_]。
\W 匹配单词字母之外的任意字符，等同于[^0-9A-Za-z_]。
\t 匹配<TAB>字符。
\s 匹配空白字符，等同于[ \t]。
\S 匹配非空白字符，等同于[^ \t]。

另外，如果要查找字符 *、.、/等，则需要在前面用 \ 符号，表示这不是元字符，而只是普通字符而已。

元字符 说明
\* 匹配 * 字符。
\. 匹配 . 字符。
\/ 匹配 / 字符。
\\ 匹配 \ 字符。
\[ 匹配 [ 字符。
↑

表示数量的元字符 †

元字符 说明
* 匹配0-任意个
\+ 匹配1-任意个
\? 匹配0-1个
\{n,m} 匹配n-m个
\{n} 匹配n个
\{n,} 匹配n-任意个
\{,m} 匹配0-m个
↑

表示位置的符号 †

元字符 说明
$ 匹配行尾
^ 匹配行首
\< 匹配单词词首
\> 匹配单词词尾

使用例

/char\s\+[A-Za-z_]\w*;                 " 查找所有以char开头，之后是一个以上的空白，
" 最后是一个标识符和分号
/\d\d:\d\d:\d\d                        " 查找如 17:37:01 格式的时间字符串
:g/^\s*$/d                             " 删除只有空白的行
:s/\<four\>/4/g                        " 将所有的four替换成4，但是fourteen中的four不替换
↑

替换变量 †

在正规表达式中使用 \( 和 \) 符号括起正规表达式，即可在后面使用\1、\2等变量来访问 \( 和 \) 中的内容。

使用例

/\(a\+\)[^a]\+\1                                          " 查找开头和结尾处a的个数相同的字符串，
" 如 aabbbaa，aaacccaaa，但是不匹配 abbbaa
:s/\(http:\/\/[-a-z\._~\+%\/]\+\)/<a href="\1">\1<\/a>/   " 将URL替换为<a href="http://url">http://url</a>的格式
:s/\(\w\+\)\s\+\(\w\+\)/\2\t\1                            " 将 data1 data2 修改为 data2 data1
↑

函数式 †

在替换命令 s/// 中可以使用函数表达式来书写替换内容，格式为

:s/替换字符串/\=函数式

在函数式中可以使用 submatch(1)、submatch(2) 等来引用 \1、\2 等的内容，而submatch(0)可以引用匹配的整个内容。

使用例

:%s/\<id\>/\=line(".")                              " 将各行的 id 字符串替换为行号
:%s/^\<\w\+\>/\=(line(".")-10) .".". submatch(1)    " 将每行开头的单词替换为 (行号-10).单词 的格式，
" 如第11行的 word 替换成 1. word
↑

与Perl正则表达式的区别 †

元字符的区别

Vim语法 Perl语法 含义
\+ + 1-任意个
\? ? 0-1个
\{n,m} {n,m} n-m个
\(和\) (和) 分组

No Comments »

js BASE64函数收藏

Posted in Uncategorized, 2008-07-28,

http://rumkin.com/tools/compression/base64.php

<script type=“text/javascript”><!–

// This code was written by Tyler Akins and has been placed in the
// public domain.  It would be nice if you left this header intact.
// Base64 code from Tyler Akins — http://rumkin.com

var keyStr = “ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=”;

function encode64(input) {
var output = “”;
var chr1, chr2, chr3;
var enc1, enc2, enc3, enc4;
var i = 0;

do {
chr1 = input.charCodeAt(i++);
chr2 = input.charCodeAt(i++);
chr3 = input.charCodeAt(i++);

enc1 = chr1 >> 2;
enc2 = ((chr1 & 3) << 4) | (chr2 >> 4);
enc3 = ((chr2 & 15) << 2) | (chr3 >> 6);
enc4 = chr3 & 63;

if (isNaN(chr2)) {
enc3 = enc4 = 64;
} else if (isNaN(chr3)) {
enc4 = 64;
}

output = output + keyStr.charAt(enc1) + keyStr.charAt(enc2) +
keyStr.charAt(enc3) + keyStr.charAt(enc4);
} while (i < input.length);

return output;
}

function decode64(input) {
var output = “”;
var chr1, chr2, chr3;
var enc1, enc2, enc3, enc4;
var i = 0;

// remove all characters that are not A-Z, a-z, 0-9, +, /, or =
input = input.replace(/[^A-Za-z0-9\+\/\=]/g, “”);

do {
enc1 = keyStr.indexOf(input.charAt(i++));
enc2 = keyStr.indexOf(input.charAt(i++));
enc3 = keyStr.indexOf(input.charAt(i++));
enc4 = keyStr.indexOf(input.charAt(i++));

chr1 = (enc1 << 2) | (enc2 >> 4);
chr2 = ((enc2 & 15) << 4) | (enc3 >> 2);
chr3 = ((enc3 & 3) << 6) | enc4;

output = output + String.fromCharCode(chr1);

if (enc3 != 64) {
output = output + String.fromCharCode(chr2);
}
if (enc4 != 64) {
output = output + String.fromCharCode(chr3);
}
} while (i < input.length);

return output;
}

//–></script>

No Comments »

PHP 指定ini文件

Posted in PHP, 2008-07-24,

PHP 指定ini文件

Php.ini中可以通过设置


Screen clipping taken: 2008/7/24, 23:53

这两项指定PHP执行时和执行后,都会加载的PHP文件.这个你可以在这两个PHP文件加入一些一环境变量等操作.如:

Cons.php

 
 


这样当你在命令行或APACHE中执行PHP时都会自己定义这个 ROOT_PATH常量.

 
 


Screen clipping taken: 2008/7/24, 23:59

 
 

其中t.php内容就是 <?php echo ROOT_PATH; echo “\n”; ?>

No Comments »

数据库备分程序

Posted in Shell, 2008-07-24,

一个数据备分的脚本,可以备分数据库.这里写程序注意以下几点.

1. if 的用法.

if [  ] 一定要有空格

if [ ! $1 ]; then

echo $1

fi

! 是取反

-z 是判断是否存在

-d 是否是目录

2. 变量的用法.

BACKUP_DIR=’/home/backup’  等号中不能有空格

3. 函数用法

mysql_backup() {

echo $1

}

调用:

mysql_backup $db

#!/bin/bash
#
# 数据库备分
#
# $Id$

DB_HOST=’localhost’
DB_USER=’root’
DB_PASSWD=”
DATE=`date +%Y-%m-%d`
BACKUP_DIR=’/home/panrui/backup/’
mysqldump=’mysqldump’
mysql=’mysql’

mysql_backup() {
# 判断参数是否正确
if [ ! $1 ]; then
echo ‘params error’
exit 1
fi

cd $BACKUP_DIR
# 判断目录是否存在
if [ ! -d “db_$DATE” ]; then
mkdir db_$DATE
fi

# 导出
$mysqldump -u$DB_USER -p$DB_PASSWD -c \
–default-character-set=utf8 –opt –extended-insert=false \
–triggers -R –hex-blob –single-transaction $1 > db_$DATE/db_$1_$DATE.sql
echo db_$DATE/db_$1_$DATE.sql
}

echo $DATE
databases=`$mysql -u$DB_USER -p$DB_PASSWD -e ‘SHOW DATABASES;’ | grep -v Database `
for db in $databases
do
mysql_backup $db
if [ $? -gt 0 ]; then
echo “database $db backup error……”
fi
done
cd $BACKUP_DIR
tar jcf db_${DATE}.tar.bz2 db_${DATE}/

No Comments »

KARRIGELL

Posted in python, 2008-07-24,

Pasted from <http://karrigell.sourceforge.net/images/karrigell_text.png>

 
 

  1. Introduction 简介
    Karrigell 是一个WEB程序解决方案,它是用PYTHON所写.它提供一个简单完整的WEB SERVICE 和 数据引擎 pydblite 并可以通过PYTHON脚本很容易访问环境数据和FROM数据.
    特点:
    a. python 服务器端执行脚本
    b. 服务端引入html
    c. 认证管理
    d. SESSION 管理
    e. 本地化特性

    Karrigell 也可以执行在其它WEB SERVER中如:apache 等,所有当前流行数据库也可以被使用(mysql, sqlite等)

  2. 安装
    下载Karrigell文件,并解压到目录.执行


    Screen clipping taken: 2008/7/24, 0:27

    执行以上命令后你将得到以下信息


    Screen clipping taken: 2008/7/24, 0:28

    输入地址:http://localhost 就可以访问后台.如果你是第一次访问你将看到如下页面.


    Screen clipping taken: 2008/7/24, 0:3

No Comments »

2008/7/23

Posted in PHP, 2008-07-24,

Feed API 总结

1. Feed.publishTemplatizedAction()

问qiubo本接口的用法.

Feed 接口只发给当前用户.

其中’actor’ 和 ‘target’ 为特殊标记, 生成后会变成 自己 和 目标用户

 
 

源文档 <http://wiki.developer.manyou.com/wiki/index.php/Feed.publishTemplatizedAction>

 
 

总结关于应用通过审核后在次修改对我们影响,

并参考Facebook作出总结.

No Comments »

Understanding Opcodes

Posted in PHP, 2008-07-18,

Understanding Opcodes

A blog reader (I have readers???) recently shared his wishlist, “I’m trying to figure out how to show the opcodes like you have in your post…“. I promised that I’d throw something together, so here it is:

Slow down, wtf is an “Opcode”?

Short answer: It’s the compiled form of a PHP script, similar in principle to Java bytecode or .NET’s MSIL. For example, say you’ve got the following bit of PHP script:

<?php
echo "Hello World";
$a = 1 + 1;
echo $a;

PHP (and it’s actual compiler/executor component, the Zend Engine) are going to go through a multi-stage process:

  1. Scanning (a.k.a. Lexing) - The human readable source code is turned into tokens.
  2. Parsing - Groups of tokens are collected into simple, meaningful expressions.
  3. Compilation - Expressions are translated into instruction (opcodes)
  4. Execution - Opcode stacks are processed (one opcode at a time) to perform the scripted tasks.

Side note: Opcode caches (like APC), let the engine perform the first three of these steps, then store that compiled form so that the next time a given script is used, it can use the stored version without having to redo those steps only to come to the same result.

Er… okay… can you elaborate a little? What’s lexing? I thought superman put him in jail…

That’s Lex Luthor you nit-wit! The most expedient way to explain lexing is by example. Take a look at the manual page for token_get_all(), this gem is actually a wrapper around the Zend Engine’s own language scanner. Play around with it a bit, and you’ll notice that plugging the short script above into it will produce:

Array
(
[0] => Array
(
[0] => 367
[1] => <?php
)
[1] => Array
(
[0] => 316
[1] => echo
)
[2] => Array
(
[0] => 370
[1] =>
)
[3] => Array
(
[0] => 315
[1] => "Hello World"
)
[4] => ;
[5] => Array
(
[0] => 370
[1] =>
)
[6] => =
[7] => Array
(
[0] => 370
[1] =>
)
[8] => Array
(
[0] => 305
[1] => 1
)
[9] => Array
(
[0] => 370
[1] =>
)
[10] => +
[11] => Array
(
[0] => 370
[1] =>
)
[12] => Array
(
[0] => 305
[1] => 1
)
[13] => ;
[14] => Array
(
[0] => 370
[1] =>
)
[15] => Array
(
[0] => 316
[1] => echo
)
[16] => Array
(
[0] => 370
[1] =>
)
[17] => ;
)

In the array returned by token_get_all(), you have two types of tokens: Single character non-label characters are returned as just that. The character that was found in the source file at that point. Everything else, from labels, to language constructs, to multi-character operators (like >>, +=, etc…) are returned as an array containing two elements: The token ID (which corresponds to T_* constants — e.g. T_ECHO, T_STRING, T_VARIABLE, etc…), and the actual text which that token came from. What the engine actually gets is slightly more detailed than what you see in the output from token_get_all(), but not by much…

Okay, tokenization just breaks the script into bite-size pieces, how does parsing work then?

The first thing the parser does is throw away all whitespace (Unlike some other P* language…). From the reduces set of tokens, the engine looks for irreducible expressions. How many expressions do you see in the example above? Did you say three? WRONG There are three statements, but one of those statements is made of two distinct expressions. In the case of $a = 1 + 1; the first expression is the addition, followed by the assignment to the variable as a second, distinct expression. All together our expression list is:

  1. echo a constant string
  2. add two numbers together
  3. store the result of the prior expression to a variable
  4. echo a variable

Hey! That’s starting to sound familiar! Did I see that kind of description before?

Oh, you must mean my post about strings (plug). That’s correct, because these expressions are exactly the pieces which go into making up oplines! Given the expression list we’ve just reached, the resulting opcodes look something like:

  • ZEND_ECHO ‘Hello World’
  • ZEND_ADD ~0 1 1
  • ZEND_ASSIGN !0 ~0
  • ZEND_ECHO !0

What happened to $a? What’s the difference between ~0 and !0?

Short answer: !0 is $a
So here’s the deal…. oplines have five principle parts:

  • Opcode - Numeric identifier which distinguishes what the opline will do. This is what coresponds to ZEND_ECHO, ZEND_ADD, etc…
  • Result Node - Most opcodes perform “non-terminal” actions. That is; after executing there’s some result which can be consumed as an input to a later opline. The result node identifies what temporary location to place the result of the operation in.
  • Op1 Node - One of two inputs to the given opcode. An input may be a constant zval, a reference to a previous result node, a simple variable (CV), or in some cases a “special” data element, such as a class definition. Note that an opcode may use both, one, or neither input node. (Some even use more, see ZEND_OPDATA)
  • Op2 Node - Ditto
  • Extended Value - Simple integer value used to differentiate specific behaviors of an overloaded opcode.

So obviously the nodes are the most complicated parts of an opline, here’s the important parts of what they look like:

  • op_type - One of IS_CONST, IS_TMP_VAR, IS_VAR, IS_UNUSED, or IS_CV
  • u - A union of the following elements (the one which is used depends on the value of op_type):
    • constant (IS_CONST) - zval value. This node results which you include a literal value in your script, such as the ‘Hello World’ or 1 values in the example above.
    • var (IS_VAR or IS_TMP_VAR or IS_CV) - Integer value corresponding to a temporary slot in a lookup table used by the engine.

Now let’s look at the difference between those optypes, particularly with respect to u.var:

  • IS_TMP_VAR - These ephemeral values are strictly for use by non-assignment non-terminal expressions. They don’t support any refcounting because they’re guaranteed not to be shared by any other variable. These are denoted in the examples I use on this site (and in VLD output) as tilde characters (~)
  • IS_VAR - Usually the result of a ZEND_FETCH(_DIM|_OBJ)?_(R|W|RW), or one of the assignment opcodes (which are technically non-terminal expressions since they can be used as inputs to other expressions. Since these are tied to real variables, they have to respect reference counting and are passed about at an extra degree of indirection. They’re stored in the same table though. These are denoted by the string symbol ($)
  • IS_CV - “CV” stands for “Compiled Variables”. These are basicly cached hash lookups for fetching simple variables from the local symbol table. Once a variable is actually looked up at runtime, it’s stored at an extra level of indirection in an even faster lookup table using an index into a vector. That’s what the number in this node denotes. These types of nodes are distinguished by a bang (!)

Boggle… You…so lost me there…

Yeah, that explanation sort of got away from me didn’t it? What can I clear up?

All I really want to know is how to translate some source code into an opcode..list…thingy…

Heh, okay… first off, that “opcode list thingy” is called an op_array, and you can generate those really easily using one of two PECL packages. You can use my parsekit package, which is useful for programmatic analysis of script compilation, but frankly… it’s not what you’re looking for and there’s not much call for scripts analyzing other scripts anyway. I recommend Derick’s VLD (Vulcan Logic Disasembler) which is what’ll actually generate the kinds of opcode lists you’ll see me use in blog posts.
Once you’ve got it installed (it installs like any other PECL extension), you can run it with a command like the following:

php -d vld.active=1 -d vld.execute=0 -f yourscript.php

Then sit back and watch the opcodes fly! Important note: Using -r with command line code may not work due to a quirk of the way the engire parses files in older versions of PHP (and with older versions of VLD). Be sure to put your script on disk and reference it using -f if -r doesn’t work for you.

Holy schnikies! That’s a lot of opcodes! How can I tell what they all do?

Take a look at Zend/zend_vm_def.h in your PHP source tree. In here you’ll find a meta-definition of every single opcode used by the engine. Side note: It’s used as a source for zend_vm_gen.php which generates the actual code file zend_vm_execute.h. How’s that for chicken and egg? Every version of PHP since 5.1.0 has required PHP be already built in order to build it!

No Comments »

许多 PHP 开发人员认为，由于标准的 PHP 缺少线程功能，因此实际 PHP 应用程序不可能执行多任务处理。例如，如果应用程序需要其他 Web 站点的信息，那么在远程检索完成之前它都必须停止。这是错误的！通过本文了解如何使用 stream_select 和 stream_socket_client 实现进程内 PHP 多任务处理。

PHP 不支持线程。尽管如此，与前述大多数 PHP 开发人员所相信的想法形成对比的是，PHP 应用程序可以 执行多任务处理。让我们开始尽可能清晰地描述一下 “多任务” 和 “线程” 对于 PHP 编程的意义。

并发的种类

首先抛开几个和主题无关的例子。PHP 与多任务或并发的关系十分复杂。在较高层次上，PHP 经常涉及多任务：以多任务方式使用 标准的服务器端 PHP 安装 —— 例如，作为 Apache 模块。换句话说，若干个客户机 —— Web 浏览器 —— 可以同时请求同一个 PHP 解释的页面，而 Web 服务器将差不多同时返回所有这些页面。

一个 Web 页面不会妨碍其他 Web 页面的发送，尽管可能会由于诸如服务器内存或网络带宽之类的受限资源而使它们相互之间略有妨碍。这样，实现并发 的系统级需求可能适合使用基于 PHP 的解决方案。就实现而言，PHP 允许它的管理 Web 服务器负责实现并发。

Ajax 名下的客户端并发近几年来也已成为开发人员关注的焦点。虽然 Ajax 的含义已经变得十分模糊，但是它的一个方面是浏览器显示可以同时执行计算和 保留对诸如选择菜单项之类的用户操作的响应。这实际上就是某种 多任务。用 PHP 编码的 Ajax 就是这样 —— 但是不涉及任何特定的 PHP；用于其他语言的 Ajax 框架均以完全相同的方法操作。

只 粗略地涉及 PHP 的第三个并发实例是 PHP/TK。PHP/TK 是 PHP 的扩展，用于为核心 PHP 提供可移植图形用户界面（GUI）绑定。PHP/TK 允许用 PHP 编写代码构造桌面 GUI 应用程序。其基于事件的特性将模拟一种易于掌握并且比线程更少出错的并发形式。此外，并发是 “继承” 自一项辅助技术，而不是 PHP 的基本功能。

向 PHP 本身添加线程支持的试验已经做过多次。据我所知，没有一次是成功的。但是，Ajax 框架和 PHP/TK 的面向事件的实现表明事件可能比线程能更好地体现 PHP 的并发。PHP V5 证明事实确实如此。

PHP V5 将提供 stream_select()

使用标准的 PHP V4 和更低版本，必须按顺序执行 PHP 应用程序的所有工作。例如，如果程序需要在两个商业站点检索商品的价格，则请求第一个站点的价格，等待至响应到达，再请求第二个站点的价格，然后再次等待。

如果程序请求同时完成若干项任务会怎么样？总体来看，程序将在一段时间内完成，在这段时间内，将始终进行连续处理。

第一个示例

新的 stream_select 函数及它的几个助手使这成为可能。请考虑以下示例。
清单 1. 同时请求多个 HTTP 页面

<?php
echo "Program starts at ". date('h:i:s') . ".\n";

$timeout=10;
$result=array();
$sockets=array();
$convenient_read_block=8192;

/* Issue all requests simultaneously; there's no blocking. */
$delay=15;
$id=0;
while ($delay > 0) {
$s=stream_socket_client("phaseit.net:80", $errno,
$errstr, $timeout,
STREAM_CLIENT_ASYNC_CONNECT|STREAM_CLIENT_CONNECT);
if ($s) {
$sockets[$id++]=$s;
$http_message="GET /demonstration/delay?delay=" .
$delay . " HTTP/1.0\r\nHost: phaseit.net\r\n\r\n";
fwrite($s, $http_message);
} else {
echo "Stream " . $id . " failed to open correctly.";
}
$delay -= 3;
}

while (count($sockets)) {
$read=$sockets;
stream_select($read, $w=null, $e=null, $timeout);
if (count($read)) {
/* stream_select generally shuffles $read, so we need to
compute from which socket(s) we're reading. */
foreach ($read as $r) {
$id=array_search($r, $sockets);
$data=fread($r, $convenient_read_block);
/* A socket is readable either because it has
data to read, OR because it's at EOF. */
if (strlen($data) == 0) {
echo "Stream " . $id . " closes at " . date('h:i:s') . ".\n";
fclose($r);
unset($sockets[$id]);
} else {
$result[$id] .= $data;
}
}
} else {
/* A time-out means that *all* streams have failed
to receive a response. */
echo "Time-out!\n";
break;
}
}
?>

如果运行此清单，您将看到如下所示的输出。
清单 2. 从清单 1 中的程序获得的典型输出

Program starts at 02:38:50.
Stream 4 closes at 02:38:53.
Stream 3 closes at 02:38:56.
Stream 2 closes at 02:38:59.
Stream 1 closes at 02:39:02.
Stream 0 closes at 02:39:05.

了 解这其中的工作原理至关重要。在较高层次上，第一个程序将发出几个 HTTP 请求并接收 Web 服务器发送给它的页面。虽然生产应用程序将很可能寻找若干个 Web 服务器的地址 —— 可能是 google.com、yahoo.com、ask.com 等 —— 但是此示例将把它的所有请求发送到位于 Phaseit.net 的企业服务器上，只为降低复杂度。

Web 页面请求在延迟（可变）后返回结果，如下所示。如果程序按顺序发出请求，则需花费大约 15+12+9+6+3 (45) 秒钟才能完成。如清单 2 所示，它实际上花费 15 秒钟完成。性能提高了三倍。

使这成为可能的是 PHP V5 的新 stream_select 函数。请求都是以常规方法发起，方法为打开几个 stream_socket_client 并向对应于 http://phaseit.net/demonstration/delay?delay=$DELAY 的每个 stream_socket_client 写入 GET。如果您通过浏览器请求此 URL，则在几秒钟之后，您将看到：

Starting at Thu Apr 12 15:05:01 UTC 2007.
Stopping at Thu Apr 12 15:05:05 UTC 2007.
4 second delay.

延迟服务器将作为 CGI 实现，如下所示：
清单 3. 延迟服务器实现

#!/bin/sh

echo "Content-type: text/html

<HTML> <HEAD></HEAD> <BODY>"

echo "Starting at `date`."
RR=`echo $REQUEST_URI | sed -e 's/.*?//'`
DELAY=`echo $RR | sed -e 's/delay=//'`
sleep $DELAY
echo "<br>Stopping at `date`."
echo "<br>$DELAY second delay.</body></html>"

虽 然清单 3 的特殊实现特定于 UNIX®，但是本文中几乎所有实现都将很好地应用于 Windows®（尤其是 Windows 98 以后的版本）或 PHP 的 UNIX 安装。特别地，清单 1 可以托管在任意一个操作系统中。因此，Linux® 和 Mac OS X 都是 UNIX 变体，因此这里所有的代码都可以在两者的任意一种中运行。

按照以下顺序向延迟服务器发出请求。
清单 4. 进程启动顺序

delay=15
delay=12
delay= 9
delay= 6
delay= 3

stream_select 的作用是尽可能快速地接收结果。在这种情况下，它执行的顺序与发出结果的顺序刚好相反。3 秒后，第一个页面已经准备好读取。程序的这一部分也符合常规 PHP —— 在本例中，使用 fread。就像在其他 PHP 程序一样，读取可以很好地通过 fgets 完成。

处理将以同样的方法继续。程序将在 stream_select 停止，直至数据就绪。重要的一点是，只要任何 连接具有数据，不管顺序怎样，程序都将开始读取。这是程序进行多任务处理或并发处理来自多个请求的结果的方法。

注意，这没有对主机 CPU 造成任何负担。经常会遇到这样一些连网程序，以 CPU 使用率急速上升至 100% 的方式在 while 中使用 fread。那种情况不会出现在这里，因为 stream_select 拥有支持立即响应所需的属性（只要有任何读取信息），但是它将在各读取操作间隙的等待时间内产生可忽略的 CPU 负载。

必备的 stream_select() 知识

诸如此类的基于事件的编程并不是最基本的。虽然清单 1 被简化到只包含最基本要素，但是涉及作为多任务应用程序必要元素的回调或协调的任何编码，比简单的程序顺序更让人觉得陌生。在这种情况下，大多数挑战集中在 $read 数组上。注意，它是一个引用；stream_select 将通过改变 $read 的内容返回重要信息。就像指针是 C 的最大绊脚石一样，引用似乎是 PHP 中最让程序员感到棘手的一部分。

您 可以使用这项技术向任意个外部 Web 站点发出请求，确信您的程序会尽快收到所有结果，而无需等待其他请求。实际上，该技术将正确处理所有 TCP/IP 连接，而不只是 Web 端口 80 上的连接，因此您可以大体上管理 LDAP 检索、SMTP 传输、SOAP 请求等。

但 那不是全部。PHP V5 将管理 “流” 之类的各种连接，而不仅是简单的套接字。PHP 的 Client URL library (CURL) 支持 HTTPS 证书、FTP 上传、cookie 等。（CURL 允许 PHP 应用程序使用各种协议连接至服务器）。由于 CURL 将提供流接口，因此从程序的角度来看，连接是透明的。下一个部分将展示 stream_select 如何多路传输本地计算。

对于 stream_select 还有几点需要注意。它还在进行文档整理，因为即使最新的 PHP 书籍都没有涉列它。可在 Web 上获得的几个代码示例完全不能工作或者让人产生混淆。stream_select 的第二个和第三个参数用于管理与清单 1 的 read 通道相对应的 write 和 exception 通道，应当始终为 null。除了少数例外情况，在可写通道或异常通道中选择这两个参数是错误的。除非您有经验，否则请坚持可读选择。

此外，至少在 PHP V5.1.2 之前，stream_select 还明显存在错误。最重要的是，不能信任函数的返回值。虽然我尚未调试过实现，但是经验告诉我，可以安全地测试清单 1 中的 count($read)，但是测试 stream_select 本身的返回值并不 安全（尽管有官方文档）。

本地 PHP 并发

示例及上面的大部分讨论主要讨论了如何同时管理若干个远程资源并接收到达的结果，而不是按照最初请求的顺序等待处理各个请求。这肯定是 PHP 并发的重要应用。实际应用程序的速度有时候可以提高 10 倍或更多。

如果出现性能衰退怎么办？有没有一种方法可以提升受限于本地处理的 PHP 结果的速度？方法有多种。要说有什么不同的话，这些方法不如清单 1 中的面向套接字的方法有名。造成这种情况的原因有很多，包括：

  • 大多数 PHP 页面已经足够快 —— 更好的性能会是一种优势，但是还不值得对新代码进行投入。
  • 在 Web 页面中使用 PHP 可以放弃部分无关紧要的性能提升 —— 当惟一的价值标准是交付整个 Web 页面需要的时间时，那么重新安排计算以更快地获得中间结果并不重要。
  • PHP 不能控制本地瓶颈 —— 用户可能会为花 8 秒的时间提取帐户记录的详细信息而抱怨，但是那很可能是数据库处理或某种其他 PHP 外部资源的约束。即使将 PHP 处理降至零，单是查找就仍需要花费超过 7 秒的时间。
  • 甚至很少有约束是并行的 —— 假定某特定页面将为具体列出的普通股计算建议交易价格，并且计算十分复杂，需要花费一段时间。计算在本质上可能是顺序执行的。没有一种明显的方法可以将其划分为 “团队协作”。
  • 很少有 PHP 程序员能够认识到 PHP 实现并发的潜力。在具有使用并行实现性能需求的少数人当中，我遇到的大多数人全都说 PHP “不支持线程”，并且甘于使用现有的计算模型。

可是，有时我们可以做得更好。假定 PHP 页面需要计算两只股票价格，可能还需要将两者相比较，并且底层主机刚好是多处理器。在这种情况下，通过将两个截然不同并且十分耗时的计算分配给不同处理器，可能会提高几乎两倍的性能。

在所有 PHP 计算领域中，此类实例很少见。但是，由于我发现到处都没有对它的精确记录，因此需要在这里包括用于此类加速的模型。
清单 5. 延迟服务器实现

<?php
echo "Program starts at ". date('h:i:s') . ".\n";

$timeout=10;
$streams=array();
$handles=array();

/* First launch a program with a delay of three seconds, then
one which returns after only one second. */
$delay=3;
for ($id=0; $id <= 1; $id++) {
$error_log="/tmp/error" . $id . ".txt"
$descriptorspec=array(
0 => array("pipe", "r"),
1 => array("pipe", "w"),
2 => array("file", $error_log, "w")
);
$cmd='sleep ' . $delay . '; echo "Finished with delay of ' .
$delay . '".';
$handles[$id]=proc_open($cmd, $descriptorspec, $pipes);
$streams[$id]=$pipes[1];
$all_pipes[$id]=$pipes;
$delay -= 2;
}

while (count($streams)) {
$read=$streams;
stream_select($read, $w=null, $e=null, $timeout);
foreach ($read as $r) {
$id=array_search($r, $strea**ms);
echo stream_get_contents($all_pipes[$id][1]);
if (feof($r)) {
fclose($all_pipes[$id][0]);
fclose($all_pipes[$id][1]);
$returnvalue=proc_close($handles[$id]);
unset($streams[$id]);
}
}
}
?>

此程序将生成如下输出：

Program starts at 10:28:41.
Finished with delay of 1.
Finished with delay of 3.

这 里的关键在于 PHP 启动了两个独立子进程，取回待完成的第一个进程的输出，然后取回第二个进程的输出，即使后者启动得较早。如果主机是多处理器计算机，并且操作系统已正确配 置，则操作系统本身负责将各个子程序分配给不同的处理器。这是在多处理器主机中良好应用 PHP 的一种方法。

No Comments »

HTTP请求模型

Posted in PHP, 2008-07-15,

HTTP请求模型

一、连接至Web服务器
一个客户端应用（如Web浏览器）打开到Web服务器的HTTP端口的一个套接字（缺省为80）。

已yahoo为例
可以用php提供的socket去操作
$sDomain = ‘www.yahoo.com.cn’;
$iPort   = 80;
1、用socket函数连接 (没做测试)
$rSocket = socket_create(AF_INET,SOCK_STREAM,SOL_TCP); //tcp link
if (!$rSocket) {
printf(’错误: %s’,socket_strerror(socket_last_error()));
exit;
}
$rLink   = socket_connect($rSocket,$sDomain,$iPort);
if (!$rLink) {
printf(’错误: %s’,socket_strerror(socket_last_error()));
exit;
}
$sRequest = ‘GET / HTTP1.0′.”\r\n\r\n”; //\r\n <CRLF>
$bWrite = socket_write($rSocket,);
if (!$bWrite) {
printf(’不能写入，%s’,socket_strerror(socket_last_error()));
exit;
}
$sContent = socket_read($rSocket,32767);
if (!sContent) {
printf(’不能读取数据,%s’,socket_strerror(socket_last_error()));
exit;
}
echo $sContent;
socket_close($rSocket); //详细说明看下面的RFC

2、使用函数fsockopen

$domain = ‘www.yahoo.com.cn’;
$port   = 80;
$time_limit = 30;
ini_set(’max_execution_time’,(ini_get(’max_execution_time’)>$time_limit)?ini_get(’max_execution_time’):$time_limit);
ini_set(’error_reporting’,E_ALL);
$fp = fsockopen($domain,$port,$errno,$error,$time_limit);
if (!$fp)
{
printf(’failed: %s ‘,$error);
exit(’<font color=”red”>end</font>’);
}
$cur = ‘GET / HTTP/1.0′.”\r\n\r\n”; //GET POST TRACE OPTIONS HEAD
fwrite($fp,$cur);
$content = ”;
while (!feof($fp))
{
$content .= fgets($fp); // 默认1000
}
fclose($fp);
echo $content

二、发送HTTP请求
通过连接，客户端写一个ASCII文本请求行，后跟0或多个HTTP头标，一个空行和实现请求的任意数据。

一个请求由四个部分组成：请求行、请求头标、空行和请求数据

1.请求行：请求行由三个标记组成：请求方法、请求URI和HTTP版本，它们用空格分隔。
例如：GET /index.html HTTP/1.1

HTTP规范定义了8种可能的请求方法：
GET              检索URI中标识资源的一个简单请求
HEAD            与GET方法相同，服务器只返回状态行和头标，并不返回请求文档
POST            服务器接受被写入客户端输出流中的数据的请求
PUT                 服务器保存请求数据作为指定URI新内容的请求
DELETE            服务器删除URI中命名的资源的请求
OPTIONS          关于服务器支持的请求方法信息的请求
TRACE             Web服务器反馈Http请求和其头标的请求
CONNECT        已文档化但当前未实现的一个方法，预留做隧道处理

2.请求头标：由关键字/值对组成，每行一对，关键字和值用冒号（:）分隔。
请求头标通知服务器有关于客户端的功能和标识，典型的请求头标有：
User-Agent        客户端厂家和版本
Accept            客户端可识别的内容类型列表
Content-Length    附加到请求的数据字节数

3.空行：最后一个请求头标之后是一个空行，发送回车符和退行，通知服务器以下不再有头标。
4.请求数据：使用POST传送数据，最常使用的是Content-Type和Content-Length头标。
三、服务端接受请求并返回HTTP响应
Web服务器解析请求，定位指定资源。服务器将资源副本写至套接字，在此处由客户端读取。

一个响应由四个部分组成；状态行、响应头标、空行、响应数据

1.状态行：状态行由三个标记组成：HTTP版本、响应代码和响应描述。
HTTP版本：向客户端指明其可理解的最高版本。
响应代码：3位的数字代码，指出请求的成功或失败，如果失败则指出原因。
响应描述：为响应代码的可读性解释。
例如：HTTP/1.1 200 OK

HTTP响应码：
1xx：信息，请求收到，继续处理
2xx：成功，行为被成功地接受、理解和采纳
3xx：重定向，为了完成请求，必须进一步执行的动作
4xx：客户端错误：
2.响应头标：像请求头标一样，它们指出服务器的功能，标识出响应数据的细节。
3.空行：最后一个响应头标之后是一个空行，发送回车符和退行，表明服务器以下不再有头标。
4.响应数据：HTML文档和图像等，也就是HTML本身。

四、服务器关闭连接，浏览器解析响应
1.浏览器首先解析状态行，查看表明请求是否成功的状态代码。
2.然后解析每一个响应头标，头标告知以下为若干字节的HTML。
3.读取响应数据HTML，根据HTML的语法和语义对其进行格式化，并在浏览器窗口中显示它。
4.一个HTML文档可能包含其它需要被载入的资源引用，浏览器识别这些引用，对其它的资源再进行额外的请求，此过程循环多次。

五、无状态连接
HTTP模型是无状态的，表明在处理一个请求时，Web服务器并不记住来自同一客户端的请求。

六、实例
1.浏览器发出请求
GET /index.html HTTP/1.1

服务器返回响应:
HTTP /1.1 200 OK
Date: Apr 11 2006 15:32:08 GMT
Server: Apache/2.0.46(win32)
Content-Length: 119
Content-Type: text/html

<HTML>
<HEAD>
<LINK REL=”stylesheet” HREF=”index.css”>
</HEAD>
<BODY>
<IMG SRC=”image/logo.png”>
</BODY>
</HTML>

2.浏览器发出请求
GET /index.css HTTP/1.1

服务器返回响应:
HTTP /1.1 200 OK
Date: Apr 11 2006 15:32:08 GMT
Server: Apache/2.0.46(win32)
Connection: Keep-alive, close
Content-Length: 70
Content-Type: text/plane

h3{
font-size:20px;
font-weight:bold;
color:#005A9C;
}

3.浏览器发出请求
GET image/logo.png HTTP/1.1

服务器返回响应:
HTTP /1.1 200 OK
Date: Apr 11 2006 15:32:08 GMT
Server: Apache/2.0.46(win32)
Connection: Keep-alive, close
Content-Length: 1280
Content-Type: text/plane

{Binary image data follows}

（附录）
1.HTTP规范：Internet工程制定组织（IETF）发布的RFC指定Internet标准，这些RFC被Internet研究发展机构广泛接受。因为它们是标准文档，故一般用正规语言编写，如立法文标一样。

2.RFC：RFC一旦被提出，就被编号且不会再改变，当一个标准被修改时，则给出一个新的RFC。作为标准，RFC在Internet上被广泛采用。

3.HTTP的几个重要RFC：
RFC1945    HTTP 1.0 描述
RFC2068    HTTP 1.1 初步描述
RFC2616    HTTP 1.1 标准
4.资源标识符URI（Uniform Resource Identifter，URI）

HTTP参考

一、HTTP码应码
响应码由三位十进制数字组成，它们出现在由HTTP服务器发送的响应的第一行。

响应码分五种类型，由它们的第一位数字表示：
1.1xx：信息，请求收到，继续处理
2.2xx：成功，行为被成功地接受、理解和采纳
3.3xx：重定向，为了完成请求，必须进一步执行的动作
4.4xx：客户端错误，请求包含语法错误或者请求无法实现
5.5xx：服务器错误，服务器不能实现一种明显无效的请求

下表显示每个响应码及其含义：
100            继续
101            分组交换协
200            OK
201            被创建
202            被采纳
203            非授权信息
204            无内容
205            重置内容
206            部分内容
300            多选项
301            永久地传送
302            找到
303            参见其他
304            未改动
305            使用代理
307            暂时重定向
400            错误请求
401            未授权
402            要求付费
403            禁止
404            未找到
405            不允许的方法
406            不被采纳
407            要求代理授权
408            请求超时
409            冲突
410            过期的
411            要求的长度
412            前提不成立
413            请求实例太大
414            请求URI太大
415            不支持的媒体类型
416            无法满足的请求范围
417            失败的预期
500            内部服务器错误
501            未被使用
502            网关错误
503            不可用的服务
504            网关超时
505            HTTP版本未被支持

二、HTTP头标
头标由主键/值对组成。它们描述客户端或者服务器的属性、被传输的资源以及应该实现连接。

四种不同类型的头标：
1.通用头标：即可用于请求，也可用于响应，是作为一个整体而不是特定资源与事务相关联。
2.请求头标：允许客户端传递关于自身的信息和希望的响应形式。
3.响应头标：服务器和于传递自身信息的响应。
4.实体头标：定义被传送资源的信息。即可用于请求，也可用于响应。

头标格式：<name>:<value><CRLF>

下表描述在HTTP/1.1中用到的头标
Accept       定义客户端可以处理的媒体类型，按优先级排序；
在一个以逗号为分隔的列表中，可以定义多种类型和使用通配符。例如：Accept: image/jpeg,image/png,*/*
Accept-Charset
定义客户端可以处理的字符集，按优先级排序；
在一个以逗号为分隔的列表中，可以定义多种类型和使用通配符。例如：Accept-Charset: iso-8859-1,*,utf-8

Accept-Encoding        定义客户端可以理解的编码机制。例如：Accept-Encoding:gzip,compress
Accept-Language       定义客户端乐于接受的自然语言列表。例如：Accept-Language: en,de

Accept-Ranges
一个响应头标，它允许服务器指明：将在给定的偏移和长度处，为资源组成部分的接受请求。
该头标的值被理解为请求范围的度量单位。例如Accept-Ranges: bytes或Accept-Ranges: nonea

Age       允许服务器规定自服务器生成该响应以来所经过的时间长度，以秒为单位。
该头标主要用于缓存响应。例如：Age: 30

Allow            一个响应头标，它定义一个由位于请求URI中的次源所支持的HTTP方法列表。例如：Allow: GET,PUT

aUTHORIZATION
一个响应头标，用于定义访问一种资源所必需的授权（域和被编码的用户ID与口令）。
例如：Authorization: Basic YXV0aG9yOnBoaWw=

Cache-Control        一个用于定义缓存指令的通用头标。例如：Cache-Control: max-age=30
Connection           一个用于表明是否保存socket连接为开放的通用头标。例如：Connection: close或Connection: keep-alive

Content-Base
一种定义基本URI的实体头标，为了在实体范围内解析相对URLs。
如果没有定义Content-Base头标解析相对URLs，使用Content-Location URI（存在且绝对）或使用URI请求。
例如：Content-Base: Http://www.myweb.com

Content-Encoding    一种介质类型修饰符，标明一个实体是如何编码的。例如：Content-Encoding: zip
Content-Language    用于指定在输入流中数据的自然语言类型。例如：Content-Language: en
Content-Length        指定包含于请求或响应中数据的字节长度。例如：Content-Length:382

Content-Location
指定包含于请求或响应中的资源定位（URI）。
如果是一绝。对URL它也作为被解析实体的相对URL的出发点。
例如：Content-Location: http://www.myweb.com/news

Content-MD5
实体的一种MD5摘要，用作校验和。
发送方和接受方都计算MD5摘要，接受方将其计算的值与此头标中传递的值进行比较。
例如：Content-MD5: <base64 of 128 MD5 digest>

Content-Range
随部分实体一同发送；标明被插入字节的低位与高位字节偏移，也标明此实体的总长度。
例如：Content-Range: 1001-2000/5000

Contern-Type        标明发送或者接收的实体的MIME类型。例如：Content-Type: text/html
Date                    发送HTTP消息的日期。例如：Date: Mon,10PR 18:42:51 GMT

ETag      一种实体头标，它向被发送的资源分派一个唯一的标识符。
对于可以使用多种URL请求的资源，ETag可以用于确定实际被发送的资源是否为同一资源。
例如：ETag: “208f-419e-30f8dc99″

Expires          指定实体的有效期。例如：Expires: Mon,05 Dec 2008 12:00:00 GMT
Form            一种请求头标，给定控制用户代理的人工用户的电子邮件地址。例如：From: webmaster@myweb.com
Host            被请求资源的主机名。对于使用HTTP/1.1的请求而言，此域是强制性的。例如：Host: www.myweb.com

If-Modified-Since
如果包含了GET请求，导致该请求条件性地依赖于资源上次修改日期。
如果出现了此头标，并且自指定日期以来，此资源已被修改，应该反回一个304响应代码。
例如：If-Modified-Since: Mon,10PR 18:42:51 GMT

If-Match            如果包含于一个请求，指定一个或者多个实体标记。只发送其ETag与列表中标记区配的资源。
例如：If-Match: “208f-419e-308dc99″

If-None-Match
如果包含一个请求，指定一个或者多个实体标记。资源的ETag不与列表中的任何一个条件匹配，操作才执行。
例如：If-None-Match: “208f-419e-308dc99″

If-Range
指定资源的一个实体标记，客户端已经拥有此资源的一个拷贝。必须与Range头标一同使用。
如果此实体自上次被客户端检索以来，还不曾修改过，那么服务器只发送指定的范围，否则它将发送整个资源。
例如：Range: byte=0-499<CRLF>If-Range:”208f-419e-30f8dc99″

If-Unmodified-Since
只有自指定的日期以来，被请求的实体还不曾被修改过，才会返回此实体。
例如：If-Unmodified-Since:Mon,10PR 18:42:51 GMT

Last-Modified        指定被请求资源上次被修改的日期和时间。例如：Last-Modified: Mon,10PR 18:42:51 GMT
Location
对于一个已经移动的资源，用于重定向请求者至另一个位置。
与状态编码302（暂时移动）或者301（永久性移动）配合使用。
例如：Location: http://www2.myweb.com/index.jsp

Max-Forwards
一个用于TRACE方法的请求头标，以指定代理或网关的最大数目，该请求通过网关才得以路由。
在通过请求传递之前，代理或网关应该减少此数目。例如：Max-Forwards: 3

Pragma            一个通用头标，它发送实现相关的信息。例如：Pragma: no-cache
Proxy-Authenticate
类似于WWW-Authenticate，便是有意请求只来自请求链（代理）的下一个服务器的认证。
例如：Proxy-Authenticate: Basic realm-admin

Proxy-Proxy-Authorization
类似于授权，但并非有意传递任何比在即时服务器链中更进一步的内容。
例如：Proxy-Proxy-Authorization: Basic YXV0aG9yOnBoaWw=

Public            列表显示服务器所支持的方法集。例如：Public: OPTIONS,MGET,MHEAD,GET,HEAD
Range            指定一种度量单位和一个部分被请求资源的偏移范围。例如：Range: bytes=206-5513

Refener
一种请求头标域，标明产生请求的初始资源。对于HTML表单，它包含此表单的Web页面的地址。
例如：Refener: http://www.myweb.com/news/search.html

Retry-After
一种响应头标域，由服务器与状态编码503（无法提供服务）配合发送，以标明再次请求之前应该等待多长时间。
此时间即可以是一种日期，也可以是一种秒单位。例如：Retry-After: 18

Server                     一种标明Web服务器软件及其版本号的头标。例如：Server: Apache/2.0.46(Win32)
Transfer-Encoding     一种通用头标，标明对应被接受方反向的消息体实施变换的类型。例如：Transfer-Encoding: chunked

Upgrade
允许服务器指定一种新的协议或者新的协议版本，与响应编码101（切换协议）配合使用。
例如：Upgrade: HTTP/2.0

User-Agent
定义用于产生请求的软件类型（典型的如Web浏览器）。
例如：User-Agent: Mozilla/4.0(compatible; MSIE 5.5; Windows NT; DigExt)

Vary          一个响应头标，用于表示使用服务器驱动的协商从可用的响应表示中选择响应实体。例如：Vary: *
Via            一个包含所有中间主机和协议的通用头标，用于满足请求。例如：Via: 1.0 fred.com, 1.1 wilma.com
Warning    用于提供关于响应状态补充信息的响应头标。例如：Warning: 99 www.myweb.com Piano needs tuning

www-Authenticate
一个提示用户代理提供用户名和口令的响应头标，与状态编码401（未授权）配合使用。响应一个授权头标。
例如：www-Authenticate: Basic realm=zxm.mgmt
本文主要讲解了HTTP.其实我的个人目的是说明socket.只要网络操作都是用socket实现的。
如whois查询(43) ftp上传下载(21) ssh(22)连接(未操作过应该可以的) smtp(25)发送邮件(要求认证操作的用ehlo不用helo)
pop3(110)
下面是收邮件的例子
$popServer = ‘pop.mail.yahoo.com.cn’;
$iPort     = 110;
$rHandle   = fsockopen($popServer,$iPort);
if (!$rHandle) {
echo ‘不能连接’;
exit;
}
$sWriteUser = ‘USER ‘.你的用户名.”\r\n”;
$bWriteUser = fwrite($rHandle,$sWriteUser);
$sReadUser  = fgets($rHandle,1000);
if (!eregi(”OK”,$sReadUser)) {
echo ‘没有返回信息’;
exit;
}
$sWritePass = ‘Pass ‘.你的密码.”\r\n”;
$bWritePass = fwrite($rHandle,$sWritePass);
$sReadPass  = fgets($rHandle,1000);
if (!eregi(”OK”,sReadPass)) {
echo ‘没有返回信息’;
exit;
}
$sWriteList = ‘list’.”\r\n”;
$bWriteList = fwrite($rHandle,$bWriteList);
$sReadList  = fgets($rHandle,32767);
echo $sReadList; //用户信件列表
fclose($rHandle); 程序没有调试，只是说明一个意思，具体命令可以查看RFC

No Comments »

Older Entries »