nodejs服务器在请求响应中异步写入的内容，怎么在nodejs中抓取

*** 作方法如下：
var >服务器优化技术主要有分布式缓存、异步 *** 作、使用集群以及代码。
网站性能优化第一定律：优先考虑使用缓存优化性能。
缓存原理
（1）什么是缓存？（将数据存储在相对较高访问速度的介质中，以供系统处理）
（2）缓存的优点：访问速度快，如果需要计算可以减少计算时间
（3）缓存的本质是一张以键值对存储的内存hash表
（4）主要用来存储：读写比例高，很少变化的数据
（5）网站的访问遵循28定律
合理使用缓存应该注意以下问题
（1）频繁更新的数据（数据还没有读就已经失效，一般要求读写比在2:1以上才有意义）
（2）没有热点数据（无疑浪费资源）
（3）数据不一致与脏读（缓存被加载的过程中可能会产生数据不一致，有效时间过程数据在内存中就会变成脏数据）
（4）缓存的可用性（如果太过依赖缓存，容易产生雪崩。使用缓存热备并不能提高缓存的可用性，使用集群可以提高可用性）
（5）缓存预热（LRU计算时间过长，有的数据需要提前加载）
（6）缓存穿透（解决部分数据无法命中，而加重数据库压力的问题，一般设置空值）分布式缓存架构
（1）JBoss Cache：数据相同
（2）Memcached：数据不同互不通信
（3）Memcached5大优点：协议简单、通用性强（支持各种语言）、Libevent网络通信、内存管理高效、互不通信。

UDP服务器：

using System;
using SystemText;
using SystemNet;
using SystemNetSockets;
namespace ConsoleUdpServer
{
    class Program
    {
        static void Main(string[] args)
        {
            Socket socket = new Socket(AddressFamilyInterNetwork,
                SocketTypeDgram,
                ProtocolTypeUdp);
            EndPoint localEP = new IPEndPoint(IPAddressParse("127001"), 8002);
            socketBind(localEP);
            //启动异步接收
            State state = new State(socket);
            socketBeginReceiveFrom(
                stateBuffer, 0, stateBufferLength,
                SocketFlagsNone,
                ref stateRemoteEP,
                EndReceiveFromCallback,
                state);
            ConsoleReadLine();
            socketClose();
        }
        //异步接收回调函数
        static void EndReceiveFromCallback(IAsyncResult iar)
        {
            State state = iarAsyncState as State;
            Socket socket = stateSocket;
            try
            {
                //完成接收
                int byteRead = socketEndReceiveFrom(iar, ref stateRemoteEP);
                //显示客户端地址和端口
                ConsoleWriteLine("客户端终结点：{0}", stateRemoteEPToString());
                //显示接收信息
                ConsoleWriteLine("接收数据字节数：{0}", byteRead);
                string message = EncodingDefaultGetString(stateBuffer, 0, byteRead);
                ConsoleWriteLine("来着客户端信息：{0}", message);
                //向客户端发送信息
                SendMeaage(socket, stateRemoteEP, "成功接收！");
            }
            catch (Exception e)
            {
                ConsoleWriteLine("发生异常！异常信息：");
                ConsoleWriteLine(eMessage);
            }
            finally
            {
                //非常重要：继续异步接收
                socketBeginReceiveFrom(
                    stateBuffer, 0, stateBufferLength,
                    SocketFlagsNone,
                    ref stateRemoteEP,
                    EndReceiveFromCallback,
                    state);
            }
        }
        /// <summary>
        /// 向客户端发送信息
        /// </summary>
        /// <param name="socket">本地Socket（服务器Socket）</param>
        /// <param name="remoteEndPoint">客户端终结点</param>
        /// <param name="Message">信息</param>
        static void SendMeaage(Socket socket, EndPoint remoteEndPoint, string Message)
        {
            byte[] bytes = EncodingDefaultGetBytes(Message);
            socketSendTo(bytes, remoteEndPoint);
        }
    }
    /// <summary>
    /// 用于异步接收处理的辅助类
    /// </summary>
    class State
    {
        public State(Socket socket)
        {
            thisBuffer = new byte[1024];
            thisSocket = socket;
            thisRemoteEP = new IPEndPoint(IPAddressAny, 0);
        }
        /// <summary>
        /// 获取本机（服务器）Socket
        /// </summary>
        public Socket Socket { get; private set; }
        /// <summary>
        /// 获取接收缓冲区
        /// </summary>
        public byte[] Buffer { get; private set; }
        /// <summary>
        /// 获取/设置客户端终结点
        /// </summary>
        public EndPoint RemoteEP;
    }
}

UDP客户端

using System;
using SystemText;
using SystemNet;
using SystemNetSockets;
namespace ConsoleUdpClient
{
    class Program
    {
        static void Main(string[] args)
        {
            Socket socket = new Socket(AddressFamilyInterNetwork,
                SocketTypeDgram,
                ProtocolTypeUdp);
            //客户端使用的终结点
            EndPoint localEP = new IPEndPoint(IPAddressAny, 0);
            socketBind(localEP);
            //启动异步接收
            State state = new State(socket);
            socketBeginReceiveFrom(
                stateBuffer, 0, stateBufferLength,
                SocketFlagsNone,
                ref stateRemoteEP,
                EndReceiveFromCallback,
                state);
            //向服务器发送信息
            EndPoint remoteEP = new IPEndPoint(IPAddressParse("127001"), 8002);
            SendMeaage(socket, remoteEP, "你好，这里是客户端，收到请回复！Over~~~~");
            ConsoleReadLine();
            socketClose();
        }
        //异步接收回调函数
        static void EndReceiveFromCallback(IAsyncResult iar)
        {
            State state = iarAsyncState as State;
            Socket socket = stateSocket;
            try
            {
                //完成接收
                int byteRead = socketEndReceiveFrom(iar, ref stateRemoteEP);
                //显示服务器地址和端口
                ConsoleWriteLine("服务器终结点：{0}", stateRemoteEPToString());
                //显示接收信息
                ConsoleWriteLine("接收数据字节数：{0}", byteRead);
                string message = EncodingDefaultGetString(stateBuffer, 0, byteRead);
                ConsoleWriteLine("来着服务器的信息：{0}", message);
            }
            catch (Exception e)
            {
                ConsoleWriteLine("发生异常！异常信息：");
                ConsoleWriteLine(eMessage);
            }
            finally
            {
                //非常重要：继续异步接收
                socketBeginReceiveFrom(
                    stateBuffer, 0, stateBufferLength,
                    SocketFlagsNone,
                    ref stateRemoteEP,
                    EndReceiveFromCallback,
                    state);
            }
        }
        /// <summary>
        /// 向服务器发送信息
        /// </summary>
        /// <param name="socket">本地Socket</param>
        /// <param name="remoteEndPoint">服务器终结点</param>
        /// <param name="Message">信息</param>
        static void SendMeaage(Socket socket, EndPoint remoteEndPoint, string Message)
        {
            byte[] bytes = EncodingDefaultGetBytes(Message);
            socketSendTo(bytes, remoteEndPoint);
        }
    }
    /// <summary>
    /// 用于异步接收处理的辅助类
    /// </summary>
    class State
    {
        public State(Socket socket)
        {
            thisBuffer = new byte[1024];
            thisSocket = socket;
            thisRemoteEP = new IPEndPoint(IPAddressAny, 0);
        }
        /// <summary>
        /// 获取本机Socket
        /// </summary>
        public Socket Socket { get; private set; }
        /// <summary>
        /// 获取接收缓冲区
        /// </summary>
        public byte[] Buffer { get; private set; }
        /// <summary>
        /// 获取/设置客户端终结点
        /// </summary>
        public EndPoint RemoteEP;
    }
}

Aspnet的异步处理目的就是要搞高服务器的接受请求的处理能力，但有一点不明白使用异步处理时，在BeginProcessRequest时，会将处理当前请求的线程放回到线程池中。放回到线程池中的此线程继续接受新的请求，但是在StartAsyncWork这个时候，同样会从当前线程池中获取一个线程继续处理这个IO，这样并不能提高服务器的吞吐量，相反会在线程间切换浪费CPU时间和资源，Aspnet异步处理就没有意义了（其实是有意义的）。

基于C#的socket编程的TCP异步实现
一、摘要
本篇博文阐述基于TCP通信协议的异步实现。
二、实验平台
Visual Studio 2010
三、异步通信实现原理及常用方法
31 建立连接　
在同步模式中，在服务器上使用Accept方法接入连接请求，而在客户端则使用Connect方法来连接服务器。相对地，在异步模式下，服务器可以使用BeginAccept方法和EndAccept方法来完成连接到客户端的任务，在客户端则通过BeginConnect方法和EndConnect方法来实现与服务器的连接。
BeginAccept在异步方式下传入的连接尝试，它允许其他动作而不必等待连接建立才继续执行后面程序。在调用BeginAccept之前，必须使用Listen方法来侦听是否有连接请求，BeginAccept的函数原型为：
BeginAccept(AsyncCallback AsyncCallback, Ojbect state)
参数：
AsyncCallBack：代表回调函数
state：表示状态信息，必须保证state中包含socket的句柄
使用BeginAccept的基本流程是：
(1)创建本地终节点，并新建套接字与本地终节点进行绑定；
(2)在端口上侦听是否有新的连接请求；
(3)请求开始接入新的连接，传入Socket的实例或者StateOjbect的实例。
参考代码：
复制代码
//定义IP地址
IPAddress local = IPAddressParse("1270,0,1");
IPEndPoint iep = new IPEndPoint(local,13000);
//创建服务器的socket对象
Socket server = new Socket(AddressFamilyInterNetwork,SocketTypeStream,ProtocolTypeTcp);
serverBind(iep);
serverListen(20);
serverBeginAccecpt(new AsyncCallback(Accept),server);
复制代码
当BeginAccept()方法调用结束后，一旦新的连接发生，将调用回调函数，而该回调函数必须包括用来结束接入连接 *** 作的EndAccept()方法。
该方法参数列表为 Socket EndAccept(IAsyncResult iar)
下面为回调函数的实例：
复制代码
void Accept(IAsyncResult iar)
{
//还原传入的原始套接字
Socket MyServer = (Socket)iarAsyncState;
//在原始套接字上调用EndAccept方法，返回新的套接字
Socket service = MyServerEndAccept(iar);
}
复制代码
至此，服务器端已经准备好了。客户端应通过BeginConnect方法和EndConnect来远程连接主机。在调用BeginConnect方法时必须注册相应的回调函数并且至少传递一个Socket的实例给state参数，以保证EndConnect方法中能使用原始的套接字。下面是一段是BeginConnect的调用：
Socket socket=new Socket(AddressFamilyInterNetwork,SocketTypeStream,ProtocolTypeTcp)
IPAddress ip=IPAddressParse("127001");
IPEndPoint iep=new IPEndPoint(ip,13000);
socketBeginConnect(iep, new AsyncCallback(Connect),socket);
EndConnect是一种阻塞方法，用于完成BeginConnect方法的异步连接诶远程主机的请求。在注册了回调函数后必须接收BeginConnect方法返回的IASynccReuslt作为参数。下面为代码演示：
复制代码
void Connect(IAsyncResult iar)
{
Socket client=(Socket)iarAsyncState;
try
{
clientEndConnect(iar);
}
catch (Exception e)
{
ConsoleWriteLine(eToString());
}
finally
{
}
}
复制代码
除了采用上述方法建立连接之后，也可以采用TcpListener类里面的方法进行连接建立。下面是服务器端对关于TcpListener类使用BeginAccetpTcpClient方法处理一个传入的连接尝试。以下是使用BeginAccetpTcpClient方法和EndAccetpTcpClient方法的代码：
复制代码
public static void DoBeginAccept(TcpListener listner)
{
//开始从客户端监听连接
ConsoleWriteLine("Waitting for a connection");
//接收连接
//开始准备接入新的连接，一旦有新连接尝试则调用回调函数DoAcceptTcpCliet
listnerBeginAcceptTcpClient(new AsyncCallback(DoAcceptTcpCliet), listner);
}
//处理客户端的连接
public static void DoAcceptTcpCliet(IAsyncResult iar)
{
//还原原始的TcpListner对象
TcpListener listener = (TcpListener)iarAsyncState;
//完成连接的动作，并返回新的TcpClient
TcpClient client = listenerEndAcceptTcpClient(iar);
ConsoleWriteLine("连接成功");
}
复制代码
代码的处理逻辑为：
(1)调用BeginAccetpTcpClient方法开开始连接新的连接，当连接视图发生时，回调函数被调用以完成连接 *** 作；
(2)上面DoAcceptTcpCliet方法通过AsyncState属性获得由BeginAcceptTcpClient传入的listner实例；
(3)在得到listener对象后，用它调用EndAcceptTcpClient方法，该方法返回新的包含客户端信息的TcpClient。
BeginConnect方法和EndConnect方法可用于客户端尝试建立与服务端的连接，这里和第一种方法并无区别。下面看实例：
复制代码
public void doBeginConnect(IAsyncResult iar)
{
Socket client=(Socket)iarAsyncState;
//开始与远程主机进行连接
clientBeginConnect(serverIP[0],13000,requestCallBack,client);
ConsoleWriteLine("开始与服务器进行连接");
}
private void requestCallBack(IAsyncResult iar)
{
try
{
//还原原始的TcpClient对象
TcpClient client=(TcpClient)iarAsyncState;
//
clientEndConnect(iar);
ConsoleWriteLine("与服务器{0}连接成功",clientClientRemoteEndPoint);
}
catch(Exception e)
{
ConsoleWriteLine(eToString());
}
finally
{
}
}
复制代码
以上是建立连接的两种方法。可根据需要选择使用。
32 发送与接受数据
在建立了套接字的连接后，就可以服务器端和客户端之间进行数据通信了。异步套接字用BeginSend和EndSend方法来负责数据的发送。注意在调用BeginSend方法前要确保双方都已经建立连接，否则会出异常。下面演示代码：
复制代码
private static void Send(Socket handler, String data)
{
// Convert the string data to byte data using ASCII encoding
byte[] byteData = EncodingASCIIGetBytes(data);
// Begin sending the data to the remote device
handlerBeginSend(byteData, 0, byteDataLength, 0, new AsyncCallback(SendCallback), handler);
}
private static void SendCallback(IAsyncResult ar)
{
try
{
// Retrieve the socket from the state object
Socket handler = (Socket)arAsyncState;
// Complete sending the data to the remote device
int bytesSent = handlerEndSend(ar);
ConsoleWriteLine("Sent {0} bytes to client", bytesSent);
handlerShutdown(SocketShutdownBoth);
handlerClose();
}
catch (Exception e)
{
ConsoleWriteLine(eToString());
}
}
复制代码
接收数据是通过BeginReceive和EndReceive方法：
复制代码
private static void Receive(Socket client)
{
try
{
// Create the state object
StateObject state = new StateObject();
stateworkSocket = client;
// Begin receiving the data from the remote device
clientBeginReceive(statebuffer, 0, StateObjectBufferSize, 0, new AsyncCallback(ReceiveCallback), state);
}
catch (Exception e)
{
ConsoleWriteLine(eToString());
}
}
private static void ReceiveCallback(IAsyncResult ar)
{
try
{
// Retrieve the state object and the client socket
// from the asynchronous state object
StateObject state = (StateObject)arAsyncState;
Socket client = stateworkSocket;
// Read data from the remote device
int bytesRead = clientEndReceive(ar);
if (bytesRead > 0)
{
// There might be more data, so store the data received so far
statesbAppend(EncodingASCIIGetString(statebuffer, 0, bytesRead));
// Get the rest of the data
clientBeginReceive(statebuffer, 0, StateObjectBufferSize, 0, new AsyncCallback(ReceiveCallback), state);
}
else
{
// All the data has arrived; put it in response
if (statesbLength > 1)
{
response = statesbToString();
}
// Signal that all bytes have been received
receiveDoneSet();
}
}
catch (Exception e)
{
ConsoleWriteLine(eToString());
}
}
复制代码
上述代码的处理逻辑为：
(1)首先处理连接的回调函数里得到的通讯套接字client，接着开始接收数据；
(2)当数据发送到缓冲区中，BeginReceive方法试图从buffer数组中读取长度为bufferlength的数据块，并返回接收到的数据量bytesRead。最后接收并打印数据。

除了上述方法外，还可以使用基于NetworkStream相关的异步发送和接收方法，下面是基于NetworkStream相关的异步发送和接收方法的使用介绍。
NetworkStream使用BeginRead和EndRead方法进行读 *** 作，使用BeginWreite和EndWrete方法进行写 *** 作，下面看实例：
复制代码
static void DataHandle(TcpClient client)
{
TcpClient tcpClient = client;
//使用TcpClient的GetStream方法获取网络流
NetworkStream ns = tcpClientGetStream();
//检查网络流是否可读
if(nsCanRead)
{
//定义缓冲区
byte[] read = new byte[1024];
nsBeginRead(read,0,readLength,new AsyncCallback(myReadCallBack),ns);
}
else
{
ConsoleWriteLine("无法从网络中读取流数据");
}
}
public static void myReadCallBack(IAsyncResult iar)
{
NetworkStream ns = (NetworkStream)iarAsyncState;
byte[] read = new byte[1024];
String data = "";
int recv;
recv = nsEndRead(iar);
data = StringConcat(data, EncodingASCIIGetString(read, 0, recv));
//接收到的消息长度可能大于缓冲区总大小，反复循环直到读完为止
while (nsDataAvailable)
{
nsBeginRead(read, 0, readLength, new AsyncCallback(myReadCallBack), ns);
}
//打印
ConsoleWriteLine("您收到的信息是" + data);
}
复制代码
33 程序阻塞与异步中的同步问题
Net里提供了EventWaitHandle类来表示一个线程的同步事件。EventWaitHandle即事件等待句柄，他允许线程通过 *** 作系统互发信号和等待彼此的信号来达到线程同步的目的。这个类有2个子类，分别为AutoRestEevnt(自动重置)和ManualRestEvent(手动重置)。下面是线程同步的几个方法：
(1)Rset方法：将事件状态设为非终止状态，导致线程阻塞。这里的线程阻塞是指允许其他需要等待的线程进行阻塞即让含WaitOne()方法的线程阻塞；
(2)Set方法：将事件状态设为终止状态，允许一个或多个等待线程继续。该方法发送一个信号给 *** 作系统，让处于等待的某个线程从阻塞状态转换为继续运行，即WaitOne方法的线程不在阻塞；
(3)WaitOne方法：阻塞当前线程，直到当前的等待句柄收到信号。此方法将一直使本线程处于阻塞状态直到收到信号为止，即当其他非阻塞进程调用set方法时可以继续执行。
复制代码
public static void StartListening()
{
// Data buffer for incoming data
byte[] bytes = new Byte[1024];
// Establish the local endpoint for the socket
// The DNS name of the computer
// running the listener is "hostcontosocom"
//IPHostEntry ipHostInfo = DnsResolve(DnsGetHostName());
//IPAddress ipAddress = ipHostInfoAddressList[0];
IPAddress ipAddress = IPAddressParse("127001");
IPEndPoint localEndPoint = new IPEndPoint(ipAddress, 11000);
// Create a TCP/IP socket
Socket listener = new Socket(AddressFamilyInterNetwork,SocketTypeStream, ProtocolTypeTcp);
// Bind the socket to the local
//endpoint and listen for incoming connections
try
{
listenerBind(localEndPoint);
listenerListen(100);
while (true)
{
// Set the event to nonsignaled state
allDoneReset();
// Start an asynchronous socket to listen for connections
ConsoleWriteLine("Waiting for a connection");
listenerBeginAccept(new AsyncCallback(AcceptCallback),listener);
// Wait until a connection is made before continuing
allDoneWaitOne();
}
}
catch (Exception e)
{
ConsoleWriteLine(eToString());
}
ConsoleWriteLine("\nPress ENTER to continue");
ConsoleRead();
}
复制代码
上述代码的逻辑为：
(1)试用了ManualRestEvent对象创建一个等待句柄，在调用BeginAccept方法前使用Rest方法允许其他线程阻塞；
(2)为了防止在连接完成之前对套接字进行读写 *** 作，务必要在BeginAccept方法后调用WaitOne来让线程进入阻塞状态。
当有连接接入后系统会自动调用会调用回调函数，所以当代码执行到回调函数时说明连接已经成功，并在函数的第一句就调用Set方法让处于等待的线程可以继续执行

---