并发编程(七)共享模型之工具(线程池)

并发编程(七)共享模型之工具(线程池),第1张

并发编程(七)共享模型之工具(线程池) 一、自定义线程池

// 步骤1:自定义拒绝策略
@FunctionalInterface
public interface RejectPolicy {
    void reject(BlockingQueue queue,T task);
}
// 步骤2:自定义任务队列
public class BlockingQueue {

    // 1. 任务队列
    private Deque queue = new ArrayDeque<>();

    // 2. 锁
    private ReentrantLock lock = new ReentrantLock();

    // 3. 生产者条件变量
    private Condition fullWaitSet = lock.newCondition();

    // 4. 消费者条件变量
    private Condition emptyWaitSet = lock.newCondition();

    // 5. 容量
    private int capcity;

    public BlockingQueue(int capcity) {
        this.capcity = capcity;
    }

    // 阻塞获取
    public T take() {
        lock.lock();
        try {
            while (queue.isEmpty()) {
                try {
                    emptyWaitSet.await();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            T t = queue.removeFirst();
            fullWaitSet.signal();
            return t;
        } finally {
            lock.unlock();
        }
    }

    // 带超时阻塞获取
    public T poll(long timeout, TimeUnit unit) {
        lock.lock();
        try {
            // 将 timeout 统一转换为 纳秒
            long nanos = unit.tonanos(timeout);
            while (queue.isEmpty()) {
                try {
                    if (nanos <= 0) {
                        return null;
                    }
                    // 返回值是剩余时间
                    nanos = emptyWaitSet.awaitNanos(nanos);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            T t = queue.removeFirst();
            fullWaitSet.signal();
            return t;
        } finally {
            lock.unlock();
        }
    }

    // 阻塞添加
    public void put(T element) {
        lock.lock();
        try {
            while (queue.size() == capcity) {
                try {
                    fullWaitSet.await();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            queue.addLast(element);
            fullWaitSet.signal();
        } finally {
            lock.unlock();
        }
    }

    // 带超时时间阻塞添加
    public boolean offer(T task,long timeout, TimeUnit timeUnit) {
        lock.lock();
        try {
            // 将 timeout 统一转换为 纳秒
            long nanos = timeUnit.tonanos(timeout);
            while (queue.size() == capcity) {
                try {
                    if (nanos <= 0) {
                        return false;
                    }
                    nanos = fullWaitSet.awaitNanos(nanos);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            queue.addLast(task);
            fullWaitSet.signal();
            return true;
        } finally {
            lock.unlock();
        }
    }

    // 获取大小
    public int size() {
        lock.lock();
        try {
            return queue.size();
        } finally {
            lock.unlock();
        }
    }


    public void tryput(RejectPolicy rejectPolicy, T task) {
        lock.lock();
        try {
            // 判断队列是否满
            if (queue.size() == capcity){
                rejectPolicy.reject(this,task);
            }else { // 有空闲
                queue.addLast(task);
                fullWaitSet.signal();
            }
        } finally {
            lock.unlock();
        }
    }
}
// 步骤3:自定义线程池
public class ThreadPool {

    //  任务队列
    private BlockingQueue taskQueue;

    // 线程集合
    private HashSet workers = new HashSet<>();

    // 核心线程数
    private int coreSize;

    // 获取任务的超时实际
    private long timeout;

    private TimeUnit timeUnit;

    private RejectPolicy rejectPolicy;

    public ThreadPool(int coreSize, long timeout, TimeUnit timeUnit,int queueCapcity,RejectPolicy rejectPolicy) {
        this.coreSize = coreSize;
        this.timeout = timeout;
        this.timeUnit = timeUnit;
        this.taskQueue = new BlockingQueue<>(queueCapcity);
        this.rejectPolicy = rejectPolicy;
    }

    // 执行任务
    public void execute(Runnable task){
        // 当任务数没有超过 coreSize 时,直接交给 worker 对象执行
        // 如果任务数超过 coreSize 时,加入任务队列暂存
        synchronized (workers){
            if (workers.size() < coreSize){
                Worker worker = new Worker(task);
                workers.add(worker);
                worker.start();
            }else {
//                taskQueue.put(task);
                // 拒绝策略
                taskQueue.tryput(rejectPolicy,task);
            }
        }
    }


    class Worker extends Thread{
        private Runnable task;

        public Worker(Runnable task) {
            this.task = task;
        }

        @Override
        public void run() {
            // 执行任务
            // 1. 当 task 不为空,执行任务
            // 2. 当 task 执行完毕,再接着从任务队列获取任务并执行
//            while (task != null || (task = taskQueue.take()) != null){ // 死等
            while(task != null || (task = taskQueue.poll(timeout, timeUnit)) != null) { // 超时等待
                try{
                    System.out.println("正在执行");
                    task.run();
                }catch (Exception e){
                    e.printStackTrace();
                }finally {
                    task = null;
                }
            }
            synchronized (workers){
                workers.remove(this);
            }
        }
    }
}
public class TestPool {

    public static void main(String[] args) {

        ThreadPool threadPool = new ThreadPool(2, 1000, TimeUnit.MILLISECONDS, 10,((queue, task) ->{
            // 1. 死等
//            queue.put(task);
            // 2. 带超时等待
//            queue.offer(task,1500,TimeUnit.MILLISECONDS);
            // 3. 让调用者放弃任务执行
//            System.out.println("放弃执行,"+task);
            // 4. 让调用者抛出异常
//            throw new RuntimeException("任务执行失败,"+task);
            // 5. 让调用者自己执行任务
            task.run();
        } ));

        for (int i = 0; i < 5; i++) {
            int j =i ;
            threadPool.execute(()->{
                System.out.println(j);
            });
        }

    }

}
二、ThreadPoolExecutor

1. 线程池状态

2. 构造方法(***)

 

3. newFixedThreadPool(固定大小线程池)

 

4. newCachedThreadPool(带缓冲线程池)

5. newSingleThreadExecutor(单线程线程池)

6. 提交任务

6.1 submit

 

6.2 invokeAll

 

 6.3 invokeAny

7. 关闭线程池 7.1 shutdown

7.2 shutdownNow 

7.3 其他方法 

8. 任务调度线程池

在【任务调度线程池】功能加入之前,可以使用 java.util.Timer 来实现定时功能,Timer 的优点在于简单易用,但由于所有任务都是由同一个线程来调度,因此所有任务都是串行执行的,同一个时间只能有一个任务在执行,前一个任务的延迟或异常都将会影响到之后的任务。

8.1 Timer

8.2 ScheduledThreadPoolExecutor-延时执行

使用 ScheduledExecutorService 改写:

 8.2 ScheduledThreadPoolExecutor-定时执行

 

9. 正确处理执行任务异常 9.1 方法1:主动捉异常

9.2 方法2:使用 Future

10. 应用之定时任务
三、异步模式之工作线程(Work Thread) 1. 定义

2. 饥饿

 

解决方法可以增加线程池的大小,不过不是根本解决方案,还是前面提到的,不同的任务类型,采用不同的线程池。 

3. 创建多少线程池合适

(1)过小会导致程序不能充分利用系统资源,容易导致饥饿。

(2)过大会导致更多的线程上下文切换,占用更多内存。

3.1 CPU 密集型运算

通常采用【cpu 核数 + 1】能够实现最优的 CPU 利用率,+1 是保证当线程由于页缺失故障( *** 作系统)或其他原因导致暂停时,额外的这个线程就能顶上去,保证 CPU 时钟周期不被浪费。

3.2 I/O 密集型运算

CPU 不总是处于繁忙状态,例如,当你执行业务计算时,这时候会使用 CPU 资源,但当你执行 I/O *** 作时、远程 RPC 调用时,包括进行数据库 *** 作时,这时候 CPU 就闲下来了,你可以利用多线程提供它的利用率。

四、Fork/Join 1. 概念

Fork/Join 是 JDK 1.7 加入的新的线程池实现,它体现的是一种分治思想,适用于能够进行任务拆分的 cpu 密集型运算。

所谓的任务拆分,是将一个大任务拆分为算法上相同的小任务,直至不能拆分可以直接求解。跟递归相关的一些计算,如归并排序、斐波那契数列、都可以用分治思想进行求解。

Fork/Join 在分治的基础上加入了多线程,可以把每个任务的分解和合并交给不同的线程来完成,进一步提升了运算效率。

Fork/Join 默认会创建与 cpu 核心数大小相同的线程池。

2. 使用

任务拆分优化 

 

  

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/5681620.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-12-17
下一篇 2022-12-17

发表评论

登录后才能评论

评论列表(0条)

保存