Performance de la piscine multithreading d'exécutéservice

Il n'y a rien dans ce code qui empêche ce taux de requête, à l'exception de la création et de la destruction d'une piscine de thread est très coûteux. Je suggère d'utiliser l'API de flux qui est non seulement plus simple mais réutilise une piscine de thread intégrée

    ExecutorService es = Executors.newFixedThreadPool(8);
    for (int t = 0; t < 5; t++) {
        long start = System.nanoTime();
        int[] ids = new int[5000];
        List<Future> futures = new ArrayList<>(ids.length);
        for (int id : ids) {
            futures.add(es.submit(() -> {
                try {
                    Socket s = new Socket("localhost", ss.getLocalPort());
                    s.getOutputStream().write(id);
                    s.getInputStream().read();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }));
        }
        for (Future future : futures) {
            future.get();
        }
        long time = System.nanoTime() - start;
        System.out.println("Throughput " + (int) (ids.length * 1e9 / time) + " connects/sec");
    }
    es.shutdown();

Le problème de QPS peut-être est la limite de bande passante ou l'exécution de la transaction (elle verrouille la table ou la ligne). Donc, vous n'augmentez que la taille de la piscine n'est pas travaillée. En plus, vous pouvez essayer d'utiliser le modèle producteur-consommateur.

Pourquoi vous limitez-vous à un si faible nombre de threads?

Vous manquez des opportunités de performance de cette façon. Il semble que vos tâches soient vraiment pas CPU-liées. Les opérations réseau (requête de base de données à distance +) peuvent prendre la majeure partie de temps pour chaque tâche à terminer. Pendant ces périodes, lorsqu'une tâche unique / fil doit attendre un événement (réseau, ...), un autre thread peut utiliser la CPU. Plus vous accumulez de threads à la disposition du système, plus les threads peuvent attendre que leurs E / S du réseau terminent tout en ayant encore des threads utilisent la CPU en même temps.

Je vous suggère de réduire considérablement le nombre de threads pour l'exécuteur exécutif. Comme vous le dites que les deux serveurs distants sont plutôt sous-utilisés, je suppose que l'hôte que votre programme est exécuté, c'est le goulot d'étranglement pour le moment. Essayez d'augmenter (double?) Le nombre de threads jusqu'à ce que votre utilisation de la CPU approche à 100% ou à la mémoire ou que le côté éloigné devienne le goulot d'étranglement.

D'ailleurs, vous Shutdown L'exécuteur, mais attendez-vous que les tâches se terminent? Comment mesurez-vous le "QPS"?

Une dernière chose me vient à l'esprit: comment les connexions DB sont-elles traitées? C'est à dire. Comment SavetodoDatabase () s synchronisé? Tous les threads partagent-ils (et concourez-vous) une seule connexion? Ou, pire, chaque thread va-t-il créer une nouvelle connexion à la DB, faire sa chose, puis fermez la connexion à nouveau? Cela peut être un goulot d'étranglement grave car l'établissement d'une connexion TCP et la pratique de la poignée de main d'authentification peut prendre autant de temps que d'exécuter une simple déclaration SQL.

Si le nombre d'identifiants dans IDS est supérieur à 50000, est-ce une bonne idée d'utiliser invokeAll? Devrions-nous le diviser en lots plus petits, tels que 5000 chacun lot?

Alors que @vaclav Stenglavl a déjà écrit, les exécuteurs ont des files d'attente internes dans lesquelles ils s'effectuent et à partir desquels ils traitent les tâches. Donc, pas besoin de vous inquiéter de celui-là. Vous pouvez également appeler Soumettre pour chaque tâche unique dès que vous l'avez créée. Cela permet aux premières tâches de commencer déjà à exécuter pendant que vous créez / prépare des tâches ultérieures, ce qui a du sens, surtout lorsque chaque tâche la création prend relativement de long, mais ne va pas mal dans tous les autres cas. Pensez à invokeall comme méthode de commodité pour les cas où vous avez déjà une collection de tâches. Si vous créez les tâches successivement vous-même et que vous avez déjà accès au exécutantservice pour les exécuter, juste Soumettre () eux A.S.A.P.