stream流中对非线程安全的集合进行修改
调试代码的时候,发现这个地方一直有错。所以记录一下。
private Map<String, String> getVideoIdMd5(List<FeedBean> feedStream) { try { return feedStream.stream().collect(Collectors.toMap(FeedBean::getId, FeedBean::getMd5, (value1, value2) -> { rmVidDuplicate(feedStream); return value1; }));//如果key重复 则取第一个 } catch (Exception e) { ErrorPrintUtils.printStackTrace(log, e); return emptyMap(); } } private void rmVidDuplicate(List<FeedBean> feedStreams) { HashSet vidSets = new HashSet(feedStreams.size() * 2); Iterator<FeedBean> feedBeanIterator = feedStreams.iterator(); StringBuffer sb = new StringBuffer(); while (feedBeanIterator.hasNext()) { FeedBean feedBean = feedBeanIterator.next(); sb.append(feedBean.toString()); if (!vidSets.add(feedBean.getId())) { feedBeanIterator.remove(); // itemMap.remove(feedBean.getItemId()); } } log.warn("duplicate list<feedbean> is {}", sb.toString()); }
rmVidDuplicate 里面是没有错误的,使用迭代器删数组元素。
错误原始是:
流可以从非线程安全的集合中创建,当流的管道执行的时候,非concurrent数据源不应该被改变。
这里在collect 这样的 终点操作中对非并发数据源进行了修改。所以会产生异常。
参考地址:http://colobu.com/2016/03/02/Java-Stream/#Non-interference
stream unordered 操作误解
我之前以为unordered 操作是打乱stream流中的顺序,以致我可以得到一个乱序的集合。
比如以下代码我以为可以获取一个乱序的数组,其实并不能:
@Test public void test1() { List<Integer> strList = Arrays.asList(1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17); strList.stream().unordered().forEach(System.out::println); }
The unordered() operation doesn’t do any actions to explicitly unorder the stream. What it does is that it removes the constraint on the stream that it must remain ordered, thereby allowing subsequent operations to use optimizations that don’t have to take ordering into consideration.
翻译:unordered操作不会进行任何显式的打乱流的操作。它的工作是:消除流中必须保持的有序约束,因此允许之后的操作使用 不必考虑有序的优化。
参考地址:https://stackoverflow.com/questions/21350195/stream-ordered-unordered-problems